Beyond Via: Analysis and Estimation of the Impact of Large Language Models in Academic Papers

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ Die unsichtbare Handschrift: Wie KI den wissenschaftlichen Schreibstil verändert

Stellen Sie sich vor, Sie betreten einen riesigen, belebten Marktplatz, auf dem Tausende von Wissenschaftlern ihre neuesten Entdeckungen ausstellen (das ist arXiv, eine riesige Datenbank für wissenschaftliche Papers). Lange Zeit klangen alle diese Berichte sehr ähnlich: trocken, präzise und menschlich.

Doch seit kurzem hat sich etwas verändert. Es ist, als wäre eine neue, sehr effiziente, aber etwas „glattgebügelte" Kraft über den Markt gekommen: Künstliche Intelligenz (KI).

Diese Studie von Mingmeng Geng und Kollegen untersucht genau das: Wie verändert KI die Sprache der Wissenschaftler? Und zwar nicht, indem sie schaut, ob eine KI geschrieben hat, sondern indem sie sich die Wörter selbst genauer ansieht.

1. Die neuen Modewörter: „Via" und „Beyond"

Stellen Sie sich vor, Sie hören eine neue Band. Alle Mitglieder benutzen plötzlich das gleiche Slang-Wort, das vorher niemand benutzte. Genau das passiert in den Titeln von wissenschaftlichen Papers.

Die Forscher haben entdeckt, dass KI-Modelle (wie GPT oder DeepSeek) eine große Schwäche für bestimmte Wörter haben.

Das Wort „Via" (über/durch): Früher war das in Titeln selten. Jetzt taucht es überall auf. Es ist, als würde jeder Wissenschaftler plötzlich sagen: „Meine Entdeckung via einem neuen Algorithmus". Die KI liebt dieses Wort, und die Menschen kopieren es unbewusst.
Das Wort „Beyond" (jenseits): Auch dieses Wort wird von der KI oft benutzt, um etwas „Großes" zu beschreiben.

Die Studie zeigt: Wenn Sie in einem Titel das Wort „via" sehen, ist die Wahrscheinlichkeit hoch, dass eine KI dabei geholfen hat, den Titel zu formulieren.

2. Die verschwundenen Füllwörter: „The" und „Of"

Das ist vielleicht noch seltsamer. KI mag es nicht, wenn Texte zu „unordentlich" sind.

Wörter wie „the" (der/die/das) oder „of" (von) sind die Klebstoffe unserer Sprache. Wir brauchen sie, um Sätze zu bauen.
Aber KI-Modelle neigen dazu, diese Wörter zu streichen, um Sätze knapper und direkter zu machen.
Die Folge: In den Zusammenfassungen (Abstracts) von wissenschaftlichen Papers werden diese kleinen Wörter immer seltener. Es ist, als würde jemand versuchen, einen Satz zu schreiben, aber er vergisst ständig die Artikel. Die Sprache wirkt dadurch etwas „roboterhaft" und unnatürlich.

3. Der große Verwechslungs-Trick

Die Forscher haben versucht, wie Detektive zu arbeiten. Sie haben versucht, einen Computer zu trainieren, der sagen kann: „Aha! Dieser Text stammt von GPT-4, und dieser von Claude!"

Das Ergebnis? Die Detektive waren verwirrt.

Warum? Weil alle modernen KIs sich immer ähnlicher werden. Sie sind wie Zwillinge, die denselben Stil gelernt haben. Es ist schwer zu unterscheiden, ob ein Text von „Bruder A" oder „Bruder B" stammt.
Die KI-Modelle gleichen sich immer mehr an (Homogenisierung). Sie lernen von denselben Daten und werden immer besser darin, „menschlich" zu klingen, verlieren dabei aber ihre individuelle „Handschrift".

4. Der Zeitreise-Effekt

Die Studie vergleicht die Vergangenheit mit der Gegenwart.

Früher (vor 2023): Die Sprache war stabil.
Heute: Die Sprache verändert sich dynamisch. Neue KI-Modelle kommen auf den Markt, und plötzlich verschwindet ein Wort (wie „delve" – ein Wort, das KI früher sehr liebte, aber jetzt weniger nutzt) und ein anderes taucht auf.

Es ist wie bei der Mode: Vor zwei Jahren trugen alle weite Hosen. Heute sind es enge Jeans. Die KI bestimmt den „Trend" in der wissenschaftlichen Sprache, oft schneller, als die Menschen merken, dass sie sich anpassen.

5. Die große Erkenntnis: Es ist ein Mix

Die Forscher haben eine Methode entwickelt, um zu schätzen, wie viel KI in den Texten steckt. Sie nutzen dafür keine komplizierten Black-Box-Computer, sondern eine einfache Zählung der Wörter.

Das Fazit:

Wir können nicht mehr genau sagen, welches KI-Modell einen Text geschrieben hat.
Aber wir können sehen, dass KI einen riesigen Einfluss auf die wissenschaftliche Sprache hat.
Die Wissenschaftler schreiben nicht mehr ganz so, wie sie es früher taten. Sie schreiben so, wie die KI es ihnen vorgibt – oft unbewusst.

🎯 Zusammenfassung in einem Bild

Stellen Sie sich vor, die wissenschaftliche Sprache ist ein Fluss. Früher floss er natürlich und unregelmäßig. Jetzt hat eine riesige Maschine (die KI) einen Damm gebaut und den Fluss kanalisiert. Das Wasser fließt jetzt schneller und gerader, aber es hat seinen natürlichen, wilden Charakter verloren.

Die Studie warnt uns: Wir müssen aufpassen, dass wir nicht vergessen, wie es klingt, wenn ein echter Mensch schreibt, ohne dass eine Maschine ihm den Stift aus der Hand nimmt. Denn wenn alle KIs gleich klingen, verlieren wir die Vielfalt der menschlichen Gedanken.

Each language version is independently generated for its own context, not a direct translation.

1. Problemstellung

Die zunehmende Integration von Large Language Models (LLMs) in die wissenschaftliche Publikation hat zu Bedenken hinsichtlich der Authentizität und des Stils akademischer Texte geführt. Während frühere Studien oft spezifische „ChatGPT-Stil"-Wörter (wie „delve") als Indikatoren nutzten, zeigt sich, dass sich die Sprachmuster von LLMs dynamisch weiterentwickeln und zwischen verschiedenen Modellen (z. B. GPT-5, DeepSeek, Gemini, Claude) unterscheiden.
Das Hauptproblem besteht darin, dass:

Herkömmliche Detektoren in Mehrklassen-Szenarien (Unterscheidung zwischen menschlichen Texten und Texten verschiedener LLMs) oft versagen.
Die Homogenisierung der Modelle die Unterscheidung erschwert.
Es einen Mangel an quantitativen Methoden gibt, die den Einfluss von LLMs auf den gesamten akademischen Diskurs (nicht nur die Detektion einzelner Texte) messen, unter Berücksichtigung der sich wandelnden Modelle und Prompts.

2. Methodik

Die Autoren verfolgen einen hybriden Ansatz aus Simulation, linguistischer Analyse und statistischer Schätzung:

Datengrundlage: Analyse von über 2,9 Millionen arXiv-Papieren (abgeleitet von einem Kaggle-Dataset). Es wurden 2.000 Abstracts aus dem Zeitraum Jan–Okt 2022 (vor ChatGPT) als Basis für Simulationen ausgewählt.
Simulation: Die ausgewählten Abstracts wurden mit neun verschiedenen LLMs (GPT-3.5 bis GPT-5 nano, DeepSeek V3/R1/V3.2, Gemini 2.5/3, Claude 3/4.5) verarbeitet. Dabei wurden zwei Prompt-Strategien getestet:
- Kurzer Prompt: Leichte Überarbeitung („light assistance").
- Langer Prompt: Tiefgehende Redaktion als „professioneller akademischer Editor".
Analyse der Wortfrequenzen:
- Es wurde ein lineares Regressionsmodell erstellt, um den erwarteten Trend der Wortfrequenzen basierend auf Daten vor 2021 zu extrapolieren.
- Abweichungen zwischen dem tatsächlichen Trend in realen arXiv-Abstracts und dem vorhergesagten Trend werden als Indikator für den LLM-Einfluss gewertet.
- Spezifische Wörter (z. B. „via", „beyond", „the", „of") wurden auf ihre Frequenzänderung hin untersucht.
Schätzung des Einflusses ( $\eta$ ):
- Ein Optimierungsproblem (unter Verwendung von SLSQP) wurde gelöst, um den Anteil ( $\eta$ ) von Texten zu schätzen, die von bestimmten Modellen/Prompts stammen, basierend auf den beobachteten Wortfrequenzverhältnissen ( $r_w(t)$ ).
Klassifikation und Ähnlichkeitsmessung:
- Es wurden Klassifikatoren (BERT, GPT-2, T5, LLM2Vec) trainiert, um Texte nach ihrer Quelle (menschlich vs. spezifische LLMs) zu kategorisieren.
- Ähnlichkeitsmetriken (ROUGE-1/2/L, BERTScore) verglichen Original-Abstracts mit LLM-generierten Versionen.

3. Wichtige Beiträge

Neue linguistische Marker: Identifikation von Verschiebungen in der Wortnutzung, die über bekannte „ChatGPT-Wörter" hinausgehen. Besonders auffällig ist die Zunahme von „via" und „beyond" in Titeln sowie die Abnahme von Funktionswörtern wie „the" und „of" in Abstracts.
Dynamische Modellunterscheidung: Nachweis, dass verschiedene LLMs unterschiedliche Vorlieben für Wörter haben und sich diese Vorlieben mit neuen Modellversionen (z. B. GPT-5 nano vs. GPT-3.5) ändern.
Quantitative Schätzmethode: Entwicklung einer interpretierbaren, linearen Methode zur Schätzung des Anteils von LLM-generierten Inhalten in einem großen Korpus, die robust gegenüber der Vielfalt der Modelle ist.
Grenzen der Detektion: Demonstration, dass die Klassifikationsgenauigkeit bei Mehrklassen-Problemen (Mensch + mehrere LLMs) signifikant sinkt und menschliche Texte oft fälschlicherweise als LLM-generiert klassifiziert werden.

4. Ergebnisse

Wortfrequenz-Trends:
- Die Frequenz von „via" in Titeln stieg ab 2025 signifikant an und korreliert mit der Nutzung neuerer Modelle (DeepSeek, GPT-5).
- Funktionswörter wie „the" und „of" zeigen einen deutlichen Rückgang in realen Abstracts, was auf eine Vermeidung durch LLMs hindeutet (siehe Abbildung 1 und 4).
- Wörter wie „together" zeigen ein nicht-lineares Muster (starker Rückgang, dann Anstieg), was auf den Wechsel von älteren zu neueren Modellgenerationen hinweist.
Klassifikationsergebnisse:
- In binären Aufgaben (Mensch vs. LLM) erreichen Klassifikatoren hohe Genauigkeiten (ca. 80–90 %).
- In Mehrklassen-Szenarien (Unterscheidung zwischen 4–7 verschiedenen Modellen + Mensch) bricht die Genauigkeit ein (oft unter 60 %).
- Es besteht eine hohe Verwechslungsrate: Menschliche Texte werden häufig als LLM-generiert fehlklassifiziert (False Positives).
Ähnlichkeit:
- Neuere LLMs produzieren Titel und Abstracts, die lexikalisch (ROUGE) näher an den Originalen liegen, semantisch (BERTScore) jedoch keine signifikante Annäherung zeigen.
- Die Unterschiede zwischen den Ausgaben verschiedener Modelle nehmen tendenziell ab (Homogenisierungseffekt).
Einflussschätzung:
- Die Schätzung zeigt, dass der LLM-Einfluss vor Oktober 2022 nahe Null lag.
- Ab 2023/2024 steigt der Anteil von Texten, die dem Stil von GPT-3.5 ähneln, zunächst an, nimmt dann aber wieder ab, während neuere Modelle (GPT-5, DeepSeek) an Bedeutung gewinnen.
- Die Nutzung ist heterogen und dynamisch; es gibt keinen einzelnen „LLM-Stil", sondern ein sich wandelndes Spektrum.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zum Verständnis der Auswirkungen von KI auf die Wissenschaftskommunikation:

Paradigmenwechsel in der Detektion: Statt sich auf komplexe, oft undurchsichtige „Black-Box"-Klassifikatoren zu verlassen, die in realen Szenarien (viele Modelle, viele Prompts) versagen, bietet die Analyse von Wortfrequenzen eine robustere und interpretierbare Methode zur Schätzung des Gesamt-Einflusses.
Evolution der Sprache: LLMs verändern nicht nur den Inhalt, sondern auch die grundlegenden sprachlichen Strukturen akademischer Texte (z. B. durch die Vermeidung von Artikeln). Diese Veränderungen sind dynamisch und folgen den Updates der Modelle.
Warnung vor Fehldiagnosen: Die hohe Fehlerrate bei der Unterscheidung menschlicher von maschinellen Texten in Mehrklassenszenarien warnt davor, einzelne Publikationen vorschnell als KI-generiert zu brandmarken.
Zukünftige Forschung: Die Autoren betonen, dass Methoden zur Überwachung des KI-Einflusses kontinuierlich an die Evolution der Modelle angepasst werden müssen, da sich die Sprachmuster der KI und der Menschen zunehmend vermischen (Koevolution).

Zusammenfassend zeigt die Studie, dass LLMs einen messbaren, aber komplexen und sich ständig verändernden Einfluss auf die akademische Schreibweise haben, der durch einfache linguistische Metriken besser erfasst werden kann als durch starre Klassifikatoren.