🌀 nonlinear sciences

Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

Diese Studie analysiert Millionen von arXiv-Abstracts von 2010 bis 2025, um zu zeigen, dass die weit verbreitete Einführung von Large Language Models seit 2023 die emergenten Komplexitätseigenschaften wissenschaftlicher Texte subtil verändert hat, was durch einen starken Anstieg des Top-Word-Turnovers und eine Abflachung der Beziehung zwischen LLM-assoziiertem Stil und traditionellen Komplexitätsmetriken belegt wird.

Ursprüngliche Autoren: R. Alexander Bentley, Blai Vidiella, Damian J. Ruck, Senjuti Dutta, Kai Li, Sergi Valverde

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: R. Alexander Bentley, Blai Vidiella, Damian J. Ruck, Senjuti Dutta, Kai Li, Sergi Valverde

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt des wissenschaftlichen Schreibens wie eine riesige, geschäftige Bibliothek vor, in der Millionen von Menschen (Forscher) ständig neue Bücher (Abstracts) in die Regale stellen. Jahrzehntelang wurde diese Bibliothek ausschließlich von Menschen verwaltet. Doch Anfang 2023 kam eine neue Art von Bibliothekar hinzu: das Large Language Model (LLM), eine KI, die Texte schreibt, indem sie aus allen Büchern lernt, die Menschen jemals geschrieben haben.

Diese Arbeit stellt eine einfache Frage: Was passiert mit dem „Vibe“ der Bibliothek, wenn Menschen und KI beginnen, zusammen zu schreiben?

Die Forscher schauten nicht nur darauf, was geschrieben wurde; sie untersuchten die mathematischen Muster der Wörter, so wie ein Musikwissenschaftler den Rhythmus eines Liedes analysieren könnte, um zu sehen, ob ein neues Instrument den Takt verändert hat.

Hier ist das, was sie herausgefunden haben, auf einfache Konzepte heruntergebrochen:

1. Der „Stil-Fingerabdruck“

Die Forscher erstellten einen „Stil-Fingerabdruck“, um zu erkennen, wann wahrscheinlich KI im Spiel war. Sie bemerkten, dass wissenschaftliche Abstracts ab 2023 bestimmte Phrasen (wie „crucial“ oder „showcase“) und Satzzeichen (wie Gedankenstriche) viel häufiger verwendeten. Es ist, als würde man bemerken, dass plötzlich in einer Stadt plötzlich alle die gleiche spezifische Art von Hut tragen. Dies bestätigte, dass KI-Werkzeuge intensiv beim Schreiben eingesetzt wurden.

2. Die „Vokabular-Explosion“ (Gute Nachrichten?)

Man könnte befürchten, dass KI das Schreiben langweilig oder repetitiv macht, wie eine kaputte Schallplatte. Die Studie fand jedoch das Gegenteil in dieser speziellen Bibliothek heraus.

Das Ergebnis: Die Gesamtzahl der einzigartigen Wörter, die in diesen Abstracts verwendet wurden, wuchs nach 2023 tatsächlich schneller.
Die Analogie: Stellen Sie sich einen Garten vor. Vor 2023 wuchs der Garten mit einem stetigen Tempo an Blumen. Nach 2023 begann der Garten, mit einer überraschenden Rate neue, seltene Blumen auszuspringen. Die KI machte das Vokabular nicht kleiner; sie schien dem „Vokabular-Garten“ dabei zu helfen, schneller aufzublühen.

3. Das „Hot List“-Chaos (Die große Veränderung)

Dies ist die interessanteste Entdeckung. Die Forscher betrachteten die „Top 10“ oder „Top 50“ der populärsten Wörter in der Bibliothek jedes Jahres.

Vor 2023: Die Top-Wörter waren recht stabil. Wenn „model“ oder „data“ im Jahr 2020 in den Top 10 war, war es wahrscheinlich auch 2021 noch dort. Es war ein langsamer, stetiger Wechsel.
Nach 2023: Die „Top-Liste“ begann sich wild zu bewegen. Wörter wurden viel schneller aus den Listen geworfen und neue rückten viel schneller nach. Die KI scheint eine Menge neuen „Geschmack“ in die Mischung zu injizieren, was dazu führt, dass die populärsten Wörter ihre Meinung viel schneller ändern.
Die Analogie: Denken Sie an eine „Top 40“-Musik-Chart. Vor 2023 blieben dieselben 5 Songs monatelang an der Spitze. Nach 2023 wurde die Chart zur Achterbahnfahrt; Songs gelangten in einer atemberaubenden Geschwindigkeit in die Spitzenpositionen und verließen sie wieder. Die KI scheint viel neuen „Geschmack“ in die Mischung zu injizieren, was dazu führt, dass die populärsten Wörter ihre Meinung viel schneller ändern.

4. Die „Abflachungs“-Verbindung

Die Forscher bemerkten eine seltsame Veränderung in der Beziehung.

Vor 2023: Es gab eine starke Verbindung zwischen dem „KI-Stil-Fingerabdruck“ und den Vokabular-Statistiken. Wenn der KI-Stil stärker wurde, änderten sich die Vokabular-Statistiken auf eine vorhersehbare, steile Weise.
Nach 2023: Diese Verbindung wurde „flacher“. Obwohl der KI-Stil weiterhin zunahm, änderten sich die Vokabular-Statistiken nicht mehr so scharf als Reaktion darauf.
Die Analogie: Stellen Sie sich vor, Sie schubsen eine Schaukel an. Vor 2023 bewirkte ein kleiner Stoß (KI-Stil) eine hohe Bewegung (Vokabular-Änderung). Nach 2023 mussten Sie genauso stark schubsen, aber die Schaukel ging nicht ganz so hoch wie erwartet. Das System wurde komplexer; der Einfluss der KI war zwar da, aber die Mensch-KI-Mischung reagierte subtiler und weniger vorhersehbar.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir in einem gemischten Ökosystem leben, in dem Menschen und KI gemeinsam schreiben.

Hat die KI das Schreiben einfacher gemacht? Nein, nicht in dieser Bibliothek. Das Vokabular wurde reicher.
Hat die KI das Schreiben langweilig gemacht? Nein, aber sie hat dafür gesorgt, dass die „populären Wörter“ ihre Meinung viel schneller ändern.
Die Erkenntnis: Die Beziehung zwischen Mensch und KI erschafft einen neuen, komplexen Rhythmus. Der Text ist nicht mehr einfach nur „menschlich“ oder „KI-generiert“; er ist ein Hybrid, der sich auf subtile, aber messbare Weise entwickelt. Der „Beat“ des wissenschaftlichen Schreibens hat sich verändert und ist dynamischer und schneller geworden, selbst wenn die allgemeine Melodie immer noch vertraut klingt.

Technisches Resümee: Die Mensch–LLM-Kollaboration transformiert Komplexitätsmetriken in wissenschaftlichen Texten

Problemstellung
Große Sprachmodelle (LLMs) sind, insbesondere seit ihrer weitreichenden Einführung Anfang 2023, zu integralen Bestandteilen des menschlich–KI-gestützten linguistischen Ökosystems geworden. Während LLMs auf menschlicher Sprache trainiert wurden, wirft ihre Integration in die wissenschaftliche Kommunikation Fragen darüber auf, wie sie die emergenten Eigenschaften der Sprache verändern. Es existieren konkurrierende theoretische Perspektiven: Eine besagt, dass LLMs die lexikalische Komplexität durch Vereinfachung und das Recycling von Trainingsdaten reduzieren könnten (was potenziell zu einem „Modellkollaps“ führen könnte, falls zukünftige Modelle auf KI-generierten Outputs trainiert werden); eine andere legt nahe, dass gemischte Mensch–KI-Populationen durch kollektive Biase und Rückkopplungsschleifen neue emergente Dynamiken erzeugen können. Das Kernproblem besteht darin, ob der Zustrom von LLM-generierten oder durch LLMs revidierten Texten in die wissenschaftliche Literatur (speziell in arXiv-Abstracts) nachweisbare Verschiebungen in den statistischen Gesetzen der lexikalischen Komplexität, wie etwa dem Zipf-Gesetz, dem Heaps-Gesetz und den Wort-Umsatzraten (Word Turnover), hervorruft.

Methodik
Die Autoren behandeln die rasche Einführung generativer KI-Werkzeuge im Jahr 2023 als ein „natürliches Experiment“. Sie analysieren einen Korpus von über 2,7 Millionen arXiv-Abstracts aus dem Zeitraum Januar 2010 bis September 2025, wobei der Fokus auf Erstversionen (v1) der Einreichungen liegt.

Konstruktion des LLM-Stil-Index: Um das Vorhandensein von LLM-Einflüssen zu quantifizieren, konstruierten die Autoren einen zusammengesetzten „LLM-assoziierten Stil-Index“. Dieser Index aggregiert die standardisierten monatlichen Häufigkeiten spezifischer stilistischer Marker, die mit der Nutzung von LLMs korrelieren: die Verwendung von Gedankenstrichen (En-Dashes, Em-Dashes, Bindestriche) und spezifische lexikalische Marker (z. B. „significant“, „crucial“, „showcase“).
Komplexitätsmetriken: Die Studie verfolgt drei primäre Maße der lexikalischen Struktur:
- Vokabulargröße: Die Anzahl der einzigartigen Worttypen.
- Heaps-Gesetz-Exponent ( $b$ ): Beschreibt das Verhältnis zwischen Korpusgröße und Vokabularwachstum ( $V(N) = aN^b$ ).
- Zipf-Gesetz-Exponent ( $\alpha$ ): Beschreibt die Rang-Frequenz-Verteilung der Wörter ( $P(r) \propto r^{-\alpha}$ ).
- Top- $y$ Turnover: Der Anteil neuer Wörter, die jährlich in die Liste der am höchsten rangierten Inhaltswörter eintreten, dient als Diagnose für Transmissionsbias (Konformität vs. Neuartigkeit).
Statistische Analyse:
- Benchmarking: Menschliche Texte wurden unter Verwendung des HC3-Korpus gegen LLM-generierte Texte (GPT-3.5) verglichen, um Basisunterschiede zu etablieren.
- Temporale Trends: Monatliche Statistiken wurden für den arXiv-Korpus von 2014 bis 2025 berechnet.
- Regressionsmodellierung: Multivariate Modelle wurden eingesetzt, um die exogenen Maße der lexikalischen Komplexität unter Verwendung des Publikationsjahres, des LLM-Stil-Index, eines Indikators für die Zeit nach 2023 und deren Interaktionstermen vorherzusagen. Dieser Ansatz isoliert den Effekt des LLM-Stils von allgemeinen säkularen Trends.
- Frühwarnsignale (EWS): Rollierende Lag-1-Autokorrelation, Schiefe (Skewness) und Varianz wurden analysiert, um eine kritische Verlangsamung (Critical Slowing Down) oder Instabilität in den Zeitreihen zu detektieren.

Wichtigste Ergebnisse

Basisunterschiede: Im HC3-Korpus wies der LLM-generierte Text einen etwas niedrigeren Heaps-Exponenten ( $b=0,522$ ) und einen etwas höheren Zipf-Exponenten ( $\alpha=1,741$ ) auf als der menschliche Text ( $b=0,539$ , $\alpha=1,681$ ), was auf eine geringfügig niedrigere lexikalische Diversität und eine höhere Konzentration im LLM-Output hindeutet, wenngleich die Verteilungen ähnlich bleiben.
Temporale Verschiebungen in arXiv:
- Stil-Index: Ein starker Anstieg des LLM-assoziierten Stil-Index wurde ab 2023 beobachtet, was mit der breiten Einführung von Werkzeugen wie ChatGPT zusammenfällt.
- Lexikalische Metriken: Die Änderungen in den Exponenten der Zipf- und Heaps-Gesetze waren subtil. Jedoch zeigten die Vokabulargröße und der Heaps-Exponent nach 2023 ein moderat beschleunigtes Wachstum.
- Interaktionseffekte: Entscheidend ist, dass sich die Beziehung zwischen dem LLM-Stil-Index und den lexikalischen Komplexitätsmetriken nach 2022 änderte. Die positive Korrelation zwischen dem Stil-Index und der Vokabulargröße, dem Heaps-Exponenten sowie dem Zipf-Exponenten wurde in der Post-2023-Periode flacher. Regressionsmodelle bestätigten, dass das Vokabularwachstum nach 2023 über das hinausging, was allein durch vorangegangene temporale Trends zu erwarten gewesen wäre, was auf eine deutliche Verschiebung der Dynamik hindeutet.
- Turnover: Die signifikanteste strukturelle Änderung war ein scharfer Anstieg des Umsatzes (Turnover) der am höchsten rangierten Wörter ab 2023. Die Skalierung des Turnovers gegenüber der Listenlänge verschob sich von leicht konvex-aufwärts ( $b=1,15$ ) vor 2023 zu leicht konvex-abwärts ( $b=0,969$ ) nach 2023, was auf eine höhere Rate an neu eintretenden Wörtern in den obersten Rängen hindeutet.
EWS-Diagnostik: Standardmäßige Frühwarnsignal-Diagnosen (Autokorrelation, Varianz) zeigten nur moderate Veränderungen, was darauf hindeutet, dass das System keinen kritischen Kipppunkt der Instabilität erreicht hat, trotz der strukturellen Verschiebungen im Turnover.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Integration von LLMs in das wissenschaftliche Schreiben die emergenten Eigenschaften des linguistischen Ökosystems auf eine Weise verändert, die subtil, aber messbar ist. Entgegen der Hypothese, dass LLMs die lexikalische Diversität einheitlich reduzieren könnten, stellen die Autoren fest, dass die aktuellen LLM-Beiträge mit einer erhöhten Vokabularreichhaltigkeit und einem beschleunigten Turnover hochfrequenter Begriffe assoziiert sind.

Das Abflachen der Beziehung zwischen LLM-Stil und Komplexitätsmetriken legt nahe, dass die Dynamiken einer gemischten Mensch–KI-Population verschieden von rein menschlicher oder rein KI-generierter Erzeugung sind. Der erhöhte Turnover impliziert eine Verschiebung des „Transmissionsbias“ des Systems, was potenziell mehr Neuartigkeit injiziert oder die Konformitätsdynamik des wissenschaftlichen Diskurses verändert.

Die Autoren kommen zu dem Schluss, dass diese Verschiebungen auf eine potenzielle Spannung zwischen kurzfristiger Effizienz und langfristiger Informationsdiversität hindeuten. Sie warnen davor, dass, falls die Diversität in der menschlich generierten und hybriden Sprache im Laufe der Zeit abnimmt, dies die Robustheit zukünftiger, auf diesen Daten trainierter KI-Systeme beeinträchtigen könnte. Die Studie rahmt LLMs nicht bloß als Werkzeuge, sondern als einen neuen Rückkopplungsmechanismus in der kulturellen Evolution, vergleichbar in seinen Konsequenzen mit der Entstehung der Schrift oder der Märkte, was eine kontinuierliche Überwachung dessen erforderlich macht, wie die Mensch–KI-Kollaboration die Komplexität des wissenschaftlichen Wissens umgestaltet.