💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

Dieser Beitrag stellt einen neuartigen Evaluierungsrahmen vor, der auf wiederholten Teilsequenzen und Rényi-Entropien basiert, um nachzuweisen, dass sich state-of-the-art Large Language Models im Gegensatz zur natürlichen Sprache, die eine stabile langreichweitige strukturelle Organisation aufweist, durch systematische und größenabhängige Abweichungen in ihren Entropiewachstumsmustern auszeichnen, was fundamentale Lücken in ihrer Erfassung der tiefen statistischen Struktur von Text jenseits der oberflächlichen Flüssigkeit offenbart.

Ursprüngliche Autoren: Kumiko Tanaka-Ishii

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kumiko Tanaka-Ishii

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Flüssigkeit vs. Struktur

Stellen Sie sich vor, Sie hören zwei Personen eine Geschichte erzählen.

Person A spricht perfekt. Jeder Satz fließt mühelos, die Grammatik ist korrekt, und sie stottert nie.
Person B spricht ebenfalls perfekt, hat aber ein Geheimnis: Sie wiederholt tatsächlich nur dieselben wenigen Phrasen immer und immer wieder, oder sie baut eine Geschichte, indem sie winzige, vorgefertigte Lego-Steine zusammenfügt, ohne jemals eine neue Form zu erschaffen.

Lange Zeit dachten wir, Large Language Models (LLMs) wie GPT würden so gut werden, dass sie exakt wie Menschen klingen. Doch dieses Paper stellt eine tiefere Frage: Verstehen sie tatsächlich, wie man eine lange Geschichte von innen heraus aufbaut, oder sind sie nur sehr gut darin, kurzfristig flüssig zu klingen?

Die Autorin, Kumiko Tanaka-Ishii, entwickelte eine neue Methode, um diese Geschichten zu „hören", nicht indem sie prüft, ob sie grammatikalisch Sinn ergeben, sondern indem sie untersucht, wie sie ihre eigenen Wörter und Muster über große Distanzen hinweg wiederverwenden.

Das Werkzeug: Der „Echo"-Detektor

Um den Unterschied zu finden, nutzt die Autorin ein Konzept namens Wiederholte Teilsequenzen.

Stellen Sie sich einen Text als langen Flur vor.

Natürliche Sprache (Menschen): Wenn ein Mensch einen Roman schreibt, pflanzt er früh Samen. Er führt eine Figur, ein Thema oder eine bestimmte Phrase ein. Im Verlauf der Geschichte kehrt er zu diesen Samen zurück, gießt sie und lässt neue Zweige wachsen. Die Geschichte „hallt" sich selbst. Sie nutzt alte Strukturen wieder, um neue Bedeutungen zu schaffen.
LLMs (KI): Die Autorin fand heraus, dass KI-Modelle oft wie eine kaputte Schallplatte oder ein Spiegelkabinett wirken. Sie wiederholen zwar Dinge, scheinen aber nicht dieselbe tiefe, strukturelle „Echowirkung" zu haben, bei der alte Teile der Geschichte aktiv neu organisiert werden, um die neuen Teile zu unterstützen.

Das Paper misst dies, indem es zählt, wie oft kleine Textabschnitte (wie 5- oder 10-Buchstaben-Folgen) später im Dokument erneut auftreten.

Die zwei Arten des Wachstums: Der Garten vs. die Fabrik

Das Paper vergleicht, wie sich „Information" entwickelt, wenn ein Text länger wird. Es identifiziert zwei Hauptwege, wie dies geschehen kann:

Der Potenzgesetz-Garten (Natürliche Sprache):
Stellen Sie sich einen Garten vor, in dem Sie ständig neue, einzigartige Blumen pflanzen, aber gleichzeitig denselben Spalierzaun und dieselben Zäune wiederverwenden, um sie zu stützen. Wenn der Garten wächst, nimmt die Vielfalt der Blumen zu, aber die Struktur (die Zäune und Spaliere) wird immer und immer wieder genutzt.
Das Paper stellt fest, dass menschliches Schreiben sich so verhält. Es folgt einem „Log-Power"-Muster. Das bedeutet, der Text recycelt ständig seine eigene strukturelle DNA. Es ist effizient und tief miteinander verknüpft.
Die Fließbandproduktion (KI-Modelle):
Stellen Sie sich eine Fabrik vor, die ständig Produkte herstellt. Je länger die Fabrik läuft, desto mehr leicht unterschiedliche Artikel produziert sie, aber sie scheint nicht dieselbe tiefe, rekursive Wiederverwendung ihres eigenen internen Bauplans zu haben.
Das Paper fand heraus, dass KI-Modelle, besonders ältere oder kleinere, sich anders verhalten. Sie zeigen ein „Potenzgesetz"-Muster, das darauf hindeutet, dass sie ständig neue strukturelle Komplexität generieren, ohne das gleiche Maß an tiefer, effizienter Wiederverwendung zu erreichen, das beim menschlichen Schreiben zu finden ist.

Das Experiment: Der „Durchmischungs"-Test

Die Autorin testete dies an:

Vom Menschen geschriebenen Romanen (aus Project Gutenberg).
Von KI generierten Geschichten (erstellt von GPT-3.5, GPT-4 und neueren Modellen).

Sie passten die Längen an, damit der Vergleich fair war. Anschließend führten sie einen mathematischen „Echo-Test" durch (unter Verwendung von etwas namens Rényi-Entropie), um zu sehen, wie der Text sich selbst wiederverwendet.

Die Ergebnisse:

Menschen: Unabhängig davon, wie lang das Buch war, blieb das „Echo"-Muster stabil. Menschen nutzten ihre eigenen strukturellen Muster konsistent auf eine vorhersehbare, effiziente Weise wieder.
KI: Das Muster der KI änderte sich je nachdem, wie „groß" das Modell war.
- Kleinere KI-Modelle waren sehr chaotisch in ihrer Art, Struktur wiederzuverwenden (oder zu versäumen, dies zu tun).
- Wenn die KI-Modelle größer wurden (wie GPT-5), begannen sie, mehr wie Menschen auszusehen, zeigten aber immer noch einen systematischen Unterschied. Sie wurden besser darin, das „Echo" nachzuahmen, aber die zugrundeliegende Mathematik, wie sie ihre Geschichten aufbauten, war immer noch deutlich von der eines menschlichen Autors verschieden.

Die Falle der „Maximalen Wiederholung"

Das Paper untersuchte auch den längsten wiederholten Satz in einem Text (wie das Finden des längsten Satzes, der zweimal vorkommt).

Frühere Studien konzentrierten sich auf diese „extremen" Wiederholungen.
Die Autorin argumentiert, dass dies so ist, als würde man versuchen, einen Wald nur anhand des höchsten Baumes zu verstehen. Es ist instabil und irreführend.
Stattdessen liefert der Blick auf alle wiederholten Abschnitte (die „Verteilung") ein viel klareres, stabileres Bild der wahren Struktur des Textes.

Das Fazit

Dieses Paper sagt nicht, dass KI „schlecht" sei oder keine guten Geschichten schreiben könne. Es besagt, dass KI und Menschen Geschichten unterschiedlich aufbauen.

Menschen schreiben, indem sie ständig auf ihre eigenen vergangenen Wörter und Strukturen verweisen und diese neu kombinieren, wodurch ein enges, effizientes Netz an Bedeutungen entsteht, das auf eine spezifische mathematische Weise wächst (Log-Power).
KI schreibt, indem sie das nächste Wort vorhersagt, was ein anderes Wachstumsmuster erzeugt (näher am Potenzgesetz). Selbst die intelligentesten KI-Modelle haben die menschliche Kunst des „strukturellen Recyclings" über große Distanzen noch nicht ganz gemeistert.

Die Autorin schließt, dass wir neue Werkzeuge benötigen, um KI zu messen. Wir können nicht einfach fragen: „Hat es den Test bestanden?" oder „Ist es flüssig?". Wir müssen fragen: „Baut es seine Welt so auf wie ein Mensch?". Und aktuell lautet die Antwort: Nicht ganz.

Technisches Fazit: Wiederholte Sequenzen offenbaren Lücken zwischen großen Sprachmodellen und natürlicher Sprache

Problemstellung
Während große Sprachmodelle (LLMs) in lokalen Kontexten hohe Flüssigkeit und Kohärenz aufweisen, bleibt es eine offene Herausforderung zu bestimmen, ob sie die langreichweitige statistische Organisation natürlicher Sprache erfassen. Bestehende Evaluierungsmethoden, die stark auf aufgabenbasierte Benchmarks oder Kurzkontextanalysen angewiesen sind, liefern nur indirekte Hinweise auf die globale Struktur generierter Texte. Vorangegangene Arbeiten haben Probleme wie übermäßige Wiederholungen und reduzierte Vielfalt in LLM-Ausgaben identifiziert, was darauf hindeutet, dass hohe Aufgabenleistung keine menschenähnliche langreichweitige Struktur garantiert. Insbesondere fehlt es an quantitativen Diagnoseverfahren, die unterscheiden können, wie natürliche Sprache und LLMs etablierte Strukturelemente über lange Strecken hinweg wiederverwenden.

Methodik
Die Autoren schlagen ein ergänzendes Evaluierungsframework vor, das auf der Verteilung wiederholter Teilsequenzen über verschiedene Skalen hinweg basiert und diese Statistiken mit höherordentlichen Rényi-Entropien verknüpft.

Zählen wiederholter Teilsequenzen: Die Methode definiert die Anzahl der wiederholten Blöcke ( $D_m$ ) der Länge $m$ innerhalb einer Sequenz der Länge $n$ . Im Gegensatz zu Analysen, die sich auf maximale Wiederholungen konzentrieren (die numerisch instabil sein können), untersucht dieser Ansatz die Verteilung aller wiederholten Teilsequenzen.
Höherordentliche Rényi-Entropie: Die Autoren setzen das Spektrum wiederholter Blöcke in Beziehung zu Rényi-Entropien ( $H_\alpha$ ) der Ordnung $\alpha \ge 2$ . Dies ermöglicht eine Charakterisierung des Entropiewachstums endlicher Längen. Die empirische Entropie $\hat{H}_\alpha(m)$ wird basierend auf der Häufigkeit beobachteter Blocktypen berechnet.
Funktionale Charakterisierung: Die Arbeit modelliert das Wachstum der effektiven Anzahl unterscheidbarer Blöcke ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) unter Verwendung zweier sublinearer Formen:
- Potenzgesetz-Ansatz: $\log_2 S_m \propto m^\beta$ , verbunden mit expandierenden strukturellen Freiheitsgraden.
- Logarithmisch-Potenz-Ansatz: $\log_2 S_m \propto (\log_2 m)^\gamma$ , verbunden mit starker struktureller Wiederverwendung, bei der die Beschreibungslänge im Verhältnis zur Sequenzlänge langsam wächst.
Schätzverfahren: Ein zweistufiges Schätzverfahren wird eingesetzt, um Endlichkeits-Effekte zu behandeln. Zuerst wird ein Korrekturterm ( $\Delta_\alpha$ ), der aus Touchard-Polynomen abgeleitet ist, basierend auf dem Verhältnis der Gesamtzahl der Blöcke zur Anzahl der verschiedenen Blöcke geschätzt. Zweitens werden die Exponenten $\beta$ und $\gamma$ an die korrigierten empirischen Entropiewerte angepasst.

Experimenteller Aufbau
Die Studie vergleicht Texte in natürlicher Sprache mit von GPT generierten Texten über vier Modellgenerationen hinweg: gpt-3.5turbo, gpt-4o-mini, gpt-5-mini und gpt-5.

Datensätze: Texte in natürlicher Sprache wurden aus Project Gutenberg (Romane) entnommen, um den Längenverteilungen der GPT-Ausgaben zu entsprechen. Alle Texte wurden vorverarbeitet, um Metadaten und nicht-alphabetische Zeichen zu entfernen.
Kontrollen: Die Experimente wurden mit 100 Texten pro Kategorie durchgeführt, mit längenangepassten Verteilungen, um Effekte der Sequenzlänge zu kontrollieren. Zusätzliche Tests an Essays und wissenschaftlichen Texten bestätigten, dass die bei Narrativen beobachteten Trends über alle Genres hinweg konsistent waren.

Hauptergebnisse

Modellanpassung: Über die Datensätze hinweg lieferte das logarithmisch-potenzgesetzliche Modell im Allgemeinen eine bessere Anpassung ( $R^2 > 0,97$ ) für natürliche Sprache als das reine Potenzgesetz-Modell, insbesondere für längere Texte. Dies deutet darauf hin, dass das Entropiewachstum natürlicher Sprache von struktureller Wiederverwendung dominiert wird und nicht von einer kontinuierlichen Expansion neuer struktureller Freiheitsgrade.
Stabilität in natürlicher Sprache: Natürliche Sprache zeigte stabile Entropiewachstumsmuster (mittlere Exponenten $\beta$ und $\gamma$ ) über verschiedene Datensätze und Textlängen hinweg, trotz Variabilität zwischen einzelnen Texten. Dies deutet auf eine Form „schwacher Universalität" auf Bevölkerungsebene hin.
Systematische Verschiebungen bei LLMs: Im Gegensatz dazu zeigten von GPT generierte Texte systematische, statistisch signifikante Verschiebungen der geschätzten Exponenten mit zunehmender Modellgröße.
- Kleinere Modelle (z. B. gpt-3.5turbo) zeigten eine starke Präferenz für das Log-Potenz-Modell, jedoch mit unterschiedlichen Exponentencharakteristika.
- Mit zunehmender Modellgröße bis hin zu gpt-5 nahmen sowohl $\beta$ als auch $\gamma$ monoton zu und entfernten sich von den stabilen Mustern natürlicher Sprache.
- Statistische Tests (Welch-zweistichproben-t-Tests) bestätigten eine klare Trennung zwischen natürlicher Sprache und GPT-5-Ausgaben ( $p \approx 0$ ).
Vergleich mit maximaler Wiederholung: Während das Wachstum maximal wiederholter Teilsequenzen (Exponent $\eta$ ) eine gewisse Konvergenz zwischen gpt-5 und natürlicher Sprache zeigte, offenbarte die vorgeschlagene verteilungsbasierte Methode ausgeprägtere und systematischere Unterschiede in der langreichweitigen Organisation.

Hauptbeiträge

Verteilungsformulierung: Die Arbeit schlägt eine verteilungsbezogene Formulierung von Wiederholungen vor, die eine Charakterisierung des Entropiewachstums endlicher Längen über höherordentliche Rényi-Entropien ermöglicht und sich von der Instabilität maximaler Wiederholungsstatistiken löst.
Strukturelles Diagnoseverfahren: Sie demonstriert systematische Unterschiede zwischen natürlicher Sprache und von LLMs generiertem Text im Verhalten des Entropiewachstums. Insbesondere zeigt sie auf, dass natürliche Sprache stabile, von Wiederverwendung dominierte Muster aufweist, während LLMs systematische Verschiebungen in der strukturellen Organisation zeigen, die mit der Modellgröße korrelieren.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Entropie wiederholter Teilsequenzen als quantitatives strukturelles Diagnoseverfahren dient, das in der Lage ist, systematische Unterschiede in der langreichweitigen Organisation aufzudecken, die für oberflächliche Flüssigkeit oder aufgabenbasierte Evaluierungen unsichtbar sind.

Die Autoren interpretieren die logarithmisch-potenzgesetzliche Skalierung in natürlicher Sprache als Beleg für „starke strukturelle Wiederverwendung", bei der Texte durch die Rekombination und Neuindizierung gemeinsamer sprachlicher Ressourcen generiert werden. Im Gegensatz dazu deuten die sich verschiebenden Exponenten bei LLMs auf eine schwächere Manifestation dieser „Struktur-als-Referenz"-Organisation hin, möglicherweise bedingt durch das Ziel der Next-Token-Vorhersage und die Nutzung endlicher Kontexte. Die Arbeit stellt fest, dass aktuelle State-of-the-Art-LLMs trotz ihrer Flüssigkeit die langreichweitige statistische Organisation natürlicher Sprache nicht vollständig replizieren, und liefert damit eine neue Metrik zur Bewertung der strukturellen Treue generierter Texte.