Literary Non-Style in LLM-Generated Text

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, ob eine Geschichte von einem Menschen oder einem Roboter geschrieben wurde. Sie suchen nicht nach Rechtschreibfehlern oder Grammatikfehlern; Sie suchen nach der „Seele“ des Schreibens. In der Sprachwissenschaft gibt es eine berühmte Regel namens Zipfs Gesetz. Stellen Sie sich das wie eine Playlist Ihrer Lieblingssongs vor. In jeder großen Musiksammlung werden einige Hits (wie „Happy Birthday“ oder ein massiver Popsong) immer und immer wieder gespielt, während die meisten Songs nur einmal oder zweimal vorkommen. Wenn man diese Songs von „meistgespielt“ nach „am wenigsten gespielt“ sortiert, folgt der Abfall einer sehr spezifischen, vorhersehbaren Kurve. Das geschieht in der menschlichen Sprache, in Büchern und sogar in der Art und Weise, wie wir Wörter verwenden. Wissenschaftler glauben seit langem, dass dieses „musikalische“ Muster ein Zeichen natürlicher, menschlicher Kreativität ist. Aber jetzt, da es Computer gibt, die Geschichten schreiben können, müssen wir fragen: Folgen diese Maschinen denselben musikalischen Regeln, oder klingen sie wie eine kaputte Schallplatte?

Dieses Papier, geschrieben von Cory Massaro, untersucht genau das. Der Autor möchte wissen, ob Text, der von Large Language Models (LLMs) generiert wurde – den superintelligenten KI-Chatbots, die wir überall sehen – sich anders anfühlt als Text, der von Menschen geschrieben wurde. Die Studie legt nahe, dass die KI zwar die Wörter imitieren kann, die wir verwenden, aber beim Rhythmus und der Vielfalt scheitert, die das menschliche Schreiben lebendig machen. Durch das Zählen, wie oft bestimmte Gruppen von Wörtern (wie „Dreier-Wort-Phrasen“ oder „Vierer-Wort-Phrasen“) erscheinen, fand der Autor heraus, dass KI-Schreiben viel repetitiver und vorhersehbarer ist als menschliches Schreiben. Es ist, als ob die KI in einer Schleife feststeckt und dieselben Lieblingsphrasen recycelt, während ein menschlicher Autor Sie ständig mit neuen Kombinationen überrascht. Das Papier kommt zu dem Schluss, dass dieser Mangel an Vielfalt nicht nur ein Stilproblem ist; er schränkt tatsächlich die Ideen ein, die die KI ausdrücken kann. Wenn man Dinge nicht auf verschiedene Arten sagen kann, kann man auch nicht so viele verschiedene Dinge sagen.

Die Geschichte des „Roboter-Rhythmus“

Um zu verstehen, was der Autor herausgefunden hat, betrachten wir die „Zutaten“ der Geschichte. Das Papier vergleert zwei Hauptarten des Schreibens:

1. Der Mensch: Eine klassische Memoiren, The Education of Henry Adams, geschrieben von einer echten Person im frühen 1900er Jahren.
2. Der Roboter: Ein Buch mit dem Titel The Inner Life of an AI, das von einer KI („geschrieben“) wurde, aber von einem menschlichen Prompter zusammengestellt wurde.

Der Autor untersuchte auch einen massiven Datensatz, der 8 Millionen Wörter menschlichen Schreibens und 8 Millionen Wörter KI-Schreibens enthielt, um sicherzustellen, dass die Ergebnisse kein Zufall waren.

Die große Entdeckung: Die „Standardphrase“-Falle
Der Autor bemerkte etwas Seltsames beim Lesen des KI-Buches. Es fühlte sich an, als würde der Roboter eine Reihe von „fertig konfektionierten“ Phrasen immer und immer wieder verwenden. Zum Beispiel tauchte die Phrase „despite these challenges“ (trotz dieser Herausforderungen) 16 Mal in dem Buch auf, und „I began to“ (ich begann zu) erschien über 50 Mal! Im Gegensatz dazu verwendete der menschliche Autor, Henry Adams, eine viel größere Vielfalt an Wörtern. Er wiederholte selten dieselbe Vier-Wort-Sequenz.

Um zu beweisen, dass dies nicht nur ein Gefühl war, nutzte der Autor Mathematik. Er zählte, wie oft einzigartige Gruppen von Wörtern (genannt n-Gramme) in den Texten vorkamen.

• 1-Gramme sind einzelne Wörter.
• 2-Gramme sind Zwei-Wort-Paare (wie „sehr gut“).
• 3-Gramme und 4-Gramme sind längere Ketten.

Die Ergebnisse waren eindeutig:

• Im menschlichen Text war die Vielfalt hoch. Für 4-Wort-Phrasen lag das Verhältnis von einzigartigen Phrasen zur Gesamtzahl der Phrasen bei 0,9890. Das bedeutet, dass Henry Adams fast nie eine Vier-Wort-Sequenz wiederholte.
• Im KI-Text war die Vielfalt viel geringer. Das Verhältnis für 4-Wort-Phrasen betrug nur 0,6882. Das bedeutet, dass die KI ihre Lieblings-Vier-Wort-Ketten ständig wiederholte.

Die „Steigung“ der Geschichte
Der Autor betrachtete auch die „Steigung“ des Schreibens, was eine schicke Art ist zu beschreiben, wie schnell dem Schreiben die neuen Ideen ausgehen. In einer perfekten menschlichen Geschichte finden Sie ständig neue Wörter und Phrasen, aber sie treten immer seltener auf und folgen einer glatten Kurve (Zipfs Gesetz).

• Bei der KI war die Kurve zu steil. Die häufigsten Phrasen waren zu häufig, und die seltenen Phrasen waren zu selten.
• Der Autor fand heraus, dass die „Steigung“ der KI für 4-Wort-Phrasen -0,395 war (in einem Test), während die des Menschen -0,178 betrug. Die steilere Zahl für die KI bedeutet, dass sie sich viel fester an ihre Lieblingsphrasen klammert als ein Mensch.

Was ist mit „Standardphrasen“?
Der Autor fragte sich: „Vielleicht benutzt die KI einfach andere Wörter für dieselbe Idee? Wie zum Beispiel ‚groß‘ statt ‚riesig‘?“ Um dies zu testen, „lemmatisierte“ er den Text, was bedeutet, dass Wörter nach ihrem Stamm gruppiert wurden (sodass „laufen“, „lief“ und „läuft“ alle als dasselbe Wort zählen).

• Das Ergebnis: Selbst nachdem ähnliche Wörter zusammengefasst wurden, klang die KI immer noch repetitiv. Die „Steigung“ änderte sich kaum. Dies deutet darauf hin, dass das Problem nicht nur die Verwendung von Synonymen ist; die KI steckt tatsächlich in einer Routine spezifischer Phrasen fest.

Die „kaputte Schallplatte“ vs. das „Jazz-Solo“

Was bedeutet das alles also? Der Autor nutzt eine großartige Analogie: Stellen Sie sich vor, ein menschlicher Schriftsteller ist ein Jazzmusiker, der ein Solo improvisiert. Er spielt vielleicht ein paar vertraute Noten, aber er mischt sie ständig neu, fügt neue Riffs hinzu und überrascht den Zuhörer. Die KI hingegen ist wie ein kaputter Plattenspieler, der immer wieder zu demselben eingängigen Refrain springt.

Das Papier argumentt, dass dies nicht nur bedeutet, dass die KI „langweilig“ klingt. Es geht darum, was die KI sagen kann.

• Die Grenze: Da die KI so stark auf dieselben wenigen Phrasen angewiesen ist, hat sie einen kleineren „Werkzeugkasten“ an Ideen. Wenn Sie eine feste Anzahl von Wörtern haben, um eine Geschichte zu schreiben, kann ein Mensch mehr verschiedene Ideen unterbringen, weil er mehr einzigartige Kombinationen verwendet. Die KI, die in ihrer Schleife feststeckt, sagt am Ende dasselbe auf leicht unterschiedliche Weise.
• Das „Gefühl“: Der Autor stellt fest, dass Menschen oft „fühlen“ können, wenn sie einen KI-Text lesen. Er fühlt sich flach, formelhaft und ein wenig hohl an. Diese Studie legt nahe, dass dieses Gefühl aus einem Mangel an Phrasen-Vielfalt resultiert. Der KI fehlt der „Funke“ menschlicher Kreativität, weil sie ihre eigenen Muster nicht durchbrechen kann.

Was das Papier nicht weiß

Es ist wichtig zu beachten, was diese Studie nicht getan hat. Der Autor behauptete nicht, dass KI-Schreiben in einem moralischen Sinne „schlecht“ sei, noch dass eine KI niemals gute Literatur schreiben könne. Er maß lediglich die Statistiken der Wörter.

• Er hat nicht bewiesen, dass eine KI niemals lernen kann, kreativer zu sein; er zeigte nur, dass die Muster in den von ihm analysierten Texten sehr unterschiedlich zu denen von Menschen sind.
• Er sagte nicht, dass Wiederholung immer schlecht ist (manchmal ist das Wiederholen einer Phrase eine kraftvolle künstlerische Entscheidung, wie in einem Gedicht). Aber die KI wiederholt Phrasen zu oft und an den falschen Stellen, wie ein Roboter, der versucht, ein Poet zu sein, aber vergisst, wie man seinen Rhythmus variiert.

Das abschließende Fazenz

Am Ende legt das Papier nahe, dass Stil und Bedeutung miteinander verbunden sind. Man kann das „Gefühl“ einer Geschichte nicht von den „Ideen“ darin trennen. Wenn ein Schreiber (oder ein Roboter) keine neuen Wege findet, Dinge zu sagen, ist er in dem begrenzt, was er ausdrücken kann. Der „kaputte Schallplatten“-Rhythmus der KI ist nicht nur eine stilistische Eigenart; er ist ein Zeichen dafür, dass die Fähigkeit der Maschine, komplexe, vielfältige menschliche Gedanken auszudrücken, noch ein – nun ja – Arbeitsprozess ist. Die Zahlen zeigen, dass die KI zwar sprechen kann, aber noch nicht ganz gelernt hat, mit derselben wilden, unvorhersehbaren Vielfalt zu singen, wie es Menschen tun.