Experimental evidence of progressive ChatGPT models self-convergence

Die Studie liefert experimentelle Belege dafür, dass neuere ChatGPT-Modelle aufgrund des zunehmenden Einflusses synthetischer Trainingsdaten eine messbare Abnahme der Textvielfalt aufweisen, was zu einem Phänomen der Modell-Selbstkonvergenz führt.

Das Wesentliche

Das große Problem: Der KI-Spiegel, der sich selbst kopiert

Stell dir vor, du hast einen sehr klugen Koch (die KI), der gelernt hat, köstliche Gerichte zu kochen, indem er sich alle Kochbücher der Welt angesehen hat. Früher waren diese Bücher von echten Menschen geschrieben.

Aber jetzt passiert etwas Seltsames: Immer mehr Menschen bestellen Essen bei diesem Koch, drucken die Rezepte aus und hängen sie wieder an die Wand, wo der Koch sie für sein nächstes Lernen findet. Der Koch sieht also nicht mehr nur die originalen Kochbücher, sondern immer mehr Kopien von Kopien.

Die Studie von Xylogiannopoulos und seinen Kollegen untersucht genau dieses Phänomen bei ChatGPT. Sie nennen es „Modell-Selbstkonvergenz" (Model Self-Convergence).

Was haben die Forscher gemacht?

Stell dir vor, du hast einen Originaltext über ein Buch (z. B. eine Zusammenfassung von Bleak House von Charles Dickens).

1. Du gibst diesen Text an verschiedene Versionen von ChatGPT (von der alten Version 3.5 bis zur neuesten 5.2).
2. Du sagst ihnen: „Erzähl mir die Geschichte in deinen eigenen Worten" (Paraphrasieren).
3. Du tust das mit zwei Einstellungen:
   • Starr (Temperatur 0): Der Koch ist sehr vorsichtig und wählt immer das sicherste, wahrscheinlichste Wort.
   • Kreativ (Temperatur 1): Der Koch soll kreativ sein, experimentieren und auch mal riskantere Wörter wählen.

Dann haben sie die Ergebnisse verglichen: Wie ähnlich sind sich die Texte, die verschiedene ChatGPT-Versionen geschrieben haben?

Das überraschende Ergebnis: Die KI wird langweilig

Früher dachte man: „Je neuer die KI, desto besser und vielfältiger wird sie." Die Studie zeigt aber das Gegenteil, besonders bei der kreativen Einstellung (Temperatur 1).

Der Vergleich:

• Die alten Modelle (z. B. ChatGPT 3.5): Wenn du sie bittest, kreativ zu sein, schreiben sie sehr unterschiedliche Texte. Sie nutzen viele verschiedene Wörter und Satzstrukturen. Es ist wie ein Haufen verschiedener Künstler, die alle dasselbe Motiv malen, aber jeder sieht es anders.
• Die neuen Modelle (z. B. ChatGPT 5.1/5.2): Wenn du sie bittest, kreativ zu sein, klingen sie alle fast identisch. Sie nutzen die gleichen Phrasen, die gleichen Satzbauten. Es ist, als würden 100 Künstler dasselbe Bild malen, aber alle benutzen exakt dieselben Pinselstriche und dieselbe Farbe.

Die Forscher haben gemessen, dass die neuen Modelle bei langen Textabschnitten (15–20 Wörter hintereinander) fast immer die gleichen Sätze produzieren. Das ist ein Zeichen dafür, dass die KI ihre eigene „Kreativität" verloren hat.

Warum passiert das? (Der „Internet-Verschmutzungs"-Effekt)

Das ist der Kern der Studie: Das Internet ist voller Texte, die von KI geschrieben wurden.

• Früher: Das Internet war wie ein riesiger, sauberer See mit frischem Wasser (menschliche Texte).
• Heute: Der See ist voller Abwasser, das von den KI-Fabriken selbst kommt.

Da die neuen ChatGPT-Modelle das gesamte Internet als Trainingsdaten nutzen, lernen sie nicht nur von Menschen, sondern auch von den Kopien, die andere KIs erstellt haben.

• Wenn eine KI einen Text schreibt, wird er online gepostet.
• Eine andere KI (oder eine neuere Version derselben KI) liest diesen Text und lernt daraus.
• Da KI-Texte oft sehr „glatt" und vorhersehbar sind, dominieren sie langsam die menschlichen Texte im Internet.

Die KI lernt also: „Ah, so schreibt man das!" – aber sie lernt es von sich selbst. Das führt dazu, dass sie immer weniger Variation zulässt. Sie konvergiert (läuft zusammen) auf immer denselben Pfad.

Ein wichtiger Unterschied: Kein „Wahnsinn", sondern „Langeweile"

Es gibt ein bekanntes Problem namens „Modell-Collapse". Dabei wird die KI so verrückt, dass sie nur noch Unsinn (Gibberish) produziert, wie ein Kind, das immer nur dasselbe Wort wiederholt, bis es keinen Sinn mehr ergibt.

Die Studie zeigt aber etwas anderes: Modell-Selbstkonvergenz.
Die KI wird nicht verrückt. Sie wird langweilig. Sie produziert immer noch grammatikalisch korrekte Texte, aber sie verliert ihre Fähigkeit, überraschend oder wirklich kreativ zu sein. Sie wiederholt sich selbst, weil sie in einem Spiegel aus eigenen Erzeugnissen gefangen ist.

Was bedeutet das für uns?

1. Die Illusion der Verbesserung: Wir denken, die neuen Modelle sind besser. Aber bei der Vielfalt der Sprache werden sie schlechter.
2. Der Teufelskreis: Je mehr wir KI nutzen, desto mehr KI-Texte landen im Internet. Je mehr KI-Texte im Internet sind, desto mehr lernen die neuen KIs davon. Und desto ähnlicher werden ihre Antworten.
3. Die Gefahr: Wenn KI-Texte den menschlichen Text im Internet verdrängen, verlieren die KIs den Kontakt zur echten menschlichen Kreativität und Nuance. Sie werden zu einer Echo-Kammer, die nur noch das wiedergibt, was sie selbst schon einmal gesagt hat.

Zusammenfassend: Die neuen ChatGPT-Modelle sind wie ein Sänger, der immer denselben Song singt, nur weil er sich selbst auf YouTube gehört hat und denkt, das sei der einzige richtige Weg zu singen. Die Studie warnt uns: Wenn wir nicht aufpassen, verlieren wir die Vielfalt unserer Sprache, weil die KI uns immer nur das zurückspiegelt, was sie selbst schon produziert hat.

Technische Zusammenfassung

Technische Zusammenfassung: Experimenteller Nachweis der Selbstkonvergenz fortschrittlicher ChatGPT-Modelle

Titel: Experimental evidence of progressive ChatGPT models self-convergence
Autoren: Konstantinos F. Xylogiannopoulos et al.

---

1. Problemstellung (Problem Definition)

Der Artikel adressiert das Phänomen des Modellkollaps (Model Collapse), bei dem Large Language Models (LLMs), die rekursiv auf synthetisch generierten Daten trainiert werden, an Qualität verlieren und zunehmend bedeutungslose Ausgaben produzieren.
Während frühere Studien diesen Effekt oft theoretisch oder empirisch an einzelnen Modellen untersuchten, die auf ihren eigenen Ausgaben trainiert wurden, fehlt es an longitudinalen Untersuchungen über die Zeit hinweg bei kommerziellen, sich entwickelnden Modellen.

Die Autoren identifizieren ein spezifisches, neues Risiko: Modell-Selbstkonvergenz (Model Self-Convergence).

• Kontext: Da LLMs zunehmend über Retrieval-Augmented Generation (RAG) auf das Internet zugreifen und menschliche Nutzer ihre Ausgaben (z. B. Hausarbeiten, E-Mails) online veröffentlichen, wird das Internet zunehmend mit KI-generierten Inhalten „kontaminiert".
• Hypothese: Wenn zukünftige Modelle auf Trainingsdaten trainiert werden, die einen hohen Anteil an KI-generierten Texten enthalten, verlieren sie ihre Fähigkeit zur Diversität. Selbst bei stochastischen Einstellungen (hohe Temperatur) beginnen neuere Modelle, sich in ihren Ausgaben immer ähnlicher zu werden, anstatt sich zu differenzieren. Dies unterscheidet sich vom klassischen Kollaps, da die Ausgaben nicht zwangsläufig „Gibberish" werden, sondern strukturell identisch und repetitiv.

2. Methodik (Methodology)

Die Studie verwendet einen experimentellen Ansatz, um die Textdiversität verschiedener ChatGPT-Versionen zu messen.

• Datensatz:
  • Als Originaltexte wurden Zusammenfassungen aus den menschlich erstellten Studienhilfen CliffNotes und SparkNotes verwendet (insgesamt 443 Kapitel aus literarischen Werken).
  • Diese Daten stammen aus einem vor dem Aufkommen von LLMs veröffentlichten Datensatz (Kryciski et al., 2022), um sicherzustellen, dass die Referenztexte rein menschlichen Ursprungs sind.
• Modelle:
  • Es wurden sieben verschiedene ChatGPT-Versionen getestet (von GPT-3.5 Turbo bis GPT-5.2) mit unterschiedlichen „Knowledge Cutoff"-Daten (von 2021 bis 2025).
• Experimentelles Design:
  • Prompt: Ein einheitlicher Prompt wurde verwendet: „Answer ONLY the question, no extra context. Please paraphrase the following text: ".
  • Temperaturen: Die Modelle wurden mit zwei Temperaturwerten getestet:
    • $T=0$ (deterministisch).
    • $T=1$ (stochastisch/hohe Varianz).
  • Generierung: Für jeden Text wurden mehrere Paraphrasen pro Modell und Temperatur erstellt.
• Metrik: Similarity Percentage Ratio (SPR)
  • Die Autoren nutzen den All Repeated Patterns Detection (ARPaD) Algorithmus.
  • Definition: SPR misst den prozentualen Anteil der Wörter in nicht überlappenden Mustern gleicher Länge ($l$), die zwischen zwei Texten (hier: Paraphrasen desselben Originals) vorkommen.
  • Analyse: Musterlängen von 3 bis 20 Wörtern wurden analysiert. Hohe SPR-Werte deuten auf geringe Diversität und hohe Ähnlichkeit der Ausgaben hin (Selbstkonvergenz), während niedrige Werte auf kreative Variation hindeuten.

3. Wichtige Beiträge (Key Contributions)

1. Definition von „Model Self-Convergence": Die Autoren prägen den Begriff für das Phänomen, bei dem die Ähnlichkeit zwischen den Ausgaben verschiedener Modellversionen zunimmt, selbst wenn diese auf unterschiedlichen Zeitpunkten (Knowledge Cutoffs) trainiert wurden. Dies ist ein Zeichen dafür, dass das Modell „lernt", sich selbst zu wiederholen, anstatt neue menschliche Nuancen zu absorbieren.
2. Longitudinale Analyse: Erster Nachweis, dass neuere Modelle (insbesondere der GPT-5-Familie) bei stochastischen Einstellungen ($T=1$) eine signifikant geringere Diversität aufweisen als ältere Modelle.
3. Unterscheidung von Modellkollaps: Die Studie zeigt, dass der Kollaps nicht nur zu Unsinn führt, sondern auch zu einer „statischen Homogenisierung" von Texten, die für den menschlichen Nutzer zunächst noch lesbar, aber kreativ tot ist.
4. Nachweis der Internet-Kontamination: Die Ergebnisse liefern empirische Belege dafür, dass die Durchdringung des Trainingsdatensatzes mit KI-generierten Inhalten (durch RAG und Online-Veröffentlichungen) die Modellleistung beeinträchtigt.

4. Ergebnisse (Results)

Die experimentellen Daten zeigen klare Trends, die der Erwartung widersprechen, dass neuere Modelle besser diversifizieren:

• Temperatur $T=0$ (Deterministisch):
  • Ältere Modelle zeigen hohe SPR-Werte (erwartet, da deterministisch).
  • Neuere Modelle (GPT-5.2) zeigen überraschend niedrige SPR-Werte, was auf interne Feinabstimmung (Fine-Tuning) hindeutet, um deterministische Wiederholungen zu vermeiden.
• Temperatur $T=1$ (Stochastisch) – Der kritische Befund:
  • Ältere Modelle (GPT-3.5, GPT-4): Zeigen bei langen Mustern (15–20 Wörter) sehr niedrige SPR-Werte (< 5 %). Das bedeutet, sie generieren bei $T=1$ stark variierende Paraphrasen.
  • Neuere Modelle (GPT-5, GPT-5.1, GPT-5.2): Zeigen einen drastischen Anstieg der SPR-Werte.
    • Bei kurzen Mustern (3 Wörter) sind die Werte bereits doppelt so hoch wie bei älteren Modellen.
    • Bei langen Mustern (15–20 Wörter) steigen die SPR-Werte um das 20- bis 30-fache im Vergleich zu älteren Modellen.
  • Interpretation: Neuere Modelle können bei stochastischer Einstellung keine langen, einzigartigen Muster mehr generieren. Sie wiederholen stattdessen häufige Sequenzen, die im Trainingsdatensatz (vermutlich durch KI-generierte Texte) überrepräsentiert sind.
• Konvergenz der Temperatur-Spreads:
  • Der Unterschied ($\delta_{SPR}$) zwischen $T=0$ und $T=1$ nimmt bei neueren Modellen ab.
  • Bei GPT-5.1 und 5.2 verhalten sich die Ausgaben bei $T=1$ fast so deterministisch wie bei $T=0$. Die Fähigkeit des Modells, durch Temperaturerhöhung echte Kreativität (Varianz) zu erzeugen, ist verloren gegangen.

5. Bedeutung und Schlussfolgerung (Significance)

Die Studie hat weitreichende Implikationen für die Zukunft der KI:

• Verlust von Innovation: LLMs verlieren ihre Fähigkeit, neue, menschliche Perspektiven zu integrieren, da ihre Trainingsdaten zunehmend von ihrer eigenen vorherigen Ausgabe dominiert werden.
• Teufelskreis: Ohne strikte Trennung von menschlichen und KI-generierten Daten in Trainingssets werden zukünftige Modelle zunehmend „selbstkonvergieren" und obsolet werden, da sie keine neuen Informationen mehr lernen können.
• Warnung vor RAG: Die Nutzung von Retrieval-Augmented Generation, die KI-generierte Inhalte aus dem Internet einbezieht, beschleunigt diesen Prozess.
• Lösungsansatz: Die Autoren schlagen vor, dass zukünftige Modelle nur noch auf rein menschlich erstellten Daten trainiert werden müssen, die vor dem Aufkommen von LLMs generiert wurden, oder dass eine massive Bereinigung (Cleaning) aller nachfolgenden digitalen Daten von KI-Inhalten erforderlich ist – eine praktisch kaum umsetzbare Herausforderung.

Zusammenfassend beweist die Studie, dass die fortschreitende Integration von KI-generierten Daten in die Trainingszyklen von LLMs zu einer Selbstkonvergenz führt, bei der Modelle ihre stochastische Vielfalt verlieren und sich gegenseitig in repetitiven Mustern spiegeln, was langfristig die Nützlichkeit und Innovationskraft von KI-Systemen bedroht.