More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs
Diese Studie vergleicht zwei Generationen von LLMs mit von Menschen verfassten Nachrichtentexten unter Verwendung des HPSG-Formalismus und von Diversitätsmetriken und zeigt, dass menschliches Schreiben stabil bleibt, während neuere instruierte Modelle eine signifikant reduzierte syntaktische und lexikalische Diversität aufweisen, was auf eine potenzielle Verengung des Ausdrucksvermögens trotz verbesserter Kohärenz hindeutet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind Musikkritiker, der zwei Bands vergleicht: The Humans (professionelle Journalisten) und The Robots (Künstliche Intelligenz). Sie möchten sehen, wie sich ihre Musik im Laufe der Zeit verändert hat.
Dieser Artikel ist wie ein tiefgehender Einblick in die Noten dieser beiden Gruppen. Anstatt nur die Melodie (die Wörter) zu hören, untersuchten die Forscher die Grammatik (die Akkorde und Struktur) und den Wortschatz (die spezifisch verwendeten Instrumente), um festzustellen, ob die Roboter menschlicher klingen oder ob sie zu etwas ganz anderem werden.
Hier ist die Aufschlüsselung ihrer Erkenntnisse in einfachen Worten:
1. Das Setup: Zwei Epochen, Zwei Bands
Die Forscher verglichen zwei verschiedene Zeiträume:
- The Humans: Sie analysierten Nachrichtenartikel der New York Times, die in den Jahren 2023 und 2025 verfasst wurden.
- The Robots: Sie verglichen zwei Generationen von KI-Modellen:
- Ältere Roboter (2023): Dies waren die „Basis"-Modelle. Stellen Sie sich sie als rohe, untrainierte Musiker vor, die einfach alles spielen, was ihnen in den Sinn kommt.
- Neuere Roboter (2025): Dies sind die „instruktionsfeinabgestimmten" Modelle. Stellen Sie sich sie als Musiker vor, die ein striktes Regelbuch und einen Trainer erhalten haben, der ihnen genau sagt, wie sie sich verhalten, was sie sagen und wie sie „hilfreich" sein sollen.
2. Die große Entdeckung: „Besser abgestimmt, weniger vielfältig"
Die Hauptentdeckung ist etwas überraschend. Man könnte erwarten, dass die KI, je intelligenter sie wird und je besser sie mit menschlichen Anweisungen „abgestimmt" ist, mehr wie ein menschlicher Autor klingt.
Die Realität: Die neueren KI-Modelle klingen tatsächlich weniger wie Menschen und weniger wie ihre eigenen älteren Versionen.
- The Humans: Professionelle Journalisten haben sich kaum verändert. Ihr Schreibstil, ihre Satzstruktur und ihre Wortwahl sind in den letzten zwei Jahren stabil und vielfältig geblieben. Sie sind wie eine Jazzband, die weiterhin mit neuen Ideen improvisiert.
- Die älteren Roboter: Diese Modelle waren tatsächlich recht vielfältig. Sie verwendeten eine breite Palette von Satzstrukturen und Wörtern, manchmal sogar noch abwechslungsreicher als die Menschen, was den Wortschatz betrifft.
- Die neueren Roboter: Diese Modelle sind langweilig konsistent geworden. Sie haben ihren „Geschmack" verloren.
- Syntaktische Vielfalt (Struktur): Sie verwenden weniger Arten von Satzstrukturen.
- Lexikalische Vielfalt (Wörter): Sie verwenden ein viel eingeschränkteres Spektrum an Wörtern. Sie vermeiden spezifische Namen, Daten und einzigartige Details.
3. Der Effekt des „Sicherheitsfilters"
Warum haben sich die Roboter verändert? Der Artikel deutet darauf hin, dass dies auf die Instruktionsfeinabstimmung zurückzuführen ist.
Stellen Sie sich vor, die älteren Roboter waren wilde Maler, die Farbe überallhin warfen. Die neueren Roboter sind Maler, denen gesagt wurde: „Machen Sie keine Fehler, halluzinieren Sie nicht und bleiben Sie bei den Fakten."
Um diese Regeln zu befolgen, begannen die neueren KI-Modelle, auf Nummer sicher zu gehen.
- Sie hörten auf, spezifische Namen zu verwenden (wie „Washington" oder „Senator Ben Cardin"), weil sie keine Fehler bei den Fakten machen wollten.
- Sie hörten auf, komplexe Satzstrukturen zu verwenden, die riskant sein könnten.
- Stattdessen begannen sie, lange, sichere, sich wiederholende Sätze zu verwenden, die leicht zu verstehen sind, aber den „Funken" menschlichen Schreibens vermissen lassen.
4. Das „Leicht zu lesen"-Paradoxon
Hier kommt eine seltsame Wendung: Die neueren KI-Modelle schreiben längere Sätze als Menschen, aber diese Sätze sind für einen Computer einfacher zu analysieren.
- Die Analogie: Stellen Sie sich einen menschlichen Autor vor, der eine komplexe, verschlungene Burg mit versteckten Türen und Geheimgängen baut. Sie ist wunderschön, aber schwer zu kartieren.
- Der neuere KI-Autor baut einen sehr langen, geraden Flur ohne Türen. Er ist länger als die Burg des Menschen, aber es ist unglaublich einfach, ihn entlangzugehen, weil er so vorhersehbar ist.
Die Forscher stellten fest, dass der neuere KI-Text so regelmäßig und formelhaft ist, dass ein computergestützter Grammatikprüfer ihn fast perfekt verarbeiten kann (99 % Erfolgsquote), während menschliches Schreiben etwas chaotischer ist und schwerer zu parsen ist (94–95 % Erfolgsquote).
5. Das Fazit
Der Artikel kommt zu dem Schluss, dass neuere KI-Modelle zwar besser darin sind, Anweisungen zu befolgen und „hilfreich" zu klingen, aber sie haben Kreativität und Vielfalt gegen Sicherheit und Vorhersehbarkeit getauscht.
Sie sind keine „durchschnittlichen" Autoren mehr; sie werden zu „sicheren" Autoren. Sie haben ihren Ausdrucksspielraum so stark eingeengt, dass sie nun weniger vielfältig sind als sowohl menschliche Journalisten als auch die älteren, weniger trainierten KI-Modelle.
Kurz gesagt: Die Roboter wurden besser darin, die Regeln zu befolgen, aber dabei vergaßen sie, wie man interessant ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.