Language Models Agree With Each Other, Not With Readers

Die große KI-Echo-Kammer vs. der stille Leser

Stellen Sie sich vor, Sie befinden sich in einem Raum voller Menschen, die versuchen zu erraten, worum es in einem geheimnisvollen, unsichtbaren Buch geht. Wenn Sie eine Gruppe von Menschen bitten, eine Seite zu lesen und die wichtigsten Sätze hervorzuheben, erhalten Sie ein chaotisches, wunderschönes Durcheinander. Eine Person markiert einen lustigen Witz, eine andere einen traurigen Fakt und eine dritte umkreist ein Wort, dessen Klang ihr gefällt. Sie alle lesen aus ihren eigenen Gründen, ohne Anweisungen, ohne Preise und ohne dass ihnen jemand sagt, was „wichtig“ bedeutet. So funktioniert echtes Lesen: es ist persönlich, chaotisch und voller Meinungsverschiedenheiten.

Stellen Sie sich nun vor, Sie ersetzen diese Menschen durch eine Flotte superintelligenter Computer, die alle auf derselben riesigen Bibliothek des Internets trainiert wurden. Sie stellen ihnen exakt dieselbe Frage: „Welche Sätze in dieser Geschichte sind wichtig?“ Man würde erwarten, dass sie genauso chaotisch sind wie die Menschen oder vielleicht sogar vielfältiger, weil sie unterschiedliche Maschinen sind. Aber hier kommt die Wendung: Diese Computer fangen an, exakt wie einander zu klingen. Sie wählen alle dieselben Sätze aus, mit einem Grad an Übereinstimmung, den keine Gruppe von Menschen jemals erreicht. Dieses Paper untersucht dieses seltsame Phänomen. Es fragt: Kopieren diese KI-Modelle einfach nur einander, oder haben sie irgendwie alle beschlossen, eine einzige „richtige“ Art zu lesen? Und wenn sie sich untereinander so sehr einig sind, sind sie sich dann auch mit uns einig?

Das Experiment: Ein Kampf der Hervorhebungen

Um die Antwort zu finden, setzten die Forscher ein einzigartiges Spiel auf. Sie engagierten keine Menschen, um als Testsubjekte zu fungieren, oder bezahlten sie dafür, Regeln zu folgen. Stattdessen untersuchten sie eine echte Social-Media-Plattform, auf der tausende reguläre Menschen Texte in 120 verschiedenen Web-Artikeln aus ihren ganz persönlichen Gründen hervorgehoben hatten – vielleicht um sich an einen Fakt zu erinnern, ein Zitat eines Freundes zu speichern oder einfach, weil ein Satz sich richtig anfühlte. Entscheidend war, dass diese Leser die Hervorhebungen der anderen nicht sehen konnten; sie lasen in völliger Isolation.

Dann baten die Forscher 18 verschiedene KI-Modelle (von großen Unternehmen wie OpenAI, Google und Anthropic, die von kleinen bis hin zu supermächtigen „Frontier“-Modellen reichen), dieselben 120 Artikel zu lesen und die wichtigsten 20 % der Sätze herauszusuchen, die am bedeutendsten erschienen. Sie verglichen, wie sehr die KIs untereinander übereinstimmten im Vergleich dazu, wie sehr die echten Menschen untereinander übereinstimmten.

Die große Entdeckung: KIs sind beste Freunde (aber nicht mit Ihnen)

Die Ergebnisse waren verblüffend. Wenn zwei verschiedene KI-Modelle denselben Artikel lasen, stimmten sie über die Wichtigkeit der Sätze etwa 2,3-mal häufiger überein als zwei zufällige menschliche Leser untereinander.

Um dies einzuordnen:

• Zwei Menschen, die dieselbe Seite lesen, teilen sich etwa 4,1 hervorgehobene Sätze von einem typischen Satz von 14.
• Zwei KI-Modelle, die dieselbe Seite lesen, teilten etwa 8,7 Sätze.
• Noch schockierender: Die beiden leistungsstärksten KI-Modelle von konkurrierenden Unternehmen (GPT-5.4 und Claude Opus 5) stimmten etwa 5,1-mal häufiger überein als zwei Menschen. Tatsächlich stimmten sie so stark überein, wie es ein einzelner Mensch beim zweimaligen Lesen desselben Textes mit sich selbst tun würde!

Das Paper nennt dies „Konvergenz“. Es bedeutet, dass die KIs alle im Gleichschritt marschieren und dieselben „besten“ Sätze auswählen, während die Menschen alle in verschiedene Richtungen marschieren.

Was es NICHT ist (Ausschluss der falschen Erklärungen)

Die Forscher waren sehr sorgfältig, um sicherzustellen, dass dies kein Trick war. Sie testeten und schlossen mehrere offensichtliche Gründe aus, warum die KIs so sehr übereinstimmen könnten:

• Es liegt nicht daran, dass sie zum selben Unternehmen gehören: Modelle von völlig unterschiedlichen Labors und aus verschiedenen Ländern stimmten genauso stark überein wie Modelle desselben Unternehmens.
• Es liegt nicht daran, dass sie „deterministisch“ (robothaft) sind: Selbst wenn dieselbe KI exakt dieselbe Frage zweimal gestellt wurde, wählte sie nicht immer exakt dieselben Sätze (sie stimmte nur zu etwa 27 % mit sich selbst überein!). Aber wenn sie mit einer anderen KI interagierte, stimmten sie viel stärker überein.
• Es liegt nicht an der Formulierung des Prompts: Eine leichte Änderung der Anweisungen änderte nichts an der Übereinstimmung.
• Es liegt nicht daran, dass sie eine „richtige“ Antwort kopieren: Die Aufgabe hatte keine richtige oder falsche Antwort. Die KIs wählten lediglich das aus, was sie für wichtig hielten.

Das „Register“-Rätsel: Mögen sie unterschiedliche Wörter?

Man könnte vermuten, dass KIs so sehr übereinstimmen, weil sie alle lange, schicke, wissenschaftliche Sätze lieben, während Menschen kurze, emotionale Sätze bevorzugen. Die Forscher prüften dies, indem sie 11 verschiedene Merkmale der Sätze untersuchten (wie Länge, Interpunktion und Wortarten).

Sie fanden heraus, dass es keinen Unterschied gab, wenn sie die Sätze nach Länge und Position abglichen. Die KIs und die Menschen wählten Sätze, die oberflächlich betrachtet exakt gleich aussah. Die KIs wählten keine „Roboter-Wörter“; sie wählten dieselben Arten von Wörtern wie Menschen, nur einen völlig anderen Satz von Sätzen. Die Distanz zwischen dem, was KIs wählen, und dem, was Menschen wählen, wächst, aber nicht, weil sie eine andere Sprache sprechen.

Die Decke: KIs laufen aus dem Raum für Menschlichkeit heraus

Hier ist der interessanteste Teil der Geschichte. Die Forscher fragten: „Wird eine KI klüger, stimmt sie dann mehr mit Menschen überein?“

Die Antwort lautet: Ja, aber nur bis zu einem gewissen Punkt.

• Neuere, intelligentere Modelle stimmen eher mit Menschen überein als ältere, weniger intelligente Modelle.
• Sie stoßen jedoch an eine „Decke“. Selbst die beste KI in der Studie erreichte nur etwa 84 % des Übereinstimmungsgrades, den ein perfekter „Crowd Consensus“ (der Durchschnitt der Meinung vieler Menschen) erreichen könnte.
• Währenddessen steigt die Übereinstimmung zwischen zwei KIs weiter an und übertrifft die menschliche Decke bei weitem.

Es ist, als würden die KIs lernen, wie Menschen zu lesen, aber sie lernen auch schneller, wie einander zu lesen. Sie werden so gut darin, einen „idealen“ Leser zu imitieren, dass sie die tatsächlichen Menschen hinter sich lassen.

Das Verfahrensproblem: Ein fairer Kampf?

Das Paper gibt auch eine Besonderheit in der Durchführung des Spiels zu. Wenn ein Mensch Text hervorhebt, markiert er vielleicht 20 Sätze, aber die Forscher ließen ihn nur seine besten 14 behalten (eine zufällige Auswahl seiner besten). Die KI hingegen wurde gezwungen, ihre absolut besten 14 Sätze zu wählen. Dies verschaffte der KI einen unfairen Vorteil, vergleichbar mit einem Basketballspieler, der seine 14 besten Würfe wählen darf, während der Mensch 14 Würfe aus einem Haufen von 20 wählen muss.

Als die Forscher die KI nach den Regeln der Menschen spielen ließen (indem sie zufällig aus ihren Top-Auswahlen wählte), schrumpfte die Lücke zwischen KI- und menschlicher Übereinstimmung um die Hälfte. Aber selbst dann stimmten die KIs untereinander immer noch signifikant stärker überein als die Menschen. Die Lücke verschwand nicht; sie wurde nur kleiner.

Das Fazit

Das Paper kommt zu dem Schluss, dass Sprachmodelle nicht nur Werkzeuge sind, die uns beim Lesen helfen; sie werden zu einer völlig neuen Art von Leser. Sie konvergieren auf eine gemeinsame, interne Art des Textverständnisses, die viel einheitlicher ist als die Art und Weise, wie echte Menschen lesen. Während sie immer besser darin werden, uns zu verstehen, werden sie sich gegenseitig noch besser verstehen. Das Ergebnis ist eine Welt, in der KI-Modelle möglicherweise mehr mit einer rivalisierenden KI eines anderen Unternehmens übereinstimmen als mit der Person, die den Text liest. Es ist eine kraftvolle, leicht unheimliche Echo-Kammer, in der die Maschinen alle dieselbe Melodie summen, während die Menschen immer noch ihre eigenen, einzigartigen Lieder singen.