💬 NLP

The Text Uncanny Valley: Non-Monotonic Performance Degradation in LLM Information Retrieval

Dieser Beitrag identifiziert ein Phänomen des „Text-Unheimlichen-Tals", bei dem Large Language Models bei Informationsabrufaufgaben eine nicht-monotone Leistungsverschlechterung aufweisen, wenn die Korruption von Wortgrenzen zunimmt, wobei dieser U-förmige Rückgang auf eine ungeordnete Transition zwischen ineffektiven Verarbeitungsmodi auf Wort- und Zeichenebene zurückzuführen ist.

Ursprüngliche Autoren: Zekai Tong, Ruiyao Xu, Aryan Shrivastava, Chenhao Tan, Ari Holtzman

Veröffentlicht 2026-05-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zekai Tong, Ruiyao Xu, Aryan Shrivastava, Chenhao Tan, Ari Holtzman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Goldlöckchen"-Problem mit zerbrochenen Wörtern

Stellen Sie sich vor, Sie versuchen, ein Buch zu lesen.

Szenario A: Das Buch ist perfekt gedruckt. Sie lesen es mühelos.
Szenario B: Das Buch ist so gedruckt, dass zwischen jedem einzelnen Buchstaben ein Leerzeichen steht (z. B. D i e s i s t e i n B u c h). Es sieht seltsam aus, aber Ihr Gehirn passt sich schnell an. Sie erkennen: „Ah, das ist nur ein Code, bei dem jeder Buchstabe ein eigenes Wort ist", und Sie finden heraus, wie es funktioniert.
Szenario C: Das Buch ist so gedruckt, dass einige Wörter zerbrochen sind und andere intakt bleiben (z. B. Dies i s t e i n B u c h). Manche Wörter sind ganz, manche sind in der Mitte aufgespalten, und manche bestehen nur aus einzelnen Buchstaben.

Die Hauptentdeckung des Papiers: Szenario C ist tatsächlich das schwierigste für eine KI zu bewältigen. Es ist nicht nur „ein wenig kaputt"; es ist eine spezifische Art von Verwirrung, die dazu führt, dass die KI schlechter abschneidet als bei völlig zerbrochenem Text (Szenario B) oder völlig sauberem Text (Szenario A).

Die Autoren nennen dies das „Text Uncanny Valley". Genau wie ein Roboter, der fast menschlich aussieht, aber leicht „falsch" wirkt, uns unwohl macht, verwirrt und ineffizient macht Text, der fast normal ist, aber leicht zerbrochen.

Wie sie es getestet haben

Die Forscher nahmen drei Arten von Dokumenten (Rechtsverträge, Computercode und Mathematikaufgaben) und spielten ein Spiel mit „Schneiden und Einfügen" bei den Wörtern.

Sie nahmen Wörter wie international und fügten zufällig Leerzeichen innerhalb dieser Wörter ein:

0 %: international (Perfekt)
50 %: int er nation al (Halb zerbrochen)
100 %: i n t e r n a t i o n a l (Jeder Buchstabe getrennt)

Dann baten sie die KI, eine einfache Aufgabe zu erfüllen: „Finden Sie die fehlende Zeile" oder „Finden Sie die hinzugefügte Zeile". Das ist vergleichbar damit, einen Menschen zu bitten, den Unterschied zwischen zwei Versionen eines Dokuments zu erkennen.

Das überraschende Ergebnis: Die U-förmige Kurve

Die meisten Menschen würden vermuten, dass die KI mit zunehmender Zerbrochenheit des Textes linear schlechter wird.

Erwartung: Mehr kaputt = Mehr Fehler.

Was tatsächlich passierte: Die Leistung der KI sank, erreichte einen Tiefpunkt in der Mitte (das „Tal") und wurde wieder besser, als der Text vollständig zerbrochen war.

Sauberer Text: Die KI leistet gute Arbeit.
Leicht zerbrochener Text (Das Tal): Die KI stürzt ab. Hier macht sie die meisten Fehler.
Vollständig zerbrochener Text: Die KI erholt sich und leistet besser als in der Mitte.

Warum passiert das? (Die Zwei-Modus-Hypothese)

Die Autoren schlagen vor, dass KI-Modelle zwei verschiedene „Gänge" zum Lesen haben, und das „Tal" ist der Bereich, in dem diese Gänge gegeneinander schleifen.

Gang 1: Der Wort-Gang (Sauberer Text)
Wenn der Text normal ist, liest die KI ganze Wörter wie Katze oder Hund. Sie versteht die Bedeutung schnell.
Gang 2: Der Buchstaben-Gang (Vollständig zerbrochener Text)
Wenn der Text K a t z e ist, erkennt die KI, dass sie keine Wörter lesen kann. Also schaltet sie den Gang um. Sie hört auf, nach „Wörtern" zu suchen, und beginnt, Muster einzelner Buchstaben zu betrachten. Sie passt sich dem Chaos an.

Das Problem (Das Tal):
Wenn der Text teilweise zerbrochen ist (z. B. K atze), gerät die KI in Verwirrung.

Sie versucht, den Wort-Gang zu nutzen, aber das Wort ist zerbrochen.
Sie versucht, in den Buchstaben-Gang zu wechseln, aber es sind noch ganze Wörter dazwischen.
Am Ende steckt sie in einem „No-Man's-Land" fest und versucht, beides gleichzeitig zu tun, was zum Versagen führt.

Was sie bewiesen haben (Die Experimente)

Um zu beweisen, dass dies kein Zufall war, führten sie vier spezifische Tests durch:

Können wir die KI lehren, es zu reparieren?
Sie zeigten der KI Beispiele, wie man mit zerbrochenem Text umgeht (wie ein Lehrer, der einem Schüler etwas zeigt).
- Ergebnis: Es half nicht. Die KI konnte sich nicht aus dem Tal herauslernen. Dies beweist, dass das Problem nicht darin besteht, dass die KI „dumm" ist; es ist ein grundlegendes Problem bei der Art und Weise, wie sie den Text verarbeitet.
Ist es die Menge der Zerbrochenheit oder die Unordnung?
Sie versuchten, Wörter in einem sehr vorhersehbaren, regelmäßigen Muster zu brechen (z. B. immer den ersten Buchstaben zu trennen).
- Ergebnis: Das „Tal" verschwand. Die KI bewältigte es viel besser. Dies beweist, dass das Problem das Chaos ist (das zufällige, unordentliche Brechen), nicht nur die Tatsache, dass es Leerzeichen gibt.
Passiert das bei Mathematik?
Sie testeten die KI bei Mathematikaufgaben, bei denen sie nicht zwei lange Dokumente vergleichen musste, sondern nur eine Aufgabe lösen musste.
- Ergebnis: Die stärksten KI-Modelle (wie GPT-5.2) zeigten überhaupt kein Tal. Es trat nur auf, wenn die KI eine präzise „Finde den Unterschied"-Aufgabe lösen musste. Dies deutet darauf hin, dass das „Tal" auftritt, wenn die KI gezwungen ist, den Gang zu wechseln, während sie versucht, Text perfekt abzugleichen.
Der „Entropie"-Check
Sie maßen, wie „verwirrt" das interne Wörterbuch der KI war.
- Ergebnis: Die interne Verwirrung der KI erreichte ihren Höhepunkt, bevor ihre Leistung auf den Tiefpunkt fiel. Dies bestätigt, dass die KI Schwierigkeiten hatte zu entscheiden, welchen „Gang" sie nutzen sollte, bevor sie tatsächlich den Test versagte.

Das Fazit

Das Papier warnt uns davor, dass moderate Korruption gefährlicher ist als extreme Korruption.

Wenn Sie ein System entwickeln, das Dokumente liest (wie das Scannen von Rechtsverträgen oder Code), denken Sie vielleicht: „Wenn der Text unordentlich ist, wird die KI einfach versagen." Aber dieses Papier sagt: „Nein, wenn der Text irgendwie unordentlich ist (wie typische OCR-Fehler beim Scannen), könnte die KI stillschweigend und selbstbewusst versagen und Ihnen falsche Antworten geben."

Die KI ist am anfälligsten nicht, wenn alles perfekt ist, und nicht, wenn alles eine Katastrophe ist, sondern wenn sich die Dinge in diesem unangenehmen, unordentlichen Mittelbereich befinden.

Technische Zusammenfassung: Das Text-Unheimliche-Tal

Problemstellung

Bestehende Benchmarks für Large Language Models (LLMs) bewerten die Leistung überwiegend an syntaktisch sauberen Eingaben, was eine erhebliche Lücke im Verständnis hinterlässt, wie Modelle unvollkommene, nicht kuratierte Texte verarbeiten. Reale Szenarien, wie etwa Dokumente, die über optische Zeichenerkennung (OCR) verarbeitet wurden, oder Inhalte, die von Webquellen kopiert wurden, enthalten häufig Formatierungsartefakte, darunter falsche Leerzeichen, die innerhalb von Wörtern eingefügt wurden (z. B. int er nation al). Während frühere Arbeiten die Robustheit von LLMs gegenüber Rauschen, Tippfehlern und Zeichen-Ebene-Perturbationen untersucht haben, berichten diese Studien allgemein von einer monotonen Degradation: Mit zunehmendem Rauschen nimmt die Leistung ab.

Dieser Artikel adressiert die spezifische Lücke der Korruption von Wortgrenzen bei Aufgaben, die eine exakte Spannen-Matching zwischen zwei Dokumentversionen erfordern. Die Autoren untersuchen, ob die Beziehung zwischen Wortfragmentierung und Modellleistung streng monoton ist oder ob komplexere Dynamiken existieren, insbesondere bei Aufgaben, die eine präzise lexikalische Ausrichtung verlangen.

Methodik

Die Autoren schlagen ein kontrolliertes Perturbationsframework vor, um die Effekte der intra-word Fragmentierung zu untersuchen.

Perturbationsdesign: Die Methode besteht darin, Leerzeichen innerhalb zusammenhängender, nicht-leerzeichenhaltiger Zeichenfolgen (Wörter) einzufügen. Ein einstellbarer Parameter, word_fragmentation_rate ( $p \in [0, 1]$ ), steuert die Wahrscheinlichkeit, an einer beliebigen intra-word Position ein Leerzeichen einzufügen. Die Rate durchläuft elf diskrete Stufen von 0,0 (sauberer Text) bis 1,0 (jedes Zeichen durch ein Leerzeichen getrennt).
Datensätze: Experimente wurden in drei unterschiedlichen Domänen durchgeführt:
1. Rechtliche Dokumente: Von Experten annotierte kommerzielle Verträge (CUAD-QA).
2. GitHub Pull Requests: Code-Diffs, die dichte, nicht-leerzeichenhaltige Bezeichner enthalten.
3. Mathematisches Schlussfolgern: GSM8K-Probleme, die zu langen Dokumenten verkettet wurden.
Evaluierungsaufgaben: Zwei Aufgaben, die eine exakte Zeilen-Ebene-Ausrichtung zwischen einem Original- und einem modifizierten Dokument erfordern:
1. Abwesenheitserkennung: Identifizierung von Zeilen, die absichtlich aus dem Text entfernt wurden.
2. NIAH-artige Einfügungserkennung: Identifizierung von Zeilen, die in den Text eingefügt wurden (Anpassung des „Needle in a Haystack"-Paradigmas an Spannen-Matching).
Modelle: Acht Modellvarianten wurden evaluiert, darunter DeepSeek-V3, Grok-4.1-Fast, Qwen3-Plus, Gemini 3.0 Flash, GPT-5.2 und Claude 4.5 Haiku. Die Leistung wird mittels Micro-F1 basierend auf einer fallunempfindlichen exakten Übereinstimmung gemessen.

Wichtige Erkenntnisse: Das Text-Unheimliche-Tal

Entgegen der Erwartung einer monotonen Degradation zeigt die Studie für drei spezifische Modellfamilien (Gemini 3.0 Flash, GPT-5.2 und Claude 4.5 Haiku) über beide Aufgaben und die meisten Domänen hinweg eine nicht-monotone U-förmige Leistungskurve.

Die Kurve: Mit zunehmender word_fragmentation_rate von 0 verschlechtert sich die Micro-F1-Leistung, erreicht bei moderaten Fragmentierungsraten ein Minimum (das „Tal") und erholt sich dann bei extremen Fragmentierungsraten (nahe 1,0) teilweise.
Das Phänomen: Die Autoren bezeichnen dies als Text-Unheimliches-Tal. Es repräsentiert einen Zustand, in dem der Text weder vollständig natürlich noch einheitlich fragmentiert ist, wodurch das Modell in einem ungeordneten Übergangszustand verbleibt, in dem die Leistung am schlechtesten ist.
Domänenvariationen: Die U-Form ist bei der Abwesenheitserkennung in den rechtlichen und mathematischen Domänen am ausgeprägtesten. Bei GitHub PRs zeigen Modelle manchmal einen anfänglichen Leistungsanstieg bei niedrigen Fragmentierungsraten, bevor sie abfallen, was darauf hindeutet, dass das Aufbrechen dichter Bezeichnerfolgen das Parsing zunächst unterstützen kann, bevor eine starke Fragmentierung diesen Vorteil überlagert.
Modellabhängigkeit: Nicht alle Modelle zeigen dieses Verhalten. Grok-4.1-Fast zeigte einen weitgehend monotonen Abfall. Qwen3-Plus und DeepSeek-V3 wiesen unregelmäßige Muster oder API-Fehler bei hohen Fragmentierungsraten auf.

Hypothese und erklärende Evidenz

Die Autoren schlagen eine Zwei-Regime-Hypothese vor, um die U-Form zu erklären:

Wort-Ebene-Regime: Bei geringer Fragmentierung erzeugen Subword-Tokeniser vertraute Mehrzeichen-Token, und das Modell verarbeitet den Text über lexikalische Einheiten.
Zeichen-Ebene-Regime: Bei extremer Fragmentierung ( $p \approx 1,0$ ) kollabiert die Tokenisierung auf einzelne Zeichen, wodurch das Modell gezwungen ist, sich auf Zeichen-Ebene-Mustererkennung zu verlassen, um Semantik wiederherzustellen.
Das Tal: Das Leistungsminimum tritt in der Übergangszone auf, in der die Fragmentierung unregelmäßig ist. Wörter werden inkonsistent zerschlagen; das Modell kann sich weder für eine stabile Wort-Ebene-Strategie noch für eine konsistente Zeichen-Ebene-Strategie entscheiden, was zu einem „Regime-Konflikt" führt.

Unterstützende Experimente:

In-Context-Learning (ICL): Die Bereitstellung von Few-Shot-Beispielen fragmentierten Textes rettete die Leistung am Talboden nicht, was darauf hindeutet, dass die Engstelle nicht in einem Mangel an Aufgabenstrategie liegt, sondern in einem Tokenisierungsproblem auf niedrigerer Ebene.
Feste Slot-Fragmentierung: Wenn die Fragmentierung regelmäßig gestaltet wurde (Einfügen von Leerzeichen nur an der ersten Slot-Position von Wörtern), wurde die U-Form erheblich reduziert oder eliminiert. Dies bestätigt, dass die Unregelmäßigkeit der Fragmentierung und nicht deren Ausmaß das Tal antreibt.
Inter-word vs. Intra-word: Das zufällige Ersetzen von Leerzeichen zwischen Wörtern durch zusätzliche Leerzeichen induzierte das Tal nicht, was bestätigt, dass die Unterbrechung zusammenhängender nicht-leerzeichenhaltiger Sequenzen (Subword-Tokenisierung) der kausale Faktor ist.
Mathematisches Schlussfolgern-Kontrolle: Bei einer direkten mathematischen Schlussfolgerungsaufgabe (GSM8K) ohne Anforderungen an die Dokumenten-übergreifende Ausrichtung blieb die U-Form für Gemini 3.0 Flash bestehen, verschwand jedoch für GPT-5.2 und Claude 4.5 Haiku, was darauf hindeutet, dass der Effekt abgeschwächt wird, wenn Aufgaben weniger auf exakte lexikalische Ausrichtung angewiesen sind.
Tokenisierungs-Entropie: Die Analyse der Entropie der Token-ID-Verteilung zeigte, dass die Entropie bei einer niedrigeren Fragmentierungsrate ihren Höhepunkt erreicht als das F1-Minimum. Dies stützt die Hypothese, dass das Tal nicht der Punkt maximaler Token-Verwirrung ist, sondern vielmehr der instabile Übergang zwischen zwei Verarbeitungsregimen.

Bedeutung und Implikationen

Der Artikel behauptet, einen Versagensmodus aufzudecken, der für Benchmarks mit sauberem Text unsichtbar ist und direkt für Einsatzszenarien relevant ist, die verrauschten oder nicht kuratierten Text beinhalten.

Moderate Korruption ist am gefährlichsten: Die Ergebnisse deuten darauf hin, dass moderate Korruption von Wortgrenzen (typisch für OCR-Artefakte) für die LLM-Leistung schädlicher ist als extreme Korruption. Systeme können gegenüber sauberem Text oder vollständig zerbrochenem Text robust sein, versagen aber katastrophal im „unheimlichen" Mittelgrund.
Benchmark-Lücken: Aktuelle Benchmarks, die auf sauberen Eingaben oder diskreten Rauschpegeln basieren, könnten diese nicht-monotone Anfälligkeit übersehen.
Praktische Relevanz: Dieses Phänomen birgt Risiken für Dokumentenverarbeitungs-Pipelines, OCR-Systeme und LLM-als-Richter-Bewerter, bei denen die Qualität des Eingabetextes variiert. Die Autoren fordern Robustheits-Benchmarks, die explizit den mehrdeutigen mittleren Regime zwischen sauberem und einheitlich korruptem Text abdecken.

Die Studie kommt zu dem Schluss, dass das Text-Unheimliche-Tal einen instabilen Übergang zwischen Verarbeitungsmodi auf Wort- und Zeichen-Ebene markiert, ein Versagensmodus, der für Aufgaben, die eine exakte lexikalische Ausrichtung über lange Kontexte erfordern, besonders akut ist.