💬 NLP

The Text Uncanny Valley: Non-Monotonic Performance Degradation in LLM Information Retrieval

Dit artikel identificeert een "Text Uncanny Valley"-fenomeen waarbij grote taalmodellen een niet-monotoon prestatieverlies vertonen in informatiewinsopdrachten naarmate de corruptie van woordgrenzen toeneemt, een U-vormige daling veroorzaakt door een wanordelijke overgang tussen inefficiënte verwerkingsmodi op woordniveau en op karakterniveau.

Oorspronkelijke auteurs: Zekai Tong, Ruiyao Xu, Aryan Shrivastava, Chenhao Tan, Ari Holtzman

Gepubliceerd 2026-05-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zekai Tong, Ruiyao Xu, Aryan Shrivastava, Chenhao Tan, Ari Holtzman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Goudlokje"-Probleem met Gebroken Woorden

Stel je voor dat je een boek probeert te lezen.

Scenario A: Het boek is perfect gedrukt. Je leest het gemakkelijk.
Scenario B: Het boek is gedrukt met elke afzonderlijke letter gescheiden door een spatie (bijv. D i t s i s e e n b o e k). Het ziet er raar uit, maar je hersenen passen zich snel aan. Je realiseert je: "Oh, dit is gewoon een code waarbij elke letter zijn eigen woord is," en je komt erachter.
Scenario C: Het boek is gedrukt met sommige woorden opgebroken en andere intact (bijv. Dit i s e e n b o e k). Sommige woorden zijn heel, sommige zijn in het midden gesplitst en sommige zijn gewoon letters.

De belangrijkste ontdekking van het paper: Scenario C is eigenlijk het moeilijkst voor AI om mee om te gaan. Het is niet zomaar "een beetje gebroken"; het is een specifiek soort verwarring die de AI slechter laat presteren dan als de tekst volledig gebroken was (Scenario B) of perfect schoon (Scenario A).

De auteurs noemen dit de "Text Uncanny Valley". Net zoals een robot die er bijna menselijk uitziet maar net iets "af" is, ons ongemakkelijk doet voelen, maakt tekst die bijna normaal is maar een beetje gebroken de AI verward en inefficiënt.

Hoe Ze Het Testten

De onderzoekers namen drie soorten documenten (juridische contracten, computercode en wiskundeproblemen) en speelden een spelletje "knippen en plakken" met de woorden.

Ze namen woorden als internationaal en begonnen willekeurig spaties in te voegen:

0%: internationaal (Perfect)
50%: int ern at ion aal (Half-gebroken)
100%: i n t e r n a t i o n a a l (Elke letter gescheiden)

Vervolgens vroegen ze de AI een eenvoudige taak te uitvoeren: "Zoek de regel die ontbreekt" of "Zoek de regel die is toegevoegd". Dit is als een mens vragen om het verschil te zien tussen twee versies van een document.

Het Verrassende Resultaat: De U-vormige Curve

De meeste mensen zouden raden dat naarmate de tekst meer gebroken raakt, de AI steeds slechter presteert in een rechte lijn.

Verwachting: Meer gebroken = Meer fouten.

Wat er echt gebeurde: De prestaties van de AI daalden, bereikten een dieptepunt in het midden (de "Vallei") en werden daarna weer beter toen de tekst volledig gebroken was.

Schone Tekst: AI presteert goed.
Iets Gebroken Tekst (De Vallei): AI crasht. Het maakt hier de meeste fouten.
Volledig Gebroken Tekst: AI herstelt zich en doet het beter dan in het midden.

Waarom Gebeurt Dit? (De Twee-Modus Hypothese)

De auteurs stellen dat AI-modellen twee verschillende "versnellingen" hebben voor het lezen, en dat de "Vallei" de plek is waar de versnellingen tegen elkaar schuren.

Versnelling 1: De Woord-Versnelling (Schone Tekst)
Wanneer tekst normaal is, leest de AI hele woorden zoals kat of hond. Het begrijpt de betekenis snel.
Versnelling 2: De Letter-Versnelling (Volledig Gebroken Tekst)
Wanneer tekst k a t is, realiseert de AI zich dat het geen woorden kan lezen. Dus schakelt het over naar een andere versnelling. Het stopt met proberen "woorden" te vinden en begint te kijken naar patronen van individuele letters. Het past zich aan aan het chaos.

Het Probleem (De Vallei):
Wanneer de tekst gedeeltelijk gebroken is (bijv. k at), raakt de AI in de war.

Het probeert de Woord-Versnelling te gebruiken, maar het woord is gebroken.
Het probeert over te schakelen naar de Letter-Versnelling, maar er zijn nog steeds hele woorden gemengd.
Het komt vast te zitten in een "niemensland", probeert beide tegelijk te doen, wat leidt tot een falen.

Wat Ze Bewezen (De Experimenten)

Om te bewijzen dat dit niet zomaar een toevalstreffer was, voerden ze vier specifieke tests uit:

Kunnen we de AI leren het te fixen?
Ze lieten de AI voorbeelden zien van hoe je met gebroken tekst om moet gaan (zoals een leraar die het aan een leerling laat zien).
- Resultaat: Het hielp niet. De AI kon niet uit de vallei leren. Dit bewijst dat het probleem niet is dat de AI "dom" is; het is een fundamenteel probleem met hoe het de tekst verwerkt.
Is het de hoeveelheid gebrokenheid of de rommeligheid?
Ze probeerden woorden te breken in een zeer voorspelbaar, regelmatig patroon (bijv. altijd de eerste letter breken).
- Resultaat: De "Vallei" verdween. De AI verwerkte het veel beter. Dit bewijst dat het probleem de chaos is (het willekeurige, rommelige breken), niet alleen het feit dat er spaties zijn.
Gebeurt dit met wiskunde?
Ze testten de AI op wiskundeproblemen waarbij het geen twee lange documenten hoefde te vergelijken, maar gewoon één probleem moest oplossen.
- Resultaat: De sterkste AI-modellen (zoals GPT-5.2) lieten de vallei helemaal niet zien. Ze verschenen alleen wanneer de AI een precieze "zoek het verschil"-taak moest uitvoeren. Dit suggereert dat de "Vallei" optreedt wanneer de AI gedwongen wordt om van versnelling te wisselen terwijl het probeert tekst perfect te matchen.
De "Entropie"-Controle
Ze maten hoe "verward" het interne woordenboek van de AI was.
- Resultaat: De interne verwarring van de AI piekte voordat de prestaties op het dieptepunt kwamen. Dit bevestigt dat de AI worstelde om te beslissen welke "versnelling" het moest gebruiken voordat het daadwerkelijk begon te falen in de test.

De Conclusie

Het paper waarschuwt ons dat matige corruptie gevaarlijker is dan extreme corruptie.

Als je een systeem bouwt dat documenten leest (zoals het scannen van juridische contracten of code), zou je kunnen denken: "Als de tekst rommelig is, zal de AI gewoon falen." Maar dit paper zegt: "Nee, als de tekst een beetje rommelig is (zoals typische OCR-fouten bij scannen), kan de AI stil en zelfverzekerd falen en je verkeerde antwoorden geven."

De AI is het meest kwetsbaar niet wanneer dingen perfect zijn, en niet wanneer dingen een ramp zijn, maar wanneer dingen in dat ongemakkelijke, rommelige middengebied zitten.

Technische Samenvatting: De Tekst Uncanny Valley

Probleemstelling

Bestaande benchmarks voor Large Language Models (LLMs) evalueren prestaties voornamelijk op syntactisch schone invoer, wat een aanzienlijke kloof creëert in het begrijpen van hoe modellen omgaan met imperfecte, niet-gecurateerde tekst. Realistische scenario's, zoals documenten verwerkt via Optische Karakterherkenning (OCR) of inhoud gekopieerd van webbronnen, bevatten vaak opmaakartefacten, waaronder schijnbare spaties die binnen woorden zijn ingevoegd (bijv. int er nation al). Hoewel eerdere werken de robuustheid van LLMs voor ruis, typefouten en karakterniveau-perturbaties hebben onderzocht, rapporteren deze studies over het algemeen monotoon verval: naarmate de ruis toeneemt, nemen de prestaties af.

Dit artikel adresseert de specifieke lacune van corruptie op woordgrenzen bij taken die exacte span-niveau matching tussen twee documentversies vereisen. De auteurs onderzoeken of de relatie tussen woordfragmentatie en modelprestaties strikt monotoon is of dat complexere dynamieken bestaan, met name bij taken die precieze lexische uitlijning vereisen.

Methodologie

De auteurs stellen een gecontroleerd perturbatiekader voor om de effecten van intra-woordfragmentatie te bestuderen.

Perturbatieontwerp: De methode houdt in het invoegen van witruimte-karakters binnen aaneengesloten reeksen van niet-ruimte karakters (woorden). Een instelbare parameter, word_fragmentation_rate ( $p \in [0, 1]$ ), controleert de waarschijnlijkheid om een spatie in te voegen op elke intra-woord positie. De snelheid loopt van 0,0 (schone tekst) tot 1,0 (elk karakter gescheiden door een spatie) over elf discrete niveaus.
Datasets: Experimenten worden uitgevoerd over drie distincte domeinen:
1. Juridische Documenten: Expert-geannoteerde commerciële contracten (CUAD-QA).
2. GitHub Pull Requests: Code-diffs met dichte, niet-gespatieerde identificatoren.
3. Wiskundig Redeneren: GSM8K-problemen samengevoegd tot lange documenten.
Evaluatietaken: Twee taken die exacte lijnniveau-uitlijning vereisen tussen een origineel en een gewijzigd document:
1. Afwezigheidsdetectie: Het identificeren van lijnen die bewust uit de tekst zijn weggelaten.
2. NIAH-stijl Invoegdetectie: Het identificeren van lijnen die in de tekst zijn ingevoegd (aanpassing van het "Needle in a Haystack"-paradigma aan span-matching).
Modellen: Acht modelvarianten werden geëvalueerd, waaronder DeepSeek-V3, Grok-4.1-Fast, Qwen3-Plus, Gemini 3.0 Flash, GPT-5.2 en Claude 4.5 Haiku. Prestaties worden gemeten met Micro-F1 gebaseerd op case-ongevoelige exacte matching.

Belangrijkste Bevindingen: De Tekst Uncanny Valley

In tegenstelling tot de verwachting van monotoon verval, onthult de studie een niet-monotoon U-vormig prestatiecurve voor drie specifieke model-families (Gemini 3.0 Flash, GPT-5.2 en Claude 4.5 Haiku) over beide taken en de meeste domeinen.

De Curve: Naarmate de word_fragmentation_rate toeneemt vanaf 0, verslechtert de Micro-F1-prestatie, bereikt een minimum bij matige fragmentatiesnelheden (de "vallei"), en herstelt zich vervolgens gedeeltelijk bij extreme fragmentatiesnelheden (dicht bij 1,0).
Het Fenomeen: De auteurs noemen dit de Tekst Uncanny Valley. Het vertegenwoordigt een staat waarin tekst noch volledig natuurlijk noch uniform gefragmenteerd is, waardoor het model in een wanordelijke overgangstoestand terechtkomt waar de prestaties het slechtst zijn.
Domeinvariaties: De U-vorm is het meest uitgesproken bij afwezigheidsdetectie in juridische en wiskundige domeinen. Bij GitHub PR's laten modellen soms een initiële prestatiestijging zien bij lage fragmentatiesnelheden voordat ze dalen, wat suggereert dat het breken van dichte identificatorreeksen aanvankelijk kan helpen bij het parseren voordat zware fragmentatie het voordeel overweldigt.
Modelafhankelijkheid: Niet alle modellen vertonen dit gedrag. Grok-4.1-Fast toonde grotendeels monotoon verval. Qwen3-Plus en DeepSeek-V3 vertoonden onregelmatige patronen of API-fouten bij hoge fragmentatiesnelheden.

Hypothese en Verklarende Bewijzen

De auteurs stellen een Twee-Regimes Hypothese voor om de U-vorm te verklaren:

Woordniveau-Regime: Bij lage fragmentatie produceren subwoord-tokenizers vertrouwde meer-karakter tokens, en verwerkt het model tekst via lexische eenheden.
Karakterniveau-Regime: Bij extreme fragmentatie ( $p \approx 1,0$ ) stort tokenisatie in tot enkele karakters, waardoor het model wordt gedwongen zich te baseren op patroonherkenning op karakterniveau om semantiek te herstellen.
De Vallei: Het prestatie-minimum treedt op in de overgangszones waar fragmentatie onregelmatig is. Woorden zijn onconsistent verbrijzeld; het model kan zich niet vastleggen op een stabiele woordniveau-strategie of een consistente karakterniveau-strategie, wat leidt tot een "regime-conflict".

Ondersteunende Experimenten:

In-Context Learning (ICL): Het verstrekken van few-shot voorbeelden van gefragmenteerde tekst redde de prestaties aan de bodem van de vallei niet, wat suggereert dat de bottleneck niet het ontbreken van een taakstrategie is, maar een lager niveau tokenisatieprobleem.
Fixed-Slot Fragmentatie: Toen fragmentatie regelmatig werd gemaakt (alleen spaties invoegen op de eerste positie van woorden), werd de U-vorm aanzienlijk gereduceerd of geëlimineerd. Dit bevestigt dat de onregelmatigheid van de fragmentatie, en niet de omvang, de vallei drijft.
Inter-woord vs. Intra-woord: Het willekeurig vervangen van spaties tussen woorden door extra witruimte induceerde de vallei niet, wat bevestigt dat de verstoring van aaneengesloten niet-ruimte reeksen (subwoord-tokenisatie) de causale factor is.
Wiskundig Redeneren Controle: Bij een directe wiskundige redeneertaak (GSM8K) zonder vereisten voor cross-document uitlijning, bleef de U-vorm bestaan voor Gemini 3.0 Flash maar verdween voor GPT-5.2 en Claude 4.5 Haiku, wat suggereert dat het effect wordt afgezwakt wanneer taken minder vertrouwen op exacte lexische uitlijning.
Tokenisatie Entropie: Analyse van de entropie van de token-ID-verdeling toonde aan dat de entropie piekt bij een lagere fragmentatiesnelheid dan het F1-minimum. Dit ondersteunt de hypothese dat de vallei niet het punt van maximale token-verwarring is, maar eerder de onstabiele overgang tussen twee verwerkingsregimes.

Betekenis en Implicaties

Het artikel beweert een faalmodus te onthullen die onzichtbaar is voor schone-tekst benchmarks en die direct relevant is voor implementatiescenario's met ruis of niet-gecurateerde tekst.

Matige Corruptie is het Meest Gevaarlijk: De bevindingen suggereren dat matige corruptie van woordgrenzen (typisch voor OCR-artefacten) schadelijker is voor LLM-prestaties dan extreme corruptie. Systemen kunnen robuust zijn voor schone tekst of volledig gebroken tekst, maar falen catastrofaal in de "uncanny" middenweg.
Benchmarklacunes: Huidige benchmarks die vertrouwen op schone invoer of discrete ruisniveaus, kunnen deze niet-monotone kwetsbaarheid missen.
Praktische Relevantie: Dit fenomeen vormt risico's voor documentverwerkingspijplijnen, OCR-systemen en LLM-as-a-judge-evaluators waar de kwaliteit van de invoer varieert. De auteurs pleiten voor robuustheidsbenchmarks die expliciet het ambiguë middenregime tussen schone en uniform gecorrumpeerde tekst bestrijken.

De studie concludeert dat de Tekst Uncanny Valley een onstabiele overgang markeert tussen verwerkingsmodi op woordniveau en karakterniveau, een faalmodus die bijzonder acuut is voor taken die exacte lexische uitlijning over lange contexten vereisen.