💬 NLP

Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models

Dit artikel daagt de heersende aanname van exponentiële betrouwbaarheidsafname in grote taalmodellen uit door aan te tonen dat fouten geconcentreerd zijn bij verspreide "sleuteltokens", en stelt een nieuw kader voor dat strategische behoud en dynamische berekening op kritieke beslispunten prioriteit geeft om aanhoudende coherentie op lange context te bereiken zonder proportionele schaling.

Oorspronkelijke auteurs: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong, Dmitri Kalaev, Alexey A. Shvets

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong, Dmitri Kalaev, Alexey A. Shvets

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Oude Verhaal: De "Gebroken Ketting" Theorie

Lange tijd geloofden experts dat Large Language Models (LLMs) gedoemd waren te falen naarmate ze langere en langere teksten schreven. De logica was simpel en eng:

Stel je voor dat je een ketting bouwt van paperclips. Als er zelfs maar een kleine kans is (zeg maar 1%) dat een enkele paperclip zwak is, dan wordt de hele ketting zwakker en zwakker naarmate je meer clips toevoegt. Tegen de tijd dat je 100 clips hebt, is de ketting bijna gegarandeerd gebroken.

In de wereld van AI betekende dit dat als een model een kleine fout maakte op één woord, die fout zich zou vermenigvuldigen, waardoor het volgende woord waarschijnlijker fout zou zijn, en het daaropvolgende nog erger. De theorie voorspelde dat lange verhalen of essays uiteindelijk in onzin zouden veranderen omdat de fouten exponentieel zouden toenemen.

De Nieuwe Ontdekking: Het Is Geen Ketting, Het Is Een Roadtrip

Dit paper betoogt dat de "gebroken ketting" theorie onjuist is. De auteurs zeggen dat LLMs niet uniform falen; ze falen op een zeer specifieke, gestructureerde manier. Ze stellen een nieuw model voor dat gebaseerd is op drie hoofdbegrippen:

1. Niet Alle Woorden Zijn Even Belangrijk (De "Stuurwiel" Analogie)

De oude theorie ging ervan uit dat elk woord in een zin even belangrijk is. De auteurs zeggen dat dit onjuist is.

De Realiteit: In een lange tekst zijn slechts een klein percentage van de woorden (ongeveer 5% tot 10%) de "kritieke" woorden. Dit zijn de Key Tokens. Ze zijn als het stuurwiel van een auto, de verkeerslichten of de grote kruispunten op een roadtrip. Als je deze verpest, ga je de weg af.
De Rest: De andere 90% van de woorden is gewoon "vulling" of "scenery". Ze zijn als de bomen die voorbijtrekken of de kleur van de weg. Ze volgen lokale regels (grammatica, veelvoorkomende zinsdelen) en zijn eigenlijk makkelijker te voorspellen naarmate je meer context hebt.
Het Resultaat: Je hebt geen perfecte auto nodig om 1.000 mijl te rijden; je hoeft er alleen voor te zorgen dat je niet crasht bij de paar kritieke kruispunten. Het model wordt beter in het voorspellen van de "scenery" woorden naarmate het verder komt, dus daalt het foutpercentage voor die woorden tot bijna nul.

2. Het Model Leeft in "Semantische Buurten" (De "Winkelcentrum" Analogie)

Het paper suggereert dat het interne brein van het model (zijn "embeddings") geen platte, rommelige ruimte is. Het is georganiseerd als een groot winkelcentrum met distincte, laag-dimensionale "buurten".

De Realiteit: Zodra het model besluit om te praten over "koken", betreedt het de "Kookbuurt". Zelfs als het een kleine fout maakt (bijvoorbeeld "zout" zeggen in plaats van "suiker"), bevindt het zich nog steeds binnen de Kookbuurt. Het heeft het gebouw niet verlaten.
Het Gevaar: Het enige moment waarop het model echt faalt, is als het een "Key Token" fout maakt die het de Kookbuurt uit en de "Autoherstel" buurt in duwt.
Het Resultaat: Kleine fouten breken het hele verhaal niet omdat het model in de juiste "buurt" blijft. Het is als lopen door een winkelcentrum; als je een verkeerde afslag neemt in een gang, kun je nog steeds je weg terugvinden naar de grote hal. Je valt niet van de rand van de wereld.

3. Fouten Zijn Willekeurig, Niet Systematisch (De "Raadspel" Analogie)

Wanneer het model wel een grote fout maakt op een kritiek woord, is dit meestal een unieke, willekeurige flater, geen consistente gebrek.

De Realiteit: Als je het model een wiskundeprobleem 10 keer laat oplossen, krijgt het misschien 8 keer het juiste antwoord. De 2 keer dat het het fout heeft, faalt het op verschillende manieren (een keer telt het verkeerd op, een andere keer telt het verkeerd af).
De Oplossing: Omdat de fouten willekeurig en verspreid zijn, als je de "meerderheidsstem" neemt (het 10 keer vraagt en het meest voorkomende antwoord kiest), heffen de willekeurige fouten elkaar op en komt het juiste antwoord bovenaan.
Het Resultaat: Dit is waarom technieken zoals "Self-Consistency" (het model vragen om opnieuw na te denken) zo goed werken. Ze repareren geen gebroken motor; ze filteren gewoon het willekeurige ruis eruit.

Het Grote Plaatje: Een Nieuwe Formule

De auteurs combineren deze ideeën in een nieuwe formule voor hoe betrouwbaar een model is.

Oude Formule: Betrouwbaarheid = (1 - Fout) ^ (Totaal Aantal Woorden). Dit voorspelt een steile daling.
Nieuwe Formule: Betrouwbaarheid = (1 - Fout op Kritieke Woorden) ^ (Aantal Kritieke Woorden) × (1 - Kleine Fout op Normale Woorden) ^ (Rest van de Woorden).

Omdat het aantal "Kritieke Woorden" (Key Tokens) niet zo snel groeit als de totale tekstlengte (het kan zelfs stoppen met groeien na een bepaald punt), crasht het model niet. Het blijft betrouwbaar.

Wat Dit Betekent voor Huidige Technologie

Het paper legt uit dat recente "mirakel" technologieën geen magie zijn; ze zijn gewoon natuurlijke gevolgen van deze structuur:

Compressie: We kunnen 99% van de tekst weggooien en alleen de "Key Words" (het stuurwiel) houden zonder de betekenis te verliezen.
Lange Context: Modellen kunnen enorme hoeveelheden tekst verwerken omdat ze alleen hoeven te letten op de paar kritieke beslispunten, niet op elk enkel woord.
Zelfcorrectie: Wanneer modellen hun eigen fouten corrigeren, is het omdat ze binnen de juiste "buurt" blijven en gewoon een willekeurige flater corrigeren.

Samenvatting

Het pessimistische standpunt zei: "Als je één fout maakt, is de hele lange tekst verpest."
Dit paper zegt: "Nee. Je maakt maar een paar kritieke fouten. De rest van de tekst is makkelijk te voorspellen, en het model blijft op het juiste pad. Zolang je de paar 'stuurwiel' momenten goed krijgt, is de hele reis veilig."

Technische Samenvatting: Voorbij Exponentiële Verval

Probleemstelling
Een heersend pessimistisch standpunt in autoregressieve taalmodelling stelt dat de juistheid exponentieel verval met de outputlengte. Dit argument gaat ervan uit dat als elk token een onafhankelijke foutkans $e$ heeft, de kans dat een sequentie van lengte $n$ correct is, volgt uit $(1-e)^n$ , wat naar nul nadert naarmate $n$ groeit. Dit model suggereert een harde bovengrens voor de betrouwbaarheid van generatie met lange context. Deze "onafhankelijke-fout"-hypothese slaagt er echter niet in rekening te houden met empirische waarnemingen waarbij modellen coherentie behouden over lange outputs, zelfcorrectie tijdens de generatie vertonen, en waarbij attention-weights zwaar geconcentreerd zijn op een kleine subset van de context.

Methodologie en Theoretisch Kader
Het artikel stelt een twee-snelheids foutmodel voor dat de aanname van een uniforme fout per token verwerpt. In plaats daarvan partitioneert het tokens in twee distincte categorieën:

Sleuteltokens ( $k$ ): Een kleine subset (empirisch geschat op 5%–10%) die lange-afstand afhankelijkheden, globale coherentie, feitelijke claims en logische overgangen draagt. Deze tokens hebben een hogere foutkans ( $e_{key}$ ).
Niet-sleuteltokens ( $n-k$ ): Het merendeel van de tokens, gedicteerd door lokale syntaxis, frequente collocaties en oplopende context. Hun foutkans ( $e_{non}$ ) is aanzienlijk lager en nadert nul naarmate de context toeneemt.

Het model stelt dat de kans op een correcte sequentie wordt benaderd door:
$P(\text{correct}) \approx (1 - e_{key})^k \cdot (1 - e_{non})^{n-k}$

Cruciaal is dat het aantal sleuteltokens $k$ sublineair schaalt met de sequentielengte $n$ (logaritmisch, als een fractale macht, of verzadigt bij een taakspecifiek maximum $k_{max}$ ). Bovendien omvat het model gestratificeerde manifold-dynamica, wat suggereert dat embeddings zich organiseren in laag-dimensionale semantische manifolds. Minor fouten (niet-sleutel) blijven vaak binnen de correcte manifold, terwijl alleen fouten op sleuteltokens een trajectsprong naar een andere manifold veroorzaken. Tot slot houdt het kader rekening met ensemble-convergentie, waarbij redeneringsfouten vaak idiosyncratisch zijn (variërend over steekproeven) in plaats van systematisch, waardoor meerderheidsstemmingsmethoden nauwkeurigheid kunnen herstellen.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

Een Verfijnd Foutmodel: Het introduceert het twee-snelheids model (Vergelijking 1), dat expliciet onderscheid maakt tussen sleutel- en niet-sleuteltokens en de afhankelijkheid van betrouwbaarheid van de sublineaire schaling van $k(n)$ modelleert.
Synthese van Empirisch Bewijs: Het verenigt drie distincte lijnen van recent onderzoek om de componenten van het model te ondersteunen:
- Attention-Sparsiteit: Bewijs dat slechts ~9% van de tokens lange-afstand context vereist (Fang et al., 2024) en dat attention zich concentreert op een tiny fractie van de sequentie (Liu et al., 2024).
- Embedding-Geometrie: Bevindingen dat LLM-embeddings gestratificeerde laag-dimensionale manifolds vormen waar verstoringen in "ruis"-dimensies de semantische traject niet veranderen (Li en Sarwate, 2025; Robinson et al., 2025).
- Ensemble-Convergentie: Data die aantonen dat zelfconsistentie en boomzoekmethodes de nauwkeurigheid verbeteren omdat correcte redeneringspaden convergeren op een manifold terwijl incorrecte paden divergeren (Wang et al., 2023).
Herformulering van Systeem-niveau Resultaten: Het interpreteert recente engineering successen—zoals ankercompressie, retrieval-versterkte attention en zelfconsistentie—niet als onafhankelijke overwinningen, maar als natuurlijke consequenties van het structurele feit dat betrouwbaarheid met lange context afhangt van een handvol beslispunten.

Resultaten en Voorspelde Vervalregimes
Gebaseerd op het gedrag van $k$ en $e_{non}$ , voorspelt het artikel drie vervalregimes die aanzienlijk zachter zijn dan exponentiële verval:

Logaritmische Groei ( $k \sim \log n$ ): Resulteert in polynoom verval ( $n^{-c}$ ).
Fractale-Macht Groei ( $k \sim \sqrt{n}$ ): Resulteert in gestrekt-exponentieel verval.
Verzadiging ( $k \to k_{max}$ ): Betrouwbaarheid wordt constant met betrekking tot $n$ zodra het kritieke aantal sleutelfacten is vastgelegd.

Het artikel benadrukt dat het derde regime verklaart waarom systemen 99% contextreductie kunnen bereiken met minimale nauwkeurigheidsverlies (Pang et al., 2024) en waarom 128K-token contexten haalbaar zijn op consument-GPU's (Liu et al., 2024).

Betekenis en Implicaties
Het artikel betoogt dat het onafhankelijke-foutmodel fundamenteel gebrekkig is omdat het middelt over een heterogene populatie van tokens en foutcorrelatie negeert. De betekenis van dit werk ligt in het verschuiven van de focus van "uniforme nauwkeurigheid per token" naar "het identificeren en beveiligen van sleutelbeslispunten".

Praktisch suggereert dit kader:

Sparse Attention: Dichte attention is onnodig; berekening moet focussen op het sparse signaal van sleuteltokens.
Gerichte Berekening: Middelen moeten worden toegewezen aan "manifold-overgangen" (punten met hoge onzekerheid) in plaats van uniform verdeeld.
Strategische Ensembles: Meerderheidsstemming is effectief voor redeneertaken (waar fouten idiosyncratisch zijn) maar niet voor kennisretrieval (waar fouten systematisch zijn).
Evaluatie: Standaard perplexiteit is een slechte voorspeller van downstream prestaties; metrieken beperkt tot sleuteltokens (bijv. LongPPL) correleren veel sterker met taaksucces.

Beperkingen
De auteurs merken op dat het kader een synthese is van bestaand bewijs in plaats van een afleiding uit eerste principes. De parameters $k$ , $e_{key}$ en $e_{non}$ zijn nog niet gezamenlijk gemeten op een enkele benchmark. Bovendien berust het onderscheid tussen idiosyncratische en systematische fouten momenteel op post-hoc observatie in plaats van een kwantitatief pre-hoc criterium.

Conclusie
Het artikel concludeert dat moderne LLM's coherentie behouden over lange outputs niet omdat engineering een barrière van exponentieel verval heeft overwonnen, maar omdat de barrière zelf een verkeerde karakterisering van het probleem was. Betrouwbaarheid hangt af van een begrensd of sublineair groeiend aantal sleutelbeslissingen, niet van de uniforme nauwkeurigheid van elk token.