🤖 machine learning

Language models suffer from a curse of ambiguity

Dit artikel identificeert en theoretisch analyseert een "vloek van ambiguïteit" in grote taalmodellen, waarbij wordt aangetoond dat ambigue volgende-tokenverdelingen inherent moeilijker nauwkeurig te leren zijn vanwege verhoogde capaciteitseisen, embedding-groottes, trainingsstappen en versterkte samplingruis, een bevinding die is gevalideerd door zowel synthetische als real-world experimenten.

Oorspronkelijke auteurs: Nicolas Zucchet, Hyun Dong Lee, Scott Linderman

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Nicolas Zucchet, Hyun Dong Lee, Scott Linderman

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne computers die schrijven en spreken, zijn gebouwd op een simpel, krachtig idee: ze voorspellen het volgende woord in een zin door te kijken naar de woorden die eraan voorafgingen. Dit proces vindt plaats, woord voor woord, zoals een persoon die een verhaal doordenkt en de meest waarschijnlijke volgende stap kiest op basis van wat er al is gezegd. Jarenlang hebben ingenieurs zich gericht op het verbeteren van deze machines in het vinden van het enkel meest voor de hand liggende antwoord. Maar naarmate deze systemen geavanceerder worden, wordt er steeds vaker van hen gevraagd om situaties aan te kunnen waarin er geen enkel voor de hand liggend antwoord is. Wanneer een zin op veel verschillende, even redelijke manieren kan eindigen, moet de machine leren om zijn vertrouwen te spreiden over al die mogelijkheden, in plaats van alleen de bovenste te kiezen. Dit vermogen om onzekerheid te begrijpen, wordt cruciaal, vooral nu deze machines de trainingsdata voor hun eigen toekomstige versies gaan schrijven. Als ze er niet in slagen het volledige spectrum aan mogelijkheden te vatten, riskeren ze een nauwe, repetitieve lus te creëren die de kwaliteit van hun eigen leerproces degradeert.

Een team onderzoekers aan de Stanford University heeft een fundamentele barrière ontdekt die deze taak verrassend moeilijk maakt. Ze ontdekten dat hoe ambivalenter een situatie is — wat betekent dat er meer plausibele volgende woorden zijn — hoe moeilijker het voor de machine is om de juiste verdeling van waarschijnlijkheden te leren. Ze noemen dit de "vloek van ambiguïteit". Het is niet alleen een kwestie van de machine die iets langzamer is of meer data nodig heeft; de moeilijkheid zit ingebakken in de architectuur van de neurale netwerken die deze modellen aandrijven. De onderzoekers toonden aan dat naarmate het aantal mogelijke juiste antwoorden toeneemt, de machine aanzienlijk meer interne opslagruimte, grotere interne representaties van woorden en veel meer stappen van training vereist om de wiskunde correct uit te voeren. Zelfs wanneer de machine het eindelijk leert, introduceert het proces van het kiezen van één woord uit de vele mogelijkheden een type ruis dat voorkomt dat het ooit de werkelijke verdeling van de taal perfect kan evenaren.

Om te begrijpen waarom dit gebeurt, brak het team het probleem af naar de kleinste onderdelen. Ze behandelden de uiteindelijke besluitvormingslaag van de machine als een eenvoudige classifier die een context mapt naar een set mogelijke uitkomsten. In hun experimenten creëerden ze synthetische taken waarbij ze de exacte grondwaarheid kenden: een specifiek aantal woorden was even waarschijnlijk als volgend op een gegeven frase. Ze ontdekten dat het opslaan van een patroon met tien mogelijke uitkomsten ongeveer tien keer meer capaciteit vereiste dan het opslaan van een patroon met slechts één. Het is alsof de machine voor elke mogelijke optie die hij moet onthouden, een aparte, onderscheidende route moet bouwen. Bovendien ontdekten ze dat de interne "woordenschat" die de machine gebruikt om deze contexten vast te houden, groter moet worden om de ambiguïteit te accommoderen. Als de machine probeert een situatie met veel geldige eindes te representeren met een representatie die te klein is, kan het simpelweg niet tussen de opties onderscheiden, ongeacht hoeveel er getraind wordt.

De moeilijkheid strekt zich uit voorbij alleen opslag. De onderzoekers analyseerden ook hoe de machine in de loop van de tijd leert. Ze vonden dat wanneer een situatie veel mogelijke uitkomsten heeft, het leerproces veel langzamer begint. Omdat de machine elk specifiek correct woord minder frequent ziet wanneer er veel van zijn, is het signaal dat het ontvangt om de interne instellingen aan te passen zwakker. Dit betekent dat het langer duurt voordat er vooruitgang wordt geboekt. Nog erger is dat de handeling van het trainen op echte data, waarbij de machine op elk moment slechts één willekeurig voorbeeld van het juiste volgende woord ziet, een aanhoudende fout introduceert. Wanneer het doel een enkel, zeker woord is, kan de machine dit uiteindelijk perfect leren. Maar wanneer het doel een spreiding van vele woorden is, creëert de willekeur van het zien van slechts één voorbeeld per stap een foutenplafond waar de machine niet overheen kan klimmen. Hoe lang er ook getraind wordt, het zal altijd net niet perfect zijn, niet in staat om de ware spreiding van waarschijnlijkheden perfect te repliceren.

Het team bevestigde deze bevindingen niet alleen in hun gecontroleerde, synthetische tests, maar ook in grote taalmodellen die getraind zijn op real-world tekst. Door te analyseren hoe deze modellen presteerden op werkelijke data, observeerden ze dezelfde kenmerken: naarmate de ambiguïteit van een context toenam, werden de voorspellingen van het model minder accuraat, en had het de neiging om waarschijnlijkheidsmassa te lekken naar woorden die daar niet thuishoorden. Dit suggere than de vloek van ambiguïteit een universele eigenschap is van deze systemen, die alles beïnvloedt van kleine experimentele modellen tot de enorme, biljoenen-parameters tellende systemen die vandaag de dag worden gebruikt. De onderzoekers stellen dat deze beperking geen bug is die met een eenvoudige software-update kan worden opgelost, maar een fundamentele beperking van hoe deze netwerken onzekerheid representeren.

Deze ontdekking verandert hoe we moeten denken over de capaciteiten van kunstmatige intelligentie. Het suggereert dat hoewel het opschalen van de omvang van deze modellen helpt, het het kernprobleem van ambiguïteit niet oplost. Zelfs de grootste modellen zullen altijd moeite blijven houden met het perfect modelleren van situaties met veel plausibele uitkomsten, waardoor een restfractie van de waarheid ongeleerd blijft. Dit heeft praktische implicaties voor hoe we deze systemen vertrouwen. In velden waar precisie belangrijk is, zoals medische diagnose of juridische redenering, moeten we ons ervan bewust zijn dat de vertrouwensdistributie van het model inherent ruizig kan zijn wanneer het antwoord niet eenduidig is. Het werk biedt een nieuw kader voor het begrijpen van wanneer we de output van een machine moeten vertrouwen en wanneer de onzekerheid ervan een teken is van een diepere structurele beperking in plaats van een gebrek aan data. Uiteindelijk onthult het paper dat precies datgene wat de menselijke taal rijk en flexibel maakt — het vermogen om veel verschillende dingen op veel verschillende manieren te zeggen — ook precies datgene is dat het voor een machine het moeilijkst maakt om te leren.

Technische Samenvatting: De Vloek van Ambiguïteit in Large Language Models

Probleemstelling

Large language models (LLM's) vertrouwen steeds vaker op sampling om verbeteringen te realiseren in inference-time scaling, reinforcement learning en synthetische datageneratie. Deze methoden zijn echter kritisch afhankelijk van de getrouwheid van de geleerde next-token distributie van het model. Echter, niet alle distributies zijn even goed leerbaar. Het paper identificeert een fundamentele beperking die de vloek van ambiguïteit wordt genoemd: in autoregressieve taalmodellen (en breder in neurale netwerken die discrete waarschijnlijkheidsverdelingen produceren), geldt hoe ambigue een next-token distributie is (dat wil zeggen: hoe meer tokens een significante waarschijnlijkheidsmassa delen), hoe moeilijker deze nauwkeurig te leren is.

Dit fenomeen vormt een risico voor de prestaties van modellen, met name in ambigue situaties waarin meerdere voortzettingen plausibel zijn. Als modellen er niet in slagen de volledige distributie te vatten en in plaats daarvan neigen naar een enkele modus te kollapsen, kan dit leiden tot een gebrek aan diversiteit in gegenereerde inhoud, het versterken van fouten in recursieve training, en slechte kalibratie in scenario's met hoge inzet.

Methodologie

De auteurs hanteren een veelzijdige aanpak die theoretische analyse combineert met gecontroleerde synthetische experimenten en evaluatie op real-world data.

1. Theoretisch Kader

De auteurs formaliseren next-token predictie als een context-naar-token classificatieprobleem. Zij isoleren de lineaire head van de Transformer-architectuur, waarbij zij de context-embeddings van de backbone als gegeven beschouwen, om de specifieke uitdagingen te analyseren van het fitten van doel-distributies $p_i$ gedefinieerd over een vocabulaire van grootte $d$ .

Ambiguïteitsmetriek: Ambiguïteit wordt gekwantificeerd door de support size $k$ (het aantal tokens met een niet-nul waarschijnlijkheid in de grondwaarheid). Voor uniforme distributies is $k$ de exacte support size; voor niet-uniforme distributies is het de effectieve support size (exponent van de entropie).
Architecturale Analyse (Secties 3): De auteurs analyseren de capaciteit en representatievereisten van de lineaire head.
- Capaciteit: Door gebruik te maken van een Hebbiaanse constructie en signaal-ruisdecompositie, leiden zij af dat het aantal contexten dat een model kan opslaan schaalt als de inverse van de support size $k$ .
- Embedding Dimensie: Gebruikmakend van compressed sensing en de theorie van convexe polytopes (specifiek $k$ -nabijheid), bewijzen zij dat de embedding dimensie $h$ lineair moet schalen met $k$ ( $h \ge 2k$ ) om alle mogelijke grootte- $k$ distributies exact te kunnen representeren.
Learning Dynamics Analyse (Sectie 4): De auteurs bestuderen gradient flow en stochastic gradient descent (SGD) dynamiek.
- Optimalisatiesnelheid: Zij tonen aan dat het leren van ambigue distributies initieel trager verloopt omdat elk token in de support minder frequent wordt gezien, wat een zwakker signaal geeft. De convergentiesnelheid in de late fase is onafhankelijk van $k$ , maar de loss prefactor schaalt met $k$ .
- Sampling Ruis: Zij analyseren het effect van trainen op enkel gesamplede tokens in plaats van volledige distributies. Zij demonstreren dat sampling een "ruisvloer" introduceert in de KL-divergentie die schaalt met $k$ , waardoor het model niet dezelfde asymptotische loss bereikt als bij deterministische targets.

2. Empirische Validatie

Synthetische Taken (Sectie 5.1): De auteurs trainen Transformers op een gecontroleerde 3-gram taak afgeleid van de TinyStories corpus. De grondwaarheid van de distributies is bekend, wat nauwkeurige meting van voorspellingsfouten mogelijk maakt. Zij ableren modelcapaciteit, embedding dimensie, trainingsstappen en verliesfuncties (cross-entropy versus KL-divergentie).
Real-World Modellen (Sectie 5.2): Zij evalueren getrainde modellen (OLMo-2 1B en 13B) op natuurlijke data (Dolma v1.7). Omdat de grondwaarheid onbekend is, gebruiken zij het grotere model als een proxy voor de ware distributie en schatten zij de contextfrequentie via embedding gelijkenis.

Belangrijkste Bijdragen

Formalisering van de Vloek van Ambiguïteit: Het paper definieert en formaliseert het fenomeen waarbij hogere ambiguïteit (grotere support size $k$ ) leidt tot een grotere moeilijkheid bij het accuraat leren van distributies.
Identificatie van Architecturale Wortels:
- Capaciteitsbeperking: Ambigue distributies vereisen $k$ keer meer parametercapaciteit om op te slaan dan deterministische distributies ( $Capacity \propto hd/k$ ).
- Representatiebeperking: Ambigue distributies vereisen embedding dimensies die lineair schalen met de support size ( $h \ge 2k$ ) om zonder fouten gerepresenteerd te worden.
Identificatie van Learning Wortels:
- Optimalisatie Vertraging: Ambigue distributies leren initieel trager (rate $\propto 1/k$ ) en convergeren naar een hogere loss plateau.
- Ruisversterking: Trainen op gesamplede tokens (standaard praktijk) versterkt de ruis voor ambigue distributies, wat een $k$ -afhankelijke ruisvloer in de KL-divergentie creëert die perfecte kalibratie verhindert.
Empirische Verificatie: De studie bevestigt deze theoretische signaturen in zowel synthetische omgevingen als in real-world taalmodellen, waarbij zij aantonen dat prestaties verslechteren naarmate de effectieve support size toeneemt, zelfs wanneer de contextfrequentie constant wordt gehouden.

Resultaten

Capaciteit en Embeddings: Experimenten op synthetische data bevestigen dat het vergroten van de embedding dimensie of modelcapaciteit de prestaties uniform over alle support sizes verbetert, maar specifiek dat het vergroten van de embedding dimensie of het optimaliseren van de verwachte KL-divergentie (het verwijderen van sampling ruis) de modellering van hoog-ambigue contexten aanzienlijk verbetert, terwijl deterministische contexten nauwelijks worden beïnvloed.
Learning Dynamics: Simulaties laten zien dat ambigue distributies lijden onder een "ruisvloer" in SGD die afwezig is in gradient flow. Naarmate de training vordert, vlakt de loss voor ambigue distributies af, terwijl de loss voor deterministische distributies blijft dalen.
Real-World Gedrag: In real-world modellen vertonen contexten met hogere effectieve support sizes een hogere KL-divergentie en lekken zij systematisch waarschijnlijkheidsmassa buiten de ware support, wat leidt tot over-entropie in de sequentie-niveau distributie.

Betekenis en Claims

Het paper claimt een nieuw perspectief te bieden op de statistische capaciteiten van large language models, en biedt een praktisch kader om te begrijpen wanneer men de output-distributie van een model kan vertrouwen.

Mechanistisch Inzicht: Het werk gaat verder dan empirische scaling laws door een mechanistische verklaring te bieden voor waarom modellen moeite hebben met onzekerheid. Het koppelt de moeilijkheid van het leren van ambiguïteit aan fundamentele geometrische en optimalisatie-eigenschappen van neurale netwerken.
Implicaties voor Scaling: De auteurs betogen dat hoewel scaling (het vergroten van parameters en data) de vloek mitigeert, dit slechts asymptotisch gebeurt. Zelfs op grote schaal blijft een residu van de distributie ongemodelleerd, met name voor hoog-ambigue contexten.
Brede Relevantie: De bevindingen strekken zich uit tot buiten LLM's naar elk neuraal netwerk dat discrete waarschijnlijkheidsverdelingen produceert. Het paper trekt een parallel met de "paradox van keuze" uit de cognitieve psychologie, en suggereert dat het representeren van een distributie verspreid over vele opties fundamenteel meer veeleisend is qua capaciteit en samples dan het representeren van een enkel antwoord.
Praktisch Kader: De resultaten suggereren dat voor taken die een hoge getrouwheid van de distributie-modellering vereisen (bijv. redeneren, plannen of het genereren van diverse inhoud), het simpelweg vergroten van de modelgrootte onvoldoende kan zijn; specifieke aandacht voor embedding dimensies en het afhandelen van sampling ruis (bijv. via KL-divergentie optimalisatie of grotere batch sizes) kan noodzakelijk zijn.

De auteurs concluderen dat de vloek van ambiguïteit een fundamentele beperking is die moet worden meegewogen bij het ontwerpen van modellen voor taken waarbij onzekerheid een rol speelt, en dat huidige modellen waarschijnlijk de werkelijke complexiteit van ambigue natuurlijke taalcontexten onderwaarderen.