💻 computer science

Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road

Dit artikel onderzoekt het verschijnsel "redeneringskrimp" bij fijngefineerde redeneringsmodellen, waarbij de prevalentie van ambiguïteit in beslissingspuntscenario's in trainingsdata als hoofdoorzaak wordt geïdentificeerd en wordt aangetoond dat gerichte datasynthese en diversiteitsbewuste decoding deze dekkingverlies effectief kunnen mitigeren.

Oorspronkelijke auteurs: Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert een doolhof op te lossen. Je wilt dat ze de uitgang kunnen vinden, ongeacht welk pad ze kiezen, maar je wilt ook dat ze snel en accuraat zijn.

Dit artikel onderzoekt een vreemd probleem dat optreedt wanneer we geavanceerde AI-modellen (zoals die voor complexe wiskunde of logica) trainen tot "redeneer-experts". Wij noemen dit probleem "Coverage Shrinkage" (Krimp van de Dekking).

Hier is de eenvoudige uitleg van wat de auteurs hebben gevonden, met behulp van alledaagse analogieën:

Het Probleem: De "Krimpende" Kaart

Wanneer deze AI-modellen worden getraind, worden ze erg goed in het vinden van het enige beste pad naar het antwoord. Als je ze één keer een vraag stelt, is de kans groot dat ze het goed hebben (dit heet pass@1).

Echter, als je ze dezelfde vraag 10 of 100 keer stelt om alle verschillende manieren te zien waarop ze het zouden kunnen oplossen, stoppen ze met variatie. Ze beginnen allemaal exact hetzelfde antwoord te geven, of erger, ze blijven allemaal vastlopen op hetzelfde verkeerde pad. Hun "kaart" van mogelijke oplossingen is gekrompen. Ze hebben het vermogen verloren om verschillende routes te verkennen.

De Schuldige: "Vorken in de Weg"

De auteurs betogen dat dit niet komt doordat het leeralgoritme van de AI defect is. Het probleem ligt in de trainingsdata.

Stel je een verhaaltje voor waarin een personage een vork in de weg bereikt.

De Reële Wereld: Het personage kan links of rechts gaan. Beide paden lijken geldig, maar slechts één leidt naar de schat.
De Trainingsdata: Het verhaaltje toont alleen het personage dat het rechter pad neemt. Het legt nooit uit waarom ze rechts kozen in plaats van links, of noemt zelfs niet dat het linkerpad een optie was.

De auteurs noemen deze momenten "Vorken in de Weg". Dit zijn beslispunten waarbij het model moet kiezen tussen meerdere geldige opties, maar de data toont er slechts één.

Omdat het model alleen maar ziet dat één pad wordt bewandeld, leert het een slechte gewoonte: "Ik moet het eerste ding kiezen dat er goed uitziet, en ik moet 100% zeker zijn dat ik gelijk heb, zelfs als ik het niet heb." Het stopt met verkennen. Het stopt met het overwegen van het "linker" pad, omdat het verhaaltje dat nooit heeft getoond.

De Experimenten: Het Bewijzen van de Theorie

De onderzoekers testten dit met twee slimme opstellingen:

De Ster-Graph (Het Doolhof):
Ze creëerden een eenvoudige wiskundepuzzel die leek op een ster-vormig doolhof. Aan het begin waren er twee paden. Slechts één leidde naar het antwoord.
- Groep A werd getraind op data waarin het model vooruit door het doolhof liep en een keuze maakte bij de vork.
- Groep B werd getraind op data waarin het model achteruit liep van het antwoord naar het begin (geen keuzes nodig).
- Resultaat: Groep A (degenen die keuzes moesten maken) verloor hun vermogen om alternatieve paden te vinden. Groep B behield hun volledige kaart. Dit bewees dat de handeling van het maken van een keuze zonder voldoende informatie de krimp veroorzaakt.
De Stijl-switch (Code vs. Woorden):
Ze keken naar wiskundeproblemen die konden worden opgelost door code te schrijven OF door in gewoon Engels te schrijven.
- Scenario 1: Ze gaven het model een mix van problemen, maar elk probleem had slechts één oplossingsstijl (sommigen waren code, anderen woorden).
- Scenario 2: Ze gaven het model dezelfde mix, maar voor elk enkel probleem toonden ze zowel de code-oplossing ALS de woord-oplossing.
- Resultaat: In Scenario 1 raakte het model in de war en begon het een stijl te kiezen op basis van kleine, irrelevante aanwijzingen (zoals de volgorde van woorden), waardoor zijn opties krompen. In Scenario 2, waar het model beide opties zag voor hetzelfde probleem, bleef het flexibel en hield het zijn "kaart" breed.

De "Schijnbare Aanwijzingen" (De Slechte Gewoonten)

Omdat het model gedwongen wordt om bij deze "vorken" te kiezen zonder het juiste antwoord te weten, begint het vast te grijpen aan schijnbare aanwijzingen (nep-signalen).

Voorbeeld: Als het probleem begint met het woord "Laat", beslist het model misschien: "Oké, ik gebruik de 'Terugzoeken'-denkstijl." Als het begint met "Om", beslist het misschien: "Oké, ik gebruik de 'Lineaire' stijl."
Het model denkt niet echt na over de wiskunde; het reageert gewoon op het eerste woord. Dit maakt het broos. Als je het eerste woord verandert, kan het model overschakelen naar een volledig andere (en slechtere) denkwijze.

De Oplossing: De Eerste Stap "Wiggelen"

Het artikel biedt twee manieren om dit op te lossen zonder het hele model opnieuw te trainen:

Beter Data-ontwerp: Bij het maken van trainingsdata, meng niet alleen verschillende soorten problemen. Toon voor elk specifiek probleem het model meerdere geldige manieren om het op te lossen. Dit leert het model dat "bij deze vork beide paden mogelijk zijn".
De "Eerste Woord"-truc: Aangezien het model vastloopt op het allereerste woord dat het genereert, ontdekten de onderzoekers dat ze het begin konden "wiggelen". Door het model te dwingen te proberen te beginnen met verschillende veelvoorkomende woorden (zoals "Oké", "Laten we", of "Om"), konden ze de verschillende denkstijlen die opgesloten waren, weer vrijmaken.
- Analogie: Het is als een deur die vastzit. Het model denkt dat de deur op slot is, maar als je de klink een beetje in een andere richting duwt (verander het eerste woord), zwaait de deur open en herinnert het model zich alle paden die het vroeger kende.

De Conclusie

Het artikel concludeert dat AI-modellen niet "vergeten" hoe ze divers moeten zijn. Ze raken gewoon opgesloten in een enkel pad omdat hun trainingsdata hen dwong tot blinde keuzes te maken bij "vorken in de weg" zonder hen de alternatieven te tonen. Door te veranderen hoe we deze keuzes presenteren in de data, of door het model een duwtje te geven aan het allerbegin van zijn antwoord, kunnen we die verloren diversiteit terugkrijgen.

Technische Samenvatting: Waarom Verliezen Redeneringsmodellen Dekking? De Rol van Data en Aftakkingen in de Weg

Probleemstelling

Recente vooruitgang in redeneringsmodellen, bereikt door gespecialiseerde post-trainingprocedures zoals Supervised Fine-Tuning (SFT) en Reinforcement Learning met Verifieerbare Beloningen (RLVR), heeft de pass@1-nauwkeurigheid aanzienlijk verbeterd (de waarschijnlijkheid dat de eerste gegenereerde oplossing correct is). Er is echter een tegenintuïtief fenomeen waargenomen, bekend als dekkingsshrinkage: terwijl pass@1 verbetert, verslechtert pass@k (de waarschijnlijkheid dat ten minste één correcte oplossing voorkomt in $k$ onafhankelijke steekproeven) ten opzichte van het basismodel.

Vorige literatuur heeft deze shrinkage grotendeels toegeschreven aan de optimalisatiedynamiek van RLVR, waarbij wordt gesuggereerd dat beloningsgestuurde training te veel nadruk legt op smalle, hoog-beloonde paden, wat leidt tot mode collapse. Echter, recente aanwijzingen geven aan dat shrinkage ook optreedt onder SFT, wat impliceert dat de oorzaak niet het algoritme zelf is, maar een fundamenteelere drijvende kracht. Dit artikel onderzoekt de hypothese dat datastructuur, specifiek het aanwezig zijn van "aftakkingen in de weg" (beslispunten waar meerdere geldige redeneerpaden bestaan maar de rationale voor de selectie onduidelijk is), de primaire drijvende kracht van dekkingsshrinkage is.

Methodologie

De auteurs stellen een data-gedreven perspectief voor, waarbij zij betogen dat redeneringsproblemen vaak beslispunten bevatten waar een model moet kiezen tussen meerdere geldige strategieën zonder te weten welke zal slagen. Als trainingsdata alleen het succesvolle pad blootlegt (survivorship bias) zonder de keuze uit te leggen, leert het model om te vertrouwen op schijnbare aanwijzingen om ambiguïteit op te lossen, wat uiteindelijk alternatieve trajecten onderdrukt.

Om dit te testen, hebben de auteurs gecontroleerde casestudies ontworpen die deze beslispunten isoleerden:

Grafnavigatie (Synthetische Taak):
- Opzet: Een navigatietask op een ster-graf waar een model van een startknooppunt naar een doelknooppunt moet reizen. De grafiek bevat "onleesbare knooppunten" (aftakkingspunten) waar meerdere takken geldige voortzettingen zijn, maar slechts één leidt naar het doel.
- Varianten:
  - Voorwaarts: Het model moet navigeren van bron naar doel, waarbij het aftakkingspunten (beslispunten) tegenkomt.
  - Omgekeerd (zonder DP): Het model navigeert van doel naar bron, waarbij de oplossing in omgekeerde volgorde wordt gepresenteerd, wat effectief de noodzaak voor padselectie verwijdert.
- Modellen: Geëvalueerd op Qwen2.5-0.5B en EvoLM-1B.
Selectie van Redeneringsmodus (Real-world Taken):
- Natuurlijke Taal (NL) vs. Code: De auteurs analyseerden wiskundige redeneringsdatasets (OpenMathInstruct-1 en 2) om twee data-diversiteitsstructuren te vergelijken:
  - Diversiteit op dataniveau: De dataset is globaal gebalanceerd (50% NL, 50% Code), maar elk probleem wordt opgelost met slechts één modus.
  - Diversiteit op probleemniveau: Elk probleem wordt in de trainingsdata gepresenteerd met zowel NL- als Codesoluties.
- Lineair vs. Terugkerend: Met behulp van gedistilleerde redeneringsmodellen (bijv. DeepSeek-R1-varianten) onderzochten de auteurs hoe initiële prefix-tokens (bijv. "Oké," "Laten," "Om") fungeren als beslispunten die het model vastleggen op ofwel lineaire ofwel terugkerende redeneerstructuren.
Mitigatiestrategieën:
- Data-ontwerp: Het vergelijken van de effecten van diversiteit op probleemniveau versus diversiteit op dataniveau.
- Interventie op Inferentietijd: Het testen van een "Top-k prefix"-decodermecanisme waarbij het model wordt gedwongen te starten met verschillende hoog-waarschijnlijke initiële tokens om diversiteit te herstellen.

Belangrijkste Resultaten

1. Beslispunten Drijven Shrinkage

In de Grafnavigatie-task vertoonden modellen die waren getraind op de Voorwaartse instelling (met beslispunten) een klassiek shrinkagepatroon: pass@1 verbeterde, maar pass@k verslechterde aanzienlijk naarmate de training vorderde. Daarentegen behielden modellen die waren getraind op de Omgekeerde instelling (zonder beslispunten) een hoge pass@k-prestatie over alle $k$ -waarden.

Confidentie-analyse: Modellen die waren getraind met beslispunten werden overmoedig op aftakkingspunten, waarbij ze een hoge waarschijnlijkheid toekenden aan zowel correcte als incorrecte takken. Dit suggereert dat ze leerden om een pad te kiezen op basis van schijnbare aanwijzingen in plaats van gekalibreerde onzekerheid.

2. Structuur van Diversiteit Maakt Uit

In de Selectie van Redeneringsmodus-task resulteerde de Diversiteit op dataniveau-opzet (globale balans, enkele modus per probleem) in ernstige dekkingsshrinkage. Het model werd steeds zekerder in het selecteren van een enkele modus (NL of Code) per probleem, wat leidde tot een bimodale verdeling en verslechterde pass@k.

Daarentegen behield de Diversiteit op probleemniveau-opzet (meerdere modi per probleem) stabiele pass@k-prestaties. Dit geeft aan dat dekking niet uitsluitend wordt bepaald door de hoeveelheid diversiteit in de dataset, maar door hoe die diversiteit is gestructureerd binnen individuele problemen.

3. Broosheid op Beslispunten

Analyse van Lineair versus Terugkerend redeneren onthulde dat modellen zeer gevoelig zijn voor initiële prefix-tokens. Kleine veranderingen in de eerste token (bijv. "Oké" versus "Laten") konden de redeneringsmodus, antwoordlengte en nauwkeurigheid van het model drastisch verschuiven.

Overdenken/Onderdenken: Modellen pasten vaak per definitie de verkeerde redeneringsmodus toe (bijv. terugkerend denken bij eenvoudige feitelijke vragen of lineair denken bij complexe contrafactuele rekenkunde). Het manipuleren van de prefix kon echter de juiste modus herstellen en de prestaties aanzienlijk verhogen (tot 60% op specifieke taken).

4. Mitigatie via Interventie op Inferentietijd

De auteurs demonstreerden dat dekkingsshrinkage geen permanente verlies van capaciteit is, maar een onderdrukking van alternatieve paden. Door tijdens inferentie een Top-k prefix-sampling-strategie toe te passen (het model dwingen te starten met diverse initiële tokens), konden ze de verloren dekking herstellen.

Resultaat: Waar standaarddecoding in latere trainingsstadia een dalende pass@k vertoonde, behield de Top-8 prefix-instelling een hoge pass@k, waardoor de onderdrukte redeneertrajecten effectief werden geactiveerd zonder extra hertraining.

Belangrijkste Bijdragen

Data-gedreven Hypothese: Het artikel identificeert "aftakkingen in de weg" (beslispunten met onduidelijke rationale) in fine-tuning-data als een sleuteldrijver van dekkingsshrinkage, wat de visie uitdaagt dat shrinkage uitsluitend een artefact is van optimalisatiealgoritmen zoals RLVR.
Gecontroleerd Empirisch Bewijs: Via synthetische graf-taken en analyse van redeneringsmodi in de echte wereld bieden de auteurs bewijs dat de prevalentie en structuur van beslispunten sterk correleren met de ernst van dekkingsshrinkage.
Inzicht in Diversiteitsstructuur: De studie onthult dat hoe diversiteit is verdeeld (per-probleem versus over-problemen) cruciaal is; diversiteit per-probleem is veel effectiever in het behouden van dekking.
Praktische Mitigatie: Het artikel introduceert twee strategieën om shrinkage te beheersen:
- Het ontwerpen van synthetische data om meerdere redeneringsmodi binnen enkele problemen bloot te leggen.
- Het gebruik van prefix-perturbatie op inferentietijd om onderdrukte diversiteit te herstellen, wat aantoont dat de redeneercapaciteit van het model latent is en niet verloren.

Betekenis

Het artikel betoogt dat dekkingsshrinkage een data-gedreven artefact is waarbij modellen leren om alternatieve redeneringspaden te vergrendelen achter niet-gekalibreerde beslispunten. Door de focus te verschuiven van algoritmische optimalisatie naar data-curatie en interventie op inferentietijd, suggereren de auteurs dat de verloren dekking in redeneringsmodellen niet permanent is vergeten, maar slechts onderdrukt. Deze bevindingen bieden een lens voor het verbeteren van post-training data-ontwerp en test-time scaling, waarbij wordt benadrukt dat effectief redeneren niet alleen het vinden van het juiste pad vereist, maar het behoud van het vermogen om meerdere geldige paden te verkennen wanneer de "juiste" keuze dubbelzinnig is.