💬 NLP

The Calibration Floor: Format Repair Can Masquerade as Self-Correction at Small-to-Mid Scale

Dit artikel toont aan dat de geobserveerde nauwkeurigheidswinsten door zelfrevisie van taalmodellen vaak worden gedreven door herstel van het formaat op de grens van antwoordextractie in plaats van door werkelijke verbeteringen in redeneren, een fenomeen dat intensiveert met de schaal van het model en de meeste claims over zelfcorrectie verwaarloosbaar maakt wanneer ze causaal worden geïsoleerd van parseerartefacten.

Oorspronkelijke auteurs: Mingguang Chen, Bo Qu, Licheng Wang

Gepubliceerd 2026-08-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingguang Chen, Bo Qu, Licheng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote AI Zelfcorrectie Mysterie

Stel je voor dat je een student bent die een moeilijke wiskundetoets maakt. Je schrijft je antwoord op, maar dan krijg je een tweede kans om je werk te controleren. Je ziet een fout, herstelt deze en schrijft een nieuw antwoord. Als je nieuwe antwoord beter is, heb je succesvol "zelfgecorrigeerd". In de wereld van Kunstmatige Intelligentie is dit een enorme zaak. Wetenschappers hebben AI-modellen geleerd om als die student te handelen: ze genereren een antwoord, bekritiseren hun eigen logica en proberen eventuele fouten te herstellen zonder dat een menselijke docent over hun schouder meekijkt. De grote vraag die iedereen stelt is: maakt dit de AI daadwerkelijk slimmer, of maakt het de AI alleen maar zelfverzekerder in zijn fouten?

Om de ontdekking van het paper te begrijpen, moeten we kijken naar hoe we deze AI-toetsen beoordelen. Meestal leest een computerprogramma de rommelige, vrij vloeiende tekst van de AI en probeert het het uiteindelijke antwoord te vinden, zoals een getal of een letterkeuze. Als het programma het antwoord niet kan vinden omdat de AI vergeten is het duidelijk op te schrijven of omdat de ruimte op is, markeert de computer het als foutief. Dit paper onderzoekt een sluipend probleem: soms, wanneer een AI zijn antwoord "herstelt", verandert hij eigenlijk niet van mening over de wiskunde of de feiten. In plaats daarvan verandert hij alleen de manier waarop hij het antwoord schrijft, zodat het beoordelingsprogramma het eindelijk kan lezen. Het is alsof een student die het antwoord al de hele tijd wist maar het in onzichtbare inkt schreef; wanneer ze zichzelf "corrigeren", stappen ze gewoon over op blauwe inkt. Het cijfer gaat omhoog, maar de student heeft niets nieuws geleerd. Dit paper vraagt: meten we echte intelligentie, of meten we alleen maar een beter handschrift?

De Grote Ontdekking van het Paper: Het Is Vaak Alleen Een Formatteringsfix

Dit paper, getiteld "The Calibration Floor", duikt diep in 29 verschillende tests met AI-modellen van diverse groottes, van piepkleine (0,8 miljard parameters) tot zeer grote modellen (tot 55 miljard actieve parameters). De onderzoekers ontdekten dat wat lijkt op een enorme verbetering in AI-redeneren vaak een illusie is, veroorzaakt door een "formateringsglitch".

Denk aan het antwoord van de AI als een schatkist. De "inhoud" is het goud binnenin (het werkelijke juiste antwoord), en het "formaat" is het slot op de kist. In veel gevallen heeft de AI niet meer goud gevonden; hij heeft alleen het slot beter gekraakt. Wanneer de onderzoekers het "goud" (werkelijke veranderingen in redenering) scheidden van het "slot" (of het antwoord leesbaar was), ontdekten ze iets verrassends: Het grootste deel van het schijnbare succes bestond simpelweg uit het kraken van het slot.

Dit is wat ze vonden in gewone taal:

De "Magie" Was Grotendeels Nep: Wanneer ze naar de totale scoreveranderingen keken, leken sommige modellen veel beter te worden na zelfcorrectie. Maar zodra ze de formatteringsfixes eruit haalden, was de echte "goudwaarde" (werkelijke veranderingen in redenering) bijna nul voor de slimme modellen. Sterker nog, voor de grote, capabele modellen (in de range van 4B tot 12B en zelfs de enorme frontier-modellen), was de echte inhoudelijke verandering in veel gevallen exact 0,000. De "verbetering" kwam volledig doordat de AI er eindelijk in slaagde het antwoord op een manier te schrijven die de computer kon lezen.
De Kleine Modellen Verpesten Het Eigenlijk: De piepkleine modellen (0,8B en 2B) waren anders. Zij veranderden hun werkelijke antwoorden wel, maar meestal voor het slechter. Ze waren als een student die het antwoord wist, verward raakte tijdens de controle, en een correct antwoord veranderde in een foutief antwoord. De onderzoekers ontdekten dat deze kleine modellen een 16 tot 21 keer hogere kans hadden om een schadelijke verandering aan te brengen in hun werkelijke redenering vergeleken met de grotere modellen.
Het "Squeeze"-Probleem: Het paper beschrijft een "squeeze" waarbij geen van beide modelgroottes zich in een ideale zone bevindt. De kleine modellen hebben ruimte om te verbeteren, maar missen het signaal om te weten wanneer ze moeten stoppen en dingen moeten herstellen (ze veranderen dingen te veel en vaak foutief). De grote modellen hebben het signaal om te weten wanneer ze fout zitten, maar ze veranderen zelden hun werkelijke antwoorden, dus is er niets voor een "gatekeeper" om te exploiteren. De enige uitzondering was één specifieke test (9B TriviaQA), die een kleine, marginale verbetering liet zien, maar het was geen game-changer.

Wat Ze Deden Om Het Te Bewijzen

De onderzoekers gokten niet alleen; ze bouwden een slim experiment om te bewijzen dat de "verbeteringen" slechts formattering waren.

De "Slot-Kraak"-Test: Ze namen de oorspronkelijke, rommelige redenering van de AI en dwongen het om het antwoord opnieuw te extraheren met strikte regels (zoals een grammaticale beperking) die garandeerden dat het antwoord leesbaar zou zijn. Wanneer ze dit deden, verdwenen de "magische" verbeteringen. Bijvoorbeeld, in één test waar de AI een winst van +0,145 leek te boeken, zorgde het afdwingen van het leesbare formaat ervoor dat die winst daalde naar +0,053. In een ander geval werd een winst van +0,020 feitelijk een verlies van -0,017 zodra de ruis in de formattering werd verwijderd. Dit bewees dat de "fix" vooral ging over het leesbaar maken van het antwoord, niet over slimmer worden.
De "Sign Flip"-Truc: Ze draalden dezelfde tests met twee verschillende prompts: één die gevoelig was voor het afkappen van de tekst van de AI (truncatie) en één die gefixed was. Wanneer de prompt slecht was, werd het gereviseerde antwoord van de AI vaak afgekapt, waardoor het leek alsof de AI slechter werd. Wanneer ze de prompt fixten, werd het oorspronkelijke antwoord afgekapt, waardoor de revisie als een groot succes leek. De werkelijke redenering veranderde niet; alleen de "leesbaarheid" veranderde.
De "Kopieer-Plak"-Check: Ze probeerden een beroemde eerdere studie te repliceren die beweerde dat AI-zelfcorrectie geweldig werkt. Wanneer ze exact diezelfde test op een ander AI-model draalden, werkte het helemaal niet. In plaats daarvan lieten ze hetzelfde patroon zien dat dit paper vond: de AI werd niet slimmer; hij was alleen maar beter in het formatteren van zijn antwoorden.

De Conclusie

Het paper concludeert dat de AI-gemeenschap het voor een lange tijd heeft gevierd dat "zelfcorrectie" een grote doorbraak is in redeneren. Maar deze studie suggereert dat voor de geteste modellen (van klein tot zeer groot), inhoud slechts een minderheid is van wat we meten.

Als de score van een AI omhoog gaat nadat hij zichzelf "herstelt", kan dat er simpelweg op betekenen dat de AI het antwoord eindelijk op een manier heeft opgeschreven die de computer kan begrijpen, en niet dat hij een moeilijker probleem heeft opgelost. De auteurs waarschuwen dat we, totdat we het "goud" van het "slot" scheiden, niet zeker kunnen weten of AI daadwerkelijk slimmer wordt of alleen maar beter wordt in het volgen van formateringsregels. De enige echte "fix" die ze vonden, was dat de kleinste modellen juist geneigd zijn hun antwoorden slechter te maken, terwijl de grootste modellen zo stabiel zijn dat ze zelden van gedachten veranderen.

Technisch overzicht: De Kalibratievloer

1. Probleemstelling

Het artikel behandelt een kritieke confound in de evaluatie van intrinsieke zelfcorrectie in Large Language Models (LLM's). Standaard metrieken voor zelfcorrectie meten de verandering in nauwkeurigheid ( $\Delta_{total}$ ) tussen een initieel antwoord ( $a_0$ ) en een herzien antwoord ( $a_f$ ) dat wordt gegenereerd nadat een model zijn eigen redenering heeft bekritiseerd.

De auteurs stellen dat $\Delta_{total}$ vaak verkeerd wordt geïnterpreteerd als een verandering in redeneerinhoud (het model dat daadwerkelijk een fout herstelt). Echter, in vrije tekstgeneratie is de nauwkeurigheid afhankelijk van extracteerbaarheid: of de output van het model een string bevat die een antwoord-extractor kan parsen. Als het succespercentage van de extractie verschilt tussen $a_0$ en $a_f$ , wordt de geobserveerde nauwkeurigheidsdelta besmet door formaat-artefacten in plaats van door werkelijke redeneerwijzigingen.

Het artikel stelt dat:

Verschijnbare winsten of verliezen in zelfcorrectie volledig kunnen worden gedreven door of het model een parseerbare string heeft uitgegeven, niet door of het van gedachten is veranderd.
Deze confound de ware "content marge" (de werkelijke verbetering of verslechtering van de redenering) vertroebelt.
Bestaande literatuur de effectiviteit van zelfcorrectie mogelijk heeft overschat of de oorzaken van falen/succes verkeerd heeft toegeschreven.

2. Methodologie

2.1 De Margedecompositie

De kern van de methodologische bijdrage is een exacte, additieve decompositie van de totale nauwkeurigheidsdelta:
$\Delta_{total} = \Delta_{content} + \Delta_{format\_recover} + \Delta_{format\_loss}$

$\Delta_{content}$ (Content Marge): De verandering in nauwkeurigheid beperkt tot monsters waarbij zowel $a_0$ als $a_f$ parseerbaar zijn. Dit is de enige marge die toe te schrijven is aan werkelijke redeneerwijzigingen.
$\Delta_{format\_recover}$ : Gevallen waar $a_0$ niet parseerbaar was (fout gescoord) maar $a_f$ wel parseerbaar is (goed gescoord). Dit is een "tweede kans" voor extractie, niet noodzakelijkerwijs een redelijke correctie.
$\Delta_{format\_loss}$ : Gevallen waar $a_0$ parseerbaar was (goed gescoord) maar $a_f$ niet-parseerbaar werd (fout gescoord). Dit is een verlies van een werkend antwoord door formateeisen.
Dead: Gevallen waar beide niet parseerbaar zijn (dragen 0 bij aan de delta).

2.2 De Kalibratievloer

De auteurs verfijnen het criterium van de "kalibratievloer" (de minimale signaalkwaliteit vereist om selectieve revisie rendabel te maken) om deze uitsluitend toe te passen op de content marge. Ze definiëren een winstgevabiliteitsdrempel $\delta$ (vastgesteld op 0.01) en berekenen de minimale vereiste AUROC ( $AUROC^*$ ) voor een gating-signaal om deze vloer te passeren. Als het beste beschikbare signaal de $AUROC^*$ niet kan overtreffen, wordt de cel als "geknepen" (squeezed) beschouwd (geen levensvatbare gating-niche).

2.3 Experimenteel Ontwerp

Modellen: 29 primaire cellen over Qwen3.5 (0.8B, 2B, 4B, 9B) en Gemma-4-12B.
Frontier Check: API-gebaseerde tests op Tencent Hy3 en Nvidia Nemotron-3-Ultra-550B (~55B actieve parameters).
Taken: GSM8K, MATH, MMLU, ARC-Challenge, HumanEval, MBPP, TriviaQA, etc.
Protocol: Een "frozen-trajectory" benadering waarbij modellen een initieel antwoord genereren, het bekritiseren en een revisie genereren. Gating-beslissingen worden offline genomen op basis van intrinsieke signalen (token logprobs, verbaal geuite vertrouwen, etc.).

2.4 Causale Controles

Om voorbij observationele correlatie te gaan, gebruikt het artikel:

Forced-Continuation Probe: Het model dwingen om direct na de initiële generatie een definitief antwoord uit te geven (de revisiestap omzeilen) om te zien of het "antwoord" al aanwezig was maar niet geëxtraheerd kon worden.
Constrained-Decoding Causal Control: Het opnieuw extraheren van antwoorden uit de reeds gegenereerde vrije vorm tekst met behulp van grammar-constrained decoding (die parseerbaarheid garandeert). Dit test hoeveel van de $\Delta_{total}$ krimpt wanneer formaalruis wordt verwijderd, waardoor de ware content-effect isolatie wordt getest.
Prompt Regime Sign Reversal: Het vergelijken van "truncation-prone" prompts (hoge extractiefalen) versus "repaired" prompts om aan te tonen hoe het teken van $\Delta_{total}$ omdraait op basis van extractiesucces, terwijl $\Delta_{content}$ stabiel blijft.

3. Belangrijkste Bijdragen

Exacte Decompositie: Een algebraïsche identiteit die de totale zelfcorrectie-nauwkeurigheidsverschuivingen scheidt in content- en formatemarges, toepasbaar op elke "always-revise" trajectorie.
Causaal Bewijs: Een constrained-decoding controle die, op cellen met een actief extractiekanaal ( $a_0$ -bad $\ge 8\%$ ), een mediane 71% van het gat tussen standaard totale effecten en content-marge schattingen sluit (bereik 55–100%), met exacte sluiting op twee cellen en gerapporteerde eerlijke residuen op andere.
Schaalafhankelijke Knelling (Squeeze): Empirisch bewijs dat:
- Floor-scale modellen (0.8B–2B): Werkelijke content-niveau veranderingen vertonen (vaak schadelijk) maar niet over voldoende signaalkwaliteit beschikken om de kalibratievloer te passeren.
- Capable-scale modellen (4B–12B+): Bijna nul content-niveau veranderingen vertonen (inertie) ondanks het hebben van betrouwbare signalen, waardoor er geen "headroom" overblijft voor gating om te exploiteren.
Protocol Replicatie Falen: Een letterlijke replicatie van een geciteerd confidence-gating protocol (IoE) op een nieuwe modellenfamilie faalt in het reproduceren van de oorspronkelijke winsten, en toont in plaats daarvan dezelfde bijna-nul content marge en formaat-gedreven effecten.
Reproduceerbaarheid: Publicatie van een volledige offline trajectorie-bibliotheek, extractie-gates en analysecode.

4. Belangrijkste Resultaten

4.1 Dominantie van Formaat-artefacten (Claim C1)

Over 12 cellen met betekenisvolle niet-parseerbare ratio's is de omvang van de formateeffecten ( $|\Delta_{format}|$ ) significant groter dan de content-effecten ( $|\Delta_{content}|$ ) (Wilcoxon $p=1.7\times 10^{-3}$ ).
Tekenomkering: In verschillende cellen (bijv. 0.8B ARC) zorgde het veranderen van het prompt-regime van truncation-prone naar repaired voor een omkering van het teken van het totale effect (van schijnbare schade naar schijnbare winst), terwijl de content marge klein en stabiel bleef.
Causale Sluiting: Wanneer gedwongen parseerbare her-extractie op bestaande redenering werd toegepast, stortte het totale effect in richting de content marge. Voor cellen met een actief extractiekanaal ( $a_0$ -bad $\ge 8\%$ ) was de mediane sluiting 71% (bereik 55–100%). Bijvoorbeeld, op 9B MMLU daalde de schijnbare winst van +0.145 naar +0.053; op 0.8B MMLU veranderde het van +0.020 naar -0.017. Twee cellen (2B/4B ARC) convergeerden exact, terwijl 4B/9B MMLU een residu behield tegenover een bijna-nul content schatting.

4.2 Schaalcontrast: Inertie versus Instabiliteit (Claim C2)

Capable Scale (4B–12B): Content marges zijn effectief nul. In 11 van de 13 capable-scale cellen was de content veranderingssnelheid $\le 0.05$ en lag $\Delta_{content}$ binnen $\pm 0.03$ . De modellen veranderen zelden hun parseerbare antwoorden.
Floor Scale (0.8B–2B): Content marges zijn actief en vaak schadelijk. Floor-scale modellen vertonen significant hogere content veranderingssnelheden (mediaan 11.5% vs 0.5% voor capable) en netto schadelijke content effecten. Een geclusterd GEE-model schat dat floor-scale rijen 16–21x hogere kansen hebben op content-niveau verandering en schade vergeleken met capable-scale rijen.

4.3 De Knelling (The Squeeze) (Claim C3)

Wanneer het kalibratievloer-criterium wordt toegepast op de content marge, is de "levensvatbare gating regio" (waar een model zowel echte content veranderingen heeft als een signaal sterk genoeg om deze te detecteren) bijna leeg.
Floor-scale cellen: Hebben echte content veranderingen (headroom) maar falen op de signaalvloer (onvoldoende signaal).
Capable-scale cellen: Hebben betrouwbare signalen maar bijna geen content headroom (inertie).
Resultaat: Slechts één cel (9B TriviaQA) bezet marginaal de levensvatbare kwadrant, en zelfs daar is de winst klein (+0.020) en niet robuust onder het verzegelde beleid.

4.4 Frontier en Cross-Family Checks

Gemma-4-12B: Repliceert het Qwen-patroon: grote totale verschuivingen volledig gedreven door formaat, met een nul content marge.
Frontier Modellen (Hy3, Nemotron-550B): Ondanks grotere schaal intensiveert het patroon. Totale effecten bereikten tot +0.275 (Hy3 MMLU), maar $\Delta_{content}$ was exact 0.000 in alle 5 de frontier cellen. De formatemarge verklaart het gehele gemeten effect.

5. Betekenis en Claims

Het artikel claimt dat content een minderheid is van wat het veld als "zelfcorrectie" heeft gemeten.

Correctie van Meting: Een benchmark score na zelf-revisie is de output van twee gekoppelde systemen (redenering + extractie). Standaard nauwkeurigheidsdelta's brengen deze systemen samen. Het artikel stelt dat zonder de marges te decomponeren, geobserveerde winsten vaak slechts "verbeteringen in antwoordformattering" zijn.
Verzoening van Literatuur: De bevindingen verzoenen conflicterende literatuur (bijv. Huang et al. die zelfcorrectie schadelijk vinden vs. Li et al. die het nuttig vinden). De auteurs suggereren dat beide waar kunnen zijn: de "schade" kan echte content degradatie zijn op kleine schaal, terwijl de "hulp" mogelijk format-herstel is op grotere schaal, waarbij het ware content effect verwaarloosbaar is in capabele modellen.
Praktische Standaard: Het artikel stelt een nieuwe standaard voor zelfcorrectie onderzoek voor:
1. Rapporteer parseerbaarheid rates voor initiële en herziene outputs.
2. Decomponeer totale nauwkeurigheidsveranderingen in content en format marges.
3. Test de decompositie causaal (bijv. via constrained decoding) waar extractiekanalen actief zijn.
4. Rapporteer sealed policy winsten naast de totale nauwkeurigheid.

Het artikel concludeert dat totdat deze stappen worden genomen, verbeteringen toegeschreven aan redenering simpelweg verbeteringen in antwoordformattering kunnen zijn. De "Kalibratievloer" op de content marge onthult een "knelling" waarbij noch kleine, noch grote modellen momenteel een robuuste, schaalbare niche bieden voor confidence-gated zelfcorrectie.