Technische Samenvatting: Gekalibreerde e-CUSUM Decodering voor Gekwantiseerde Redeneermodellen

Probleemstelling

Low-bit kwantisatie (bijv. INT4) maakt de inzet van kleine redeneermodellen op consumentenhardware mogelijk, maar degradeert hun chain-of-thought capaciteiten aanzienlijk. Deze modellen lijden aan vroege cascadefouten, opgeblazen redeneerlengtes en een neiging tot "overdenken" of het niet kunnen termineren. Een veelvoorkomende intuïtieve oplossing is om de decoder tijdens de generatie te monitoren en in te grijpen wanneer het traject problematisch lijkt te worden.

Het artikel identificeert een kritiek gebrek in de meest natuurlijke kandidaat voor een dergelijke monitor: een martingale geconstrueerd uit token log-waarschijnlijkheden ($X_t = \log p(w_t | w_{<t})$).

• Het Gebrek: Onder de eigen samplingswet van het model is de increment $D_t = \log p(w_t) + H_t$ (waarbij $H_t$ de Shannon-entropie is) per definitie een gemiddelde-nul martingale.
• Het Gevolg: Deze observeerbare maatstaf meet de zelfconsistentie van de sampling in plaats van de gezondheid van het traject. In een "vertrouwde repetitielus" (een veelvoorkomende foutmodus waarbij het model tokens met hoge waarschijnlijkheid herhaalt), is $p(w_t) \approx 1$ en $H_t \approx 0$, wat resulteert in $D_t \approx 0$. Bijgevolg blijft de martingale stil precies wanneer het model met vertrouwen foutief is. Bov�and de reageert het op hoog-variabele (hoge-entropie) segmenten, waardoor het alarmen triggert bij onzekere maar potentieel correcte redeneerpaden, wat leidt tot een hoog aantal vals-positieven (93–95% in ongekalibreerde tests).

Methodologie

De auteurs stellen een vervangende controller voor die is opgebouwd uit twee componenten: een degeneratie-bewuste alarmscore en een gekalibreerde sequentiële detector.

1. Alarmscore ($a_t$)

In plaats van uitsluitend op entropie te vertrouwen, berekent de controller een begrensde score $a_t \in [0, 1]$ die twee signalen combineert:
$$a_t = \min(1, w_{rep} r_t + w_{ent} u_t)$$

• $u_t$ (Onzekerheid): Signaleert pieken in de Shannon-entropie ten opzichte van de recente geschiedenis.
• $r_t$ (Repetitie): Signaleert letterlijke herhaling door de dekking van terugkerende n-grammen in een glijdend venster te meten. Cruciaal is dat $r_t$ naar 1 nadert tijdens een vertrouwde lus, zelfs wanneer de entropie nabij nul is, waarmee het blinde vlek van log-waarschijnlijkheid martingales wordt geadresseerd.
• Gewichten: Empirisch ingesteld op $w_{rep} = 0.7$ en $w_{ent} = 0.3$.

2. Gekalibreerde e-CUSUM Detector

Het artikel maakt gebruik van een betting-constructie (Shafer, 2021) om $a_t$ te monitoren.

• Ruwe e-Proces: Een niet-negatief productproces $E^{raw}_n = \prod (1 + \lambda(a_t - \mu_0))$. Onder de conditionele nulhypothese dat de generatie gezond is ($E[a_t | \mathcal{F}_{t-1}] \le \mu_0$), voldoet dit proces aan de ongelijkheid van Ville, wat een tijd-uniforme garantie tegen vals-positieven biedt.
• Implementatie (CUSUM-gefloord): De ingezette statistiek is een log-CUSUM met een vloer: $S_n = \max(0, S_{n-1} + \log(1 + \lambda(a_n - \mu_0)))$. Een alarm wordt afgegeven wanneer $S_n \ge \tau$.
• Kalibratie: Omdat $a_t$ sterk geschiedenis-afhankelijk en autocorrelatief is, is de theoretische conditionele nulhypothese moeilijk te certificeren. De auteurs voeren een offline kalibratie uit door de baseline $\mu_0$ in te stellen op het 90e percentiel van de $a_t$ geobserveerd op gezonde (FP16, correcte) referentie-traces. Dit transformeert de detector van een onbezonnen alarm naar een selectieve detector.

3. Remediatie

Wanneer een alarm wordt getriggerd:

1. Backtracking: De laatste $k$ tokens worden afgekapt en de key-value cache wordt opnieuw opgebouwd.
2. Resampling: Het model hervat de generatie met aangepaste parameters:
   • Min-p sampling wordt verbreed of vernauwd (in plaats van de temperatuur te verhogen, wat de willekeur verhoogt).
   • Bij herhaalde alarmen wordt een correctiemerktekst ("Wacht, laat me even controleren...") geïnjecteerd.
3. Budget: Een harde limiet beperkt het aantal interventies om oneindige lussen te voorkomen.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op de GSM8K-dataset met behulp van DeepSeek-R1-Distill-Qwen-1.5B in zowel FP16 als INT4 kwantisatie.

• Analyse van Foutmodi: In tegen tegenspraak met de intuïtie dat vertrouwde lussen de primaire fout zijn, vonden de studies dat niet-terminatie de dominante foutmodus is voor INT4-modellen op GSM8K (tot 49% van de incorrecte traces verbruikt het volledige token-budget). Letterlijke lussen waren zeldzaam ($\le 4\%$ van de tokens, zelfs op falende traces).
• Selectiviteit via Kalibratie:
  • Een ongekalibreerde monitor ($\mu_0 = 0.15$) ging af bij 93–95% van de generaties, waardoor deze nutteloos was.
  • Een gekalibreerde monitor ($\mu_0 = 0.41$) bereikte een precisie van $\approx 0.6$ en een recall van $\approx 0.46$ (F1 $\approx 0.3$) tegen een basispercentage van 0.38 slechte traces.
• Degeneratie Metrieken: De controller verminderde de opeenvolgende repetitieratio's in INT4 van 0.010 naar 0.003 en elimineerde ernstige lussen (van 1% naar 0%). Het verminderde ook de afkortingsratio licht (van 22% naar 19%).
• Nauwkeurigheid:
  • FP16: De nauwkeurigheid verbeterde van 68% naar 72% (McNemar $p=0.48$).
  • INT4: De nauwkeurigheid verbeterde van 63% naar 69% (McNemar $p=0.18$).
  • Kosten: De interventie verhoogde het tokenverbruik met 28% en de rekentijd met 30%.
  • Conclusie: De trend in nauwkeurigheid is positief maar statistisch inconclusief bij $n=100$. De auteurs stellen expliciet dat zij geen verbetering in nauwkeurigheid claimen, aangezien de winst toe te schrijven kan zijn aan het grotere token-budget in plaats van aan de controller zelf.

Betekenis en Claims

Het artikel positioneert zichzelf als een voorlopige, methodologische studie met de volgende specifieke bijdragen:

1. Negatief Resultaat: Een duidelijke, analytische en empirische demonstratie dat token log-waarschijnlijkheid martingales fundamenteel ontoereikend zijn voor decodering-monitoren omdat ze blind zijn voor vertrouwde degeneratie.
2. Methodologische Vervanging: Een training-vrije, gekalibreerde e-CUSUM controller die succesvol degeneratie detecteert door entropie te combineren met expliciete repetitiesignalen.
3. Eerlijke Evaluatie: De auteurs benadrukken dat de ingezette statistiek een empirische veranderingsdetector is in plaats van een strikt geldige e-proces onder de gestelde $\delta$, vanwege de geschiedenis-afhankelijkheid van de alarmscore en de marginale aard van de kalibratie.
4. Inzicht in Foutmodi: De bevinding dat niet-terminatie, en niet lussen, de primaire foutmodus is voor gekwantiseerde modellen op GSM8K, daagt de initiële motivatie van de methode uit en suggereert dat remediatiestrategieën "rondzwalken" (rambling) evenzeer moeten aanpakken als repetitie.

De auteurs stellen alle code, kalibratietools en traces beschikbaar om grootschaligere studies te faciliteren die nodig zijn om de vraag over de nauwkeurigheid definitief te beantwoorden. Zij waarschuwen dat de methode computationele kosten met zich meebrengt en dat eventuele toekomstige claims over nauwkeurigheidsverbetering gemaakt moeten worden tegenover compute-gematchte baselines (bijv. self-consistency met hetzelfde token-budget).