Technische Samenvatting: BitCal-TTS

Probleemstelling

Grote redeneringsmodellen (LLM's) profiteren vaak van adaptieve compute tijdens het testen, waarbij de inferentieduur dynamisch wordt aangepast op basis van vertrouwen of redeneerstabiliteit. In productieomgevingen worden deze modellen echter frequent ingezet onder agressieve kwantisatie na training (bijvoorbeeld 4-bit gewichten) om te voldoen aan beperkingen van consumenthardware. Het artikel identificeert een kritieke faalmodus in deze setting: kwantisatie vervormt online stopsignalen.

Bij 4-bit inferentie verschuift de geometrie van logits en verborgen toestanden, waardoor standaard adaptieve controllers (ontworpen voor volledige precisie) verkeerd worden gekalibreerd. Specifiek kan het model kunstmatig hoog vertrouwen vertonen of schijnbare stabiliteit van de trace, terwijl de onderliggende redenering nog steeds onjuist is. Dit leidt tot schadelijk vroegtijdig stoppen, waarbij de controller de generatie voortijdig stopt en een plausibel ogende laatste regel blootlegt (vaak getriggerd door een scheidingsteken zoals ####), terwijl de redeneringstrace onstabiel is. Dit resulteert in verminderde nauwkeurigheid en verspilde adaptieve compute.

Methodologie: BitCal-TTS

De auteurs stellen BitCal-TTS voor, een lichtgewicht, trainingsvrije runtime-controller die specifiek is ontworpen voor gekwantiseerde causale LM's. Het werkt als een "sidecar" rondom standaard Hugging Face-inferentie, waarbij forward-hooks worden gebruikt om toegang te krijgen tot logits en verborgen toestanden van de laatste laag zonder de gewichten van het basismodel te wijzigen.

De methode bestaat uit drie kerncomponenten:

1. Online Proxies voor Onzekerheid en Stabiliteit:
   De controller berekent scalair signalen na elk blok van $k$ tokens:

   • Token Entropie ($H_t$): Shannon-entropie van de outputverdeling.
   • Stabiliteit van de Redeneringstrace ($\tau^{tr}_t$): Een metriek die het aandeel meet van opeenvolgende tekstblokken die identiek zijn (letterlijke herhaling), wat aangeeft dat het model is neergedaald op een sjabloon of antwoord.
   • Stabiliteit van de Verborge Toestand ($\tau^{hid}_t$): Cosinus-ähnelijkheid tussen genormaliseerde verborgen vectoren van de laatste laag van opeenvolgende stappen.

2. Bit-geconditioneerde Vertrouwensherkalibratie:
   De ruwe vertrouwensscore wordt afgeleid uit een gewogen combinatie van entropie- en stabiliteitsproxies. Cruciaal wordt deze score vermenigvuldigd met een bit-breedte schalingsfactor $s(b)$:

   • Voor $b \le 4$ (agressieve kwantisatie), $s(b) = 0,85$.
   • Voor $4 < b \le 8$, $s(b) = 1,00$.
   • Voor $b > 8$, $s(b) = 1,05$.
     Dit maakt de controller conservatief bij lage precisie, waarbij sterkere bewijslast vereist is voordat er hoog vertrouwen wordt aangekondigd en wordt gestopt.

3. Bit-bewuste Post-Marker Bevestigingshorizon:
   Gezien het feit dat GSM8K-achtige outputs een ####-scheidingsteken gebruiken, behandelt de controller het eerste verschijnen van dit teken als een faseverandering in plaats van een onmiddellijk stopsignaal.

   • Adaptieve Baseline: Stopt direct na het scheidingsteken (als andere voorwaarden zijn voldaan).
   • BitCal-TTS: Handhaaft een bevestigingstaart van $\Delta(b)$ tokens na het scheidingsteken. Voor 4-bit inferentie is $\Delta(4) = 32$ tokens. Het model moet 32 extra tokens genereren om het antwoord te bevestigen voordat beëindiging is toegestaan. Dit voorkomt dat breekbare low-bit-opmaak voortijdige stops triggert.

Belangrijkste Bijdragen

• Formalisatie van Gekwantiseerde Adaptieve Stoppen: Het artikel formaliseert de interactie tussen agressieve kwantisatie en adaptieve stoppoli's, en benadrukt hoe standaard signalen onbetrouwbaar worden.
• Precisie-bewuste Controller: Introductie van BitCal-TTS, dat bit-breedte-bewustzijn integreert in zowel vertrouwensschaling als post-scheidingsteken bevestigingslogica zonder het basismodel te finetunen.
• Empirische Analyse van Modelgroottes: De studie evalueert de methode op Qwen2.5 Instruct-modellen (3B, 7B, 14B) onder 4-bit inferentie, en identificeert dat terwijl de methode grotere modellen verbetert, deze faalt op het 3B-model vanwege oplossingslengte-verdelingen die de minimale tokenvloer van de controller overschrijden.

Experimentele Resultaten

De auteurs evalueerden de methode op GSM8K met Qwen2.5-modellen onder een harde tokenbegroting ($B=512$) op kleine evaluatie-shards ($N=54$ voor 7B, $N=35$ voor 14B).

• Nauwkeurigheidswinst: BitCal-TTS verbeterde de exact-match-nauwkeurigheid ten opzichte van een niet-bit-bewuste adaptieve baseline met +3,7 punten (7B) en +2,8 punten (14B).
• Vermindering van Vroegtijdige Stops: Het percentage vroegtijdige stops die resulteerden in onjuiste antwoorden daalde aanzienlijk:
  • 7B: Van 14,8% naar 11,1%.
  • 14B: Van 17,1% naar 11,4%.
• Efficiëntie: Ondanks de toegevoegde bevestigingstokens behield BitCal-TTS aanzienlijke tokenbesparingen (32,1% voor 7B, 40,8% voor 14B) in vergelijking met vaste-begroting-decodering.
• 3B-model Falen: Op het 3B-model stortten beide adaptieve varianten in tot ongeveer 20% nauwkeurigheid (tegenover 60% voor vaste decodering) omdat de typische oplossingslengte de minimale tokenvloer van de controller ($m=128$) overschreed, wat leidde tot voortijdige stops bij gedeeltelijke redenering.

Betekenis en Claims

Het artikel positioneert BitCal-TTS als een runtime-beleidslaag in plaats van een nieuwe kwantisatie-kern of een trainingsmethode. De betekenis ligt in het mogelijk maken van betrouwbare adaptieve compute voor gekwantiseerde modellen, die steeds vaker voorkomen in kostengevoelige implementaties.

De auteurs zijn bescheiden over hun statistische claims. Zij stellen expliciet dat de waargenomen nauwkeurigheidsverbeteringen (2–4 procentpunten) niet statistisch significant zijn gezien de kleine evaluatie-shard-groottes (Wilson 95% betrouwbaarheidsintervallen overlappen). Het artikel presenteert de resultaten als "wijzend op een echt effect" in plaats van een definitieve schatting van de grootte. De primaire bijdrage is het aantonen van een consistente richting van verbetering over modelgroottes en metrieken heen, samen met een duidelijke identificatie van de faalmodi (specifiek het 3B-regime) die verdere afstemming vereisen.

Het werk concludeert dat hoewel bit-bewuste kalibratie een betekenisvol deel van de nauwkeurigheidskloof tussen adaptieve en vaste decodering herstelt, de effectiviteit afhankelijk is van het vermogen van het basismodel om stabiele redeneringstraces binnen de tokenbegroting te genereren. Toekomstig werk omvat her-evaluatie op volledige test-splits, component-wise ablatie, en het uitbreiden van de methode naar andere redeneringsbenchmarks.