Sintesi Tecnica: Decodifica e-CUSUM Calibrata per Modelli di Ragionamento Quantizzati

Definizione del Problema

La quantizzazione a basso bit (es. INT4) consente l'implementazione di piccoli modelli di ragionamento su hardware comune, ma degrada significativamente le loro capacità di catena di pensiero (chain-of-thought). Questi modelli soffrono di errori a cascata precoci, lunghezze di ragionamento gonfiate e una tendenza a "pensare troppo" o a non riuscire a terminare. Un rimedio intuitivo comune è quello di monitorare il decoder durante la generazione e intervenire quando la traiettoria appare fallimentare.

Il documento identifica un difetto critico nel monitor più naturale candidato a tale scopo: un martingala costruita sulle log-probabilità dei token ($X_t = \log p(w_t | w_{<t})$).

• Il Difetto: Sotto la legge di campionamento del modello stesso, l'incremento $D_t = \log p(w_t) + H_t$ (dove $H_t$ è l'entropia di Shannon) è, per costruzione, una martingala a media nulla.
• La Conseguenza: Questo osservabile misura la auto-coerenza del campionamento piuttosto che la salute della traiettoria. In un "loop di ripetizione fiducioso" (un tipico modo di fallimento dove il modello ripete i token con alta probabilità), $p(w_t) \approx 1$ e $H_t \approx 0$, risultando in $D_t \approx 0$. Di conseguenza, la martingala rimane silente proprio quando il modello è erroneamente sicuro di sé. Inoltre, poiché reagisce a tratti ad alta varianza (alta entropia), attiva allarmi su percorsi di ragionamento potenzialmente corretti ma incerti, portando a un alto tasso di falsi allarmi (93–95% nei test non calibrati).

Metodologia

Gli autori propongono un controller sostitutivo costruito su due componenti: un punteggio di allarme consapevole della degenerazione e un rilevatore sequenziale calibrato.

1. Punteggio di Allarme ($a_t$)

Invece di fare affidamento esclusivamente sull'entropia, il controller calcola un punteggio limitato $a_t \in [0, 1]$ che fonde due segnali:
$$a_t = \min(1, w_{rep} r_t + w_{ent} u_t)$$

• $u_t$ (Incertezza): Segnala picchi nell'entropia di Shannon rispetto alla storia recente.
• $r_t$ (Ripetizione): Segnala la ripetizione letterale misurando la copertura di n-grammi ricorrenti in una finestra scorrevole. Fondamentalmente, $r_t$ si avvicina a 1 durante un loop fiducioso anche quando l'entropia è vicina allo zero, affrontando il punto cieco delle martingala basate sulla log-probabilità.
• Pesi: Impostati empiricamente come $w_{rep} = 0.7$ e $w_{ent} = 0.3$.

2. Rilevatore e-CUSUM Calibrato

Il documento utilizza una costruzione di scommessa (Shafer, 2021) per monitorare $a_t$.

• Processo e-Greggio: Un processo prodotto non negativo $E^{raw}_n = \prod (1 + \lambda(a_t - \mu_0))$. Sotto l'ipotesi nulla condizionale che la generazione sia sana ($E[a_t | \mathcal{F}_{t-1}] \le \mu_0$), questo processo soddisfa la disuguaglianza di Ville, offrendo una garanzia di falso allarme uniforme nel tempo.
• Implementazione (CUSUM-floored): La statistica implementata è un log-CUSUM con un limite inferiore (floor): $S_n = \max(0, S_{n-1} + \log(1 + \lambda(a_n - \mu_0)))$. Un allarme viene attivato quando $S_n \ge \tau$.
• Calibrazione: Poiché $a_t$ è fortemente dipendente dalla storia e autocorrela, la nulla condizionale teorica è difficile da certificare. Gli autori eseguono una calibrazione offline impostando la linea di base $\mu_0$ al 90° percentile di $a_t$ osservato su tracce di riferimento sane (FP16, corrette). Ciò trasforma il rilevatore da un allarme indiscriminato a uno selettivo.

3. Rimedio

Quando un allarme viene attivato:

1. Backtracking: Gli ultimi $k$ token vengono troncati e la cache key-value viene ricostruita.
2. Resampling: Il modello riprende con parametri regolati:
   • Il campionamento Min-p viene allargato o ristretto (anziché gonfiare la temperatura, che aumenta la casualità).
   • In caso di allarmi ripetuti, viene iniettato un marker di correzione ("Aspetta, lasciami ricontrollare...").
3. Budget: Un limite rigido limita il numero di interventi per prevenire loop infiniti.

Risultati Chiave

Gli esperimenti sono stati condotti sul dataset GSM8K utilizzando DeepSeek-R1-Distill-Qwen-1.5B sia in FP16 che in quantizzazione INT4.

• Analisi dei Modi di Fallimento: Contrariamente all'intuizione che il loop fiducioso sia il principale fallimento, lo studio ha scoperto che la non-terminazione è il modo di fallimento dominante per i modelli INT4 su GSM8K (fino al 49% delle tracce errate esaurisce il budget di token). I loop verbali erano rari ($\le 4\%$ dei token anche sulle tracce fallimentari).
• Selettività tramite Calibrazione:
  • Un monitor non calibrato ($\mu_0 = 0.15$) scattava nel 93–95% delle generazioni, rendendolo inutile.
  • Un monitor calibrato ($\mu_0 = 0.41$) ha ottenuto una precisione di $\approx 0.6$ e un richiamo di $\approx 0.46$ (F1 $\approx 0.3$) contro un tasso di base di 0.38 tracce errate.
• Metriche di Degenerazione: Il controller ha ridotto i tassi di ripetizione consecutiva in INT4 da 0.010 a 0.003 ed eliminato i loop severi (dal 1% allo 0%). Ha anche ridotto leggermente i tassi di troncamento (dal 22% al 19%).
• Accuratezza:
  • FP16: L'accuratezza è migliorata dal 68% al 72% (McNemar $p=0.48$).
  • INT4: L'accuratezza è migliorata dal 63% al 69% (McNemar $p=0.18$).
  • Costo: L'intervento ha aumentato l'uso dei token del 28% e il tempo di esecuzione (wall-clock time) del 30%.
  • Conclusione: Il trend dell'accuratezza è positivo ma statisticamente inconcludente con $n=100$. Gli autori dichiarano esplicitamente di non rivendicare un miglioramento dell'accuratezza, notando che il guadagno potrebbe essere attribuito all'aumento del budget di token piuttosto che al controller stesso.

Significato e Rivendicazioni

Il documento si posiziona come uno studio metodologico preliminare con i seguenti contributi specifici:

1. Risultato Negativo: Una chiara dimostrazione analitica ed empirica che le martingala basate sulla log-probabilità dei token sono fondamentalmente inadeguate per i monitor di decodifica perché sono cieche rispetto alla degenerazione fiduciosa.
2. Sostituzione Metodologica: Un controller e-CUSUM calibrato e privo di addestramento (training-free), che rileva con successo la degenerazione combinando l'entropia con segnali espliciti di ripetizione.
3. Valutazione Onesta: Gli autori sottolineano che la statistica implementata è un rilevatore di cambiamento empirico piuttosto che un e-processo strettamente valido sotto $\delta$, a causa della dipendenza dalla storia del punteggio di allarme e della natura marginale della calibrazione.
4. Intuizione sui Modi di Fallimento: Il trovare che la non-terminazione, non il looping, è il principale modo di fallimento per i modelli quantizzati su GSM8K sfida la motivazione iniziale del metodo e suggerisce che le strategie di rimedio debbano affrontare il "vagabondare" (rambling) tanto quanto la ripetizione.

Gli autori rilasciano tutto il codice, gli strumenti di calibrazione e le tracce per facilitare studi su scala più ampia necessari a rispondere definitivamente alla questione dell'accuratezza. Avvertono che il metodo aggiunge costi computazionali e che qualsiasi futura rivendicazione di miglioramento dell'accuratezza debba essere fatta contro baseline con computazione equivalente (es. self-consistency con lo stesso budget di token).