Résumé technique : Décodage e-CUSUM calibré pour les modèles de raisonnement quantifiés

Énoncé du problème

La quantification à faible nombre de bits (ex. : INT4) permet le déploiement de petits modèles de raisonnement sur du matériel grand public, mais dégrade considérablement leurs capacités de chaîne de pensée (chain-of-thought). Ces modèles souffrent d'erreurs en cascade précoces, de longueurs de raisonnement gonflées et d'une tendance à « trop réfléchir » ou à ne pas parvenir à la terminaison. Un remède intuitif courant consiste à surveiller le décodeur pendant la génération et à intervenir lorsque la trajectoire semble échouer.

L'article identifie une faille critique dans le candidat le plus naturel pour un tel moniteur : une martingale construite à partir des log-probabilités des tokens ($X_t = \log p(w_t | w_{<t})$).

• La faille : Sous la propre loi d'échantillonnage du modèle, l'incrément $D_t = \log p(w_t) + H_t$ (où $H_t$ est l'entropie de Shannon) est par construction une martingale de moyenne nulle.
• La conséquence : Cet observable mesure la auto-cohérence de l'échantillonnage plutôt que la santé de la trajectoire. Dans une « boucle de répétition confiante » (un mode d'échec courant où le modèle répète des tokens avec une probabilité élevée), $p(w_t) \approx 1$ et $H_t \approx 0$, ce qui résulte en $D_t \approx 0$. Par conséquent, la martingale reste silencieuse précisément quand le modèle est sûrement dans l'erreur. De plus, parce qu'elle réagit aux segments à haute variance (haute entropie), elle déclenche des alarmes sur des chemins de raisonnement potentiellement corrects mais incertains, entraînant un taux de fausses alarmes élevé (93–95 % lors de tests non calibrés).

Méthodologie

Les auteurs proposent un contrôleur de remplacement construit sur deux composants : un score d'alarme sensible à la dégénérescence et un détecteur séquentiel calibré.

1. Score d'alarme ($a_t$)

Au lieu de s'appuyer uniquement sur l'entropie, le contrôleur calcule un score borné $a_t \in [0, 1]$ qui fusionne deux signaux :
$$a_t = \min(1, w_{rep} r_t + w_{ent} u_t)$$

• $u_t$ (Incertitude) : Signale les pics d'entropie de Shannon par rapport à l'historique récent.
• $r_t$ (Répétition) : Signale la répétition verbatim en mesurant la couverture des n-grammes récurrents dans une fenêtre glissante. Crucialement, $r_t$ tend vers 1 lors d'une boucle confiante même quand l'entropie est proche de zéro, adressant ainsi le point aveugle des martingales de log-probabilité.
• Poids : Fixés empiriquement à $w_{rep} = 0,7$ et $w_{ent} = 0,3$.

2. Détecteur e-CUSUM calibré

L'article utilise une construction de pari (Shafer, 2021) pour surveiller $a_t$.

• Processus e-brut (Raw e-Process) : Un processus produit non négatif $E^{raw}_n = \prod (1 + \lambda(a_t - \mu_0))$. Sous l'hypothèse nulle conditionnelle que la génération est saine ($E[a_t | \mathcal{F}_{t-1}] \le \mu_0$), ce processus satisfait l'inégalité de Ville, offrant une garantie de faux-alarme uniforme dans le temps.
• Implémentation (CUSUM-plafonné) : La statistique déployée est un log-CUSUM avec un plancher : $S_n = \max(0, S_{n-1} + \log(1 + \lambda(a_n - \mu_0)))$. Une alarme est déclenchée lorsque $S_n \ge \tau$.
• Calibration : Parce que $a_t$ est fortement dépendant de l'historique et autocorrelé, la nulle conditionnelle théorique est difficile à certifier. Les auteurs effectuent une calibration hors ligne en fixant la ligne de base $\mu_0$ au 90e percentile de $a_t$ observé sur des traces de référence saines (FP16, correctes). Cela transforme le détecteur d'un alarme indiscriminée en un détecteur sélectif.

3. Remédiation

Lorsqu'une alarme est déclenchée :

1. Backtracking (Retour en arrière) : Les $k$ derniers tokens sont tronqués et le cache clé-valeur est reconstruit.
2. Resampling (Ré-échantillonnage) : Le modèle reprend avec des paramètres ajustés :
   • L'échantillonnage Min-p est élargi ou resserré (plutôt que d'inflater la température, ce qui augmente le caractère aléatoire).
   • En cas d'alarmes répétées, un marqueur de correction (« Attendez, laissez-moi revérifier... ») est injecté.
3. Budget : Un plafond strict limite le nombre d'interventions pour éviter les boucles infinies.

Résultats clés

Des expériences ont été menées sur le jeu de données GSM8K avec DeepSeek-R1-Distill-Qwen-1.5B en quantification FP16 et INT4.

• Analyse des modes d'échec : Contrairement à l'intuition selon laquelle la boucle confiante est le principal mode de défaillance, l'étude a trouvé que la non-terminaison est le mode d'échec dominant pour les modèles INT4 sur GSM8K (jusqu'à 49 % des traces incorrectes épuisent le budget de tokens). Les boucles verbatim étaient rares ($\le 4 \%$ des tokens même sur les traces échouées).
• Sélectivité via la calibration :
  • Un moniteur non calibré ($\mu_0 = 0,15$) s'est déclenché sur 93–95 % des générations, le rendant inutile.
  • Un moniteur calibré ($\mu_0 = 0,41$) a atteint une précision d'environ $0,6$ et un rappel d'environ $0,46$(F1$\approx 0,3$) contre un taux de base de 0,38 traces mauvaises.
• Métriques de dégénérescence : Le contrôleur a réduit les taux de répétition consécutifs en INT4 de 0,010 à 0,003 et a éliminé les boucles sévères (de 1 % à 0 %). Il a également légèrement réduit les taux de troncature (22 % à 19 %).
• Précision :
  • FP16 : La précision est passée de 68 % à 72 % (McNemar $p=0,48$).
  • INT4 : La précision est passée de 63 % à 69 % (McNemar $p=0,18$).
  • Coût : L'intervention a augmenté l'utilisation des tokens de 28 % et le temps de calcul (wall-clock time) de 30 %.
  • Conclusion : La tendance de la précision est positive mais statistiquement peu concluante à $n=100$. Les auteurs affirment explicitement qu'ils ne revendiquent pas d'amélioration de la précision, notant que le gain pourrait être attribué à l'augmentation du budget de tokens plutôt qu'au contrôleur lui-même.

Signification et revendications

L'article se positionne comme une étude méthodologique préliminaire avec les contributions spécifiques suivantes :

1. Résultat négatif : Une démonstration analytique et empirique claire que les martingales de log-probabilité des tokens sont fondamentalement inadéquates pour les moniteurs de décodage car elles sont aveugles à la dégénérescence confiante.
2. Remplacement méthodologique : Un contrôleur e-CUSUM calibré et sans entraînement, qui détecte avec succès la dégénérescence en combinant l'entropie et des signaux de répétition explicites.
3. Évaluation honnête : Les auteurs soulignent que la statistique déployée est un détecteur de changement empirique plutôt qu'un processus e strictement valide sous le $\delta$ énoncé, en raison de la dépendance à l'historique du score d'alarme et de la nature marginale de la calibration.
4. Aperçu des modes d'échec : La découverte que la non-terminaison, et non la boucle, est le principal mode d'échec pour les modèles quantifiés sur GSM8K remet en question la motivation initiale de la méthode et suggère que les stratégies de remédiation doivent traiter le « bavardage » (rambling) autant que la répétition.

Les auteurs publient tout le code, les outils de calibration et les traces pour faciliter les études à plus grande échelle nécessaires pour répondre définitivement à la question de la précision. Ils avertissent que la méthode ajoute un coût computationnel et que toute revendication future d'amélioration de la précision doit être faite par rapport à des bases de comparaison avec un budget de calcul équivalent (ex. : auto-cohérence avec le même budget de tokens).