Résumé Technique : Le Signal Caché de la Sévérité du Vérificateur

Énoncé du Problème

Les vérificateurs génératifs, qui traitent la vérification étape par étape comme un problème de prédiction du prochain token, sont apparus comme un paradigme prometteur pour détecter les erreurs dans le raisonnement des grands modèles de langage (LLM). Cependant, ces vérificateurs souffrent souvent d'une mauvaise calibration, caractérisée par une tendance à être soit sous-critiques (acceptant faussement des étapes erronées), soit sur-critiques (rejetant faussement des étapes correctes). Ce phénomène, nommé sévérité du vérificateur, se manifeste par un biais de positivité où les vérificateurs valident incorrectement des solutions défectueuses ou rejettent des solutions valides en raison de problèmes stylistiques superficiels.

Bien que le fine-tuning de modèles de récompense de processus (PRM) spécialisés puisse atténuer ce problème, il est coûteux en ressources et souffre d'une obsolescence rapide à mesure que les modèles de pointe évoluent. De plus, les évaluateurs entraînés sur d'anciennes générations de modèles généralisent souvent mal aux nouveaux modèles ajustés par instruction. Par conséquent, il existe un besoin d'une méthode sans entraînement capable de contrôler de manière adaptative le comportement des vérificateurs dans les modèles généraux ajustés par instruction, sans la surcharge computationnelle d'un fine-tuning étendu ou d'un échantillonnage de cohérence.

Méthodologie

Les auteurs proposent VerifySteer, une méthode sans entraînement qui contrôle la sévérité du vérificateur par pilotage des états cachés. L'approche repose sur deux découvertes principales et un cadre adaptatif correspondant :

1. Découverte du Signal Latent Spécifique à la Vérification

Par une analyse empirique, les auteurs identifient que la tendance d'un vérificateur à accepter ou rejeter une étape de solution est encodée dans l'état caché du token délimiteur de limite de paragraphe (\n\n) précédant immédiatement le paragraphe de vérification correspondant.

• Localisation du Signal : Le signal de prise de décision n'est pas distribué uniformément mais est localisé dans des couches spécifiques du transformateur (par exemple, la couche 22 dans Qwen3-8B).
• Construction du Vecteur de Pilotage : En utilisant un ensemble de validation, les auteurs construisent des vecteurs de pilotage contrastifs en calculant la différence moyenne entre les états cachés des segments de Rejet Vrai (TR) et d'Acceptation Fausse (FA) (pour augmenter la sévérité, $d_{strict}$), et d'Acceptation Vraie (TA) par rapport aux segments de Rejet Faux (FR) (pour diminuer la sévérité, $d_{lenient}$).
• Intervention : Au moment de l'inférence, ces vecteurs sont ajoutés aux états cachés des tokens délimiteurs pour moduler la sortie du vérificateur.

2. Le Cadre VerifySteer

Les auteurs observent que le pilotage uniforme (appliquer un seul vecteur à tous les échantillons) crée un compromis : augmenter la sévérité améliore la détection d'erreurs (Taux de Vrais Négatifs, TNR) mais nuit à la certification de la justesse (Taux de Vrais Positifs, TPR), et vice versa. Pour résoudre cela, VerifySteer introduit une adaptativité au niveau de l'échantillon et au niveau du délimiteur :

• Routage au Niveau de l'Échantillon : Une sonde de justesse légère ($f_\phi$) prédit la probabilité qu'une solution candidate soit entièrement correcte en se basant sur les états cachés de l'invite.
  • Si la solution est prédite comme probablement incorrecte ($q \le \tau_l$), le système applique le vecteur augmentant la sévérité ($d_{strict}$).
  • Si la solution est prédite comme probablement correcte ($q \ge \tau_h$), le système applique le vecteur augmentant la clémence ($d_{lenient}$).
  • Sinon, aucun pilotage n'est appliqué.
• Gating au Niveau du Délimiteur : Le pilotage est appliqué uniquement aux tokens délimiteurs où l'état caché local est désaligné par rapport à la direction sélectionnée (déterminé par un seuil de similarité cosinus $\rho$). Cela empêche une intervention inutile sur les tokens qui sont déjà alignés avec le comportement souhaité.

Contributions Clés

1. Identification d'un Signal Latent : L'article démontre que la sévérité du vérificateur est encodée dans les états cachés des tokens de limite de paragraphe et peut être modulée par une intervention ciblée sans fine-tuning.
2. Algorithme VerifySteer : La proposition d'une méthode de pilotage conditionnel qui achemine dynamiquement les échantillons et intervient de manière sélective aux limites des délimiteurs pour équilibrer la détection d'erreurs et la certification de la justesse.
3. Validation Empirique : Des expériences extensives sur les benchmarks ProcessBench et Hard2Verify à travers diverses échelles de modèles (de 1,7 à 70 milliards de paramètres) et architectures (denses et MoE).

Résultats Expérimentaux

Les expériences ont été menées sur ProcessBench (GSM8K, MATH, OlympiadBench, Omni-MATH) et Hard2Verify en utilisant des modèles tels que Qwen3-1.7B, Qwen3-8B et FARE-20B.

• Performance vs. Baselines : VerifySteer surpasse l'optimisation d'invite, les baselines de pilotage d'activation (CAA) et la cohérence de soi (Cons@4/Cons@8) en termes de score F1.
  • Sur ProcessBench avec Qwen3-1.7B, VerifySteer dépasse la cohérence de soi de 3,7 points F1.
  • Sur Hard2Verify avec Qwen3-8B-thinking, VerifySteer dépasse la cohérence de soi de 2,2 points F1.
• Efficacité : VerifySteer atteint ces gains avec un coût computationnel d'inférence significativement inférieur. Il nécessite 4 à 7 fois moins de calculs d'inférence (FLOPs) par rapport aux méthodes de cohérence de soi, qui reposent sur plusieurs traces d'échantillonnage.
• Compatibilité : La méthode est orthogonale au fine-tuning de vérification. Lorsqu'elle est appliquée au-dessus du vérificateur fine-tuné FARE-20B, VerifySteer apporte des gains supplémentaires (portant le F1 de 41,5 à 51,1), démontrant que le pilotage et le fine-tuning sont complémentaires.
• Études d'Ablation : La suppression de l'adaptativité au niveau de l'échantillon entraîne une baisse du TPR, tandis que la suppression de l'adaptativité au niveau du délimiteur réduit le TNR, confirmant la nécessité des deux composants pour équilibrer le compromis de sévérité.

Importance et Revendications

L'article revendique que les vérificateurs LLM reflètent des comportements latents contrôlables qui peuvent être manipulés sans le coût élevé du réentraînement. En découvrant un signal spécifique d'état caché pour la sévérité de la vérification, les auteurs offrent une voie vers un contrôle léger et adaptatif du comportement des vérificateurs dans les modèles généraux ajustés par instruction.

L'importance réside dans l'offre d'une alternative pratique au fine-tuning coûteux et à la cohérence de soi lourde en calcul. VerifySteer permet aux modèles de génération actuelle d'égaler ou de surpasser les performances des évaluateurs spécialisés et fine-tunés construits sur d'anciennes générations, tout en maintenant la cohérence sémantique et en fournissant des explications interprétables au niveau des étapes. Ce travail suggère que l'ingénierie des représentations est une stratégie viable et efficace pour améliorer la fiabilité des vérificateurs génératifs dans les tâches de raisonnement mathématique.