Reliable Control-Point Selection for Steering Reasoning in Large Language Models

1. Problématique et Contexte

Les grands modèles de langage (LLM) résolvent des tâches complexes en générant des chaînes de pensée (Chain-of-Thought, CoT). Au cours de ce processus, ils adoptent spontanément des comportements de raisonnement intrinsèques, tels que l'auto-réflexion, la vérification des étapes ou le changement de stratégie. Bien que ces comportements améliorent souvent la précision, ils peuvent aussi être contre-productifs (sur-réflexion, répétition d'étapes inutiles), gaspillant des tokens sans améliorer la solution.

Les vecteurs de pilotage (steering vectors) offrent un mécanisme sans réentraînement pour contrôler ces comportements en ajoutant des directions apprises aux états cachés du modèle. Cependant, la construction de ces vecteurs repose sur l'identification précise des « frontières comportementales » dans les traces de raisonnement.

Le problème central identifié par les auteurs :
Les méthodes actuelles (comme SEAL) détectent ces frontières par correspondance de mots-clés (ex: « attendez », « vérifiez »). Les auteurs démontrent que cette approche repose sur une hypothèse erronée : elle suppose que chaque détection par mot-clé correspond à un engagement comportemental réel.

• Constat clé : Sur 541 frontières détectées par mots-clés, 93,3 % sont comportementalement instables. Cela signifie que si l'on régénère la réponse à partir du même préfixe, le comportement détecté (ex: la réflexion) n'apparaît pas systématiquement.
• Conséquence : Les méthodes actuelles diluent le signal de pilotage en incluant ces faux positifs (bruit), ce qui réduit l'efficacité du vecteur de pilotage.

2. Méthodologie

Les auteurs proposent une approche en deux étapes pour construire des vecteurs de pilotage plus fiables, fondée sur un modèle probabiliste des comportements de raisonnement intrinsèques.

A. Modélisation Probabiliste

Les auteurs modélisent les comportements intrinsèques comme des événements stochastiques avec une probabilité de déclenchement ($p_b$) dépendante du contexte.

• Un mot-clé détecté est un proxy bruité : il peut correspondre à un vrai engagement comportemental ($p_b \approx 1$) ou à un motif de surface accidentel ($p_b \approx 0$).
• Le vecteur de pilotage standard (SEAL) moyenne tous les états cachés, ce qui dilue le signal réel ($\delta$) par le bruit, car la moyenne des probabilités de déclenchement est faible ($\bar{p} \approx 0,167$).

B. Filtrage par Stabilité (Stability Filtering)

Pour isoler les véritables signaux comportementaux, les auteurs introduisent un filtrage basé sur la re-génération :

1. Pour chaque frontière candidate détectée par mot-clé, le modèle régénère $M=10$ continuations à partir du préfixe correspondant.
2. Un score de stabilité $s(b)$ est calculé comme la fraction de ces régénérations qui reproduisent le comportement cible.
3. Seules les frontières avec un score élevé (ex: $\tau = 0,8$) sont conservées pour le calcul du vecteur de pilotage.

• Théorie : Ce filtrage dur (hard thresholding) élimine le bruit des frontières instables, augmentant considérablement le rapport signal/bruit avant la normalisation du vecteur.

C. Projection sur le Sous-espace de Contenu (Content-Subspace Projection)

Une source de bruit supplémentaire provient du contenu spécifique de la question (difficulté, sujet mathématique), qui n'est pas lié au comportement de raisonnement.

• Les auteurs extraient les états cachés correspondant uniquement au texte de la question.
• Ils appliquent une Décomposition en Valeurs Singulières (SVD) pour définir un sous-espace de « contenu ».
• Les vecteurs de pilotage sont ensuite projetés orthogonalement à ce sous-espace pour éliminer les informations spécifiques à la question, ne gardant que la direction purement comportementale.

3. Contributions Clés

1. Modèle Probabiliste et Analyse de l'Instabilité : Première formalisation des comportements de raisonnement intrinsèques comme des événements stochastiques, démontrant empiriquement que la majorité des frontières détectées par mots-clés sont instables (93,3 %).
2. Filtrage par Stabilité : Proposition d'une méthode pour estimer les probabilités de déclenchement via l'échantillonnage répété et ne retenir que les frontières fiables.
3. Projection de Contenu : Méthode pour éliminer le bruit lié au contenu de la question via une projection SVD, améliorant la pureté du vecteur de pilotage.
4. Transfert Inter-Modèles : Démonstration que les vecteurs extraits d'un modèle source (DeepSeek-R1-Distill-Qwen-1.5B) fonctionnent efficacement sur d'autres modèles de la même famille d'architecture (Nemotron, DeepScaleR) sans ré-extraction.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données MATH-500 avec des modèles de 1,5B de paramètres.

• Performance sur le modèle source (Qwen-1.5B) :

  • Baseline (Sans pilotage) : 60,8 % de précision.
  • Méthode SEAL (État de l'art précédent) : 73,4 % (+12,6 points).
  • Méthode proposée (Stabilité + Contenu) : 78,4 % (+17,6 points par rapport à la baseline, soit +5,0 points de plus que SEAL).
  • Efficacité : La méthode réduit également la longueur moyenne des réponses (de 1547 à 1008 mots) et le nombre de mots-clés de réflexion inutiles, indiquant un raisonnement plus concis et efficace.

• Transfert Inter-Modèles (Sans ré-extraction) :

  • Sur Nemotron-Research-Reasoning-1.5B : Passage de 76,6 % (SEAL) à 81,6 % (+15,4 vs baseline).
  • Sur DeepScaleR-1.5B-Preview : Passage de 75,2 % (SEAL) à 81,2 % (+8,6 vs baseline).

• Analyse de l'ablation :

  • Le filtrage par stabilité seul apporte la majeure partie du gain (+7,0 points par rapport à SEAL).
  • La projection de contenu apporte un gain supplémentaire modeste mais significatif (+1,6 points).
  • La combinaison des deux est optimale.

• Validation par Probe : Un classifieur logistique entraîné sur les états cachés confirme que les frontières stables (score $\ge 0,8$) contiennent un signal comportemental beaucoup plus fort (confiance du probe : 0,942) que les frontières instables (0,721).

5. Signification et Impact

Ce travail remet en question l'hypothèse fondamentale selon laquelle les indices de surface (mots-clés) sont des indicateurs fiables des états internes des LLM. En démontrant que le raisonnement intrinsèque est fondamentalement stochastique, les auteurs proposent une nouvelle approche rigoureuse pour le contrôle des modèles.

L'impact principal réside dans la capacité à piloter avec précision des comportements complexes (comme l'auto-vérification) sans réentraînement coûteux, tout en évitant les pièges du bruit de détection. La méthode permet non seulement d'améliorer la précision sur des tâches de raisonnement mathématique, mais aussi de réduire le gaspillage de tokens, rendant l'inférence plus efficace. Enfin, la capacité de transfert des vecteurs entre modèles suggère que ces signaux comportementaux sont des propriétés structurelles partagées au sein d'une même famille d'architectures, ouvrant la voie à des outils de contrôle universels pour les LLM.