🤖 machine learning

Predicting Future Behaviors in Reasoning Models Enables Better Steering

Cet article propose la génération contrôlée par sondage futur (FPCG), une méthode de pilotage au niveau du texte qui exploite des sondes d'activation entraînées pour prédire les résultats comportementaux futurs à partir d'étapes de raisonnement intermédiaires, permettant ainsi un contrôle efficace des grands modèles de raisonnement avec une dégradation minimale de la qualité de sortie par rapport au pilotage par activation traditionnel.

Auteurs originaux : Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Publié 2026-06-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent et bavard qui essaie de résoudre un problème ou de répondre à une question. Parfois, ce robot s'embrouille ou décide de faire quelque chose que vous ne vouliez pas qu'il fasse (comme être impoli, mentir ou enfreindre des règles).

Pendant longtemps, les scientifiques ont essayé de réparer cela en examinant les « pensées » du robot après qu'il les a déjà exprimées à voix haute. Ils disaient : « Oh, je vois qu'il vient de dire quelque chose de mal. Poussons son cerveau dans la direction opposée pour l'en empêcher. »

Le problème avec cette ancienne méthode est qu'elle revient à essayer de diriger une voiture en donnant un coup de volant après que vous ayez déjà percuté un arbre. Cela rend souvent les réponses du robot bizarres, cassées ou dépourvues de sens.

Ce document présente une nouvelle façon de diriger le robot : La méthode du « Regard vers le Futur » (Future Gaze).

Voici comment cela fonctionne, décomposé en étapes simples :

1. L'ancienne méthode : Regarder dans le rétroviseur

Les chercheurs appellent l'ancienne méthode la « Détection ».

L'analogie : Imaginez un agent de sécurité qui ne vérifie votre pièce d'identité qu' après que vous soyez passé la porte. Au moment où l'agent vous voit, vous êtes déjà à l'intérieur. S'il essaie de vous faire ressortir, c'est désordonné et chaotique.
La science : Les anciennes méthodes regardent le texte que le modèle a déjà généré pour trouver un « mauvais comportement ». Elles tentent ensuite de forcer le modèle à changer ses signaux cérébraux cachés en fonction de ce texte passé. Le papier montre que cela nuit souvent à la qualité de la réponse car le modèle est confus par ce qu'il vient de dire.

2. La nouvelle découverte : La boule de cristal

Les chercheurs ont découvert que le cerveau du robot possède en réalité un deuxième type de signal qui agit comme une boule de cristal.

L'analogie : Avant même que le robot ne prononce un mot, il exécute secrètement une simulation dans sa tête. C'est comme un joueur d'échecs qui pense : « Si je déplace mon pion ici, je risque de perdre la partie dans trois coups. » Le robot sait ce qu'il a l'intention de faire avant même de le dire.
La science : Ils ont trouvé des « Caractéristiques de Prédiction » (Prediction Features). Ce sont des signaux cachés dans le cerveau du modèle qui prédisent la probabilité future d'un comportement (ex : « Il y a 90 % de chances que cette phrase soit impolie »). Ces signaux existent avant que le mauvais texte ne soit écrit.

3. La nouvelle méthode : « Génération contrôlée par sonde de futur » (FPCG)

Au lieu de donner un coup de volant après un crash, cette nouvelle méthode vérifie le GPS avant que la voiture ne démarre.

Comment ça marche :
1. Le robot est sur le point d'écrire la phrase suivante.
2. Au lieu de simplement écrire une seule phrase, le robot rédige rapidement plusieurs options différentes (comme un écrivain qui cherche trois façons différentes de dire « Bonjour »).
3. La « Boule de cristal » (la nouvelle sonde) examine chaque brouillon et demande : « Si nous choisissons cette phrase, quelle est la probabilité que le reste de la conversation tourne mal ? »
4. Le système choisit la phrase qui mène au meilleur résultat futur.
5. Le robot écrit cette phrase et répète le processus pour la suivante.

Pourquoi est-ce meilleur ?

Pas de crashs : Parce que le robot choisit la meilleure voie avant de s'y engager, il n'a pas besoin d'annuler ses erreurs plus tard. Les réponses restent de haute qualité et naturelles.
Fonctionne là où les autres échouent : Le papier a testé cela dans des situations délicates où l'ancienne méthode du « Rétroviseur » brisait complètement le robot (le rendant incohérent). La nouvelle méthode de la « Boule de cristal » permet au robot de fonctionner sans encombre.

La conclusion principale

Le papier prouve que prédire le futur est différent de détecter le passé.

Ancienne méthode : « Je vois que tu es impoli, alors arrête ! » (Trop tard, cela provoque le chaos).
Nouvelle méthode : « Je vois que tu es sur le point d'être impoli, alors choisissons une phrase différente à la place. » (Cela prévient le problème et maintient la fluidité).

En utilisant les propres signaux de « planification future » du robot, nous pouvons le guider pour qu'il soit plus sûr et plus utile sans qu'il ne ressemble à une machine défectueuse.

Résumé technique : Prédire les comportements futurs des modèles de raisonnement permet un meilleur pilotage

Énoncé du problème

Les modèles de raisonnement de grande taille (LRM) déployés présentent souvent des comportements inattendus, ce qui nécessite des mécanismes de contrôle robustes. Bien que le pilotage par activation au moment de l'inférence — consistant à intervenir sur les représentations cachées pour contrôler les sorties — ait montré des promesses, il souffre fréquemment d'une limitation critique : la dégradation de la qualité des sorties et des capacités du modèle.

Les auteurs soutiennent que les méthodes de pilotage existantes reposent implicitement sur des caractéristiques de détection, qui sont des représentations internes identifiant des comportements déjà présents dans le texte généré. Cependant, les LRM maintiennent une distribution sur plusieurs réponses futures possibles pendant leur raisonnement par chaîne de pensée (Chain-of-Thought ou CoT), souvent avant de verbaliser une décision. Le papier postule que s'appuyer sur des caractéristiques qui détectent les comportements passés est une cible d'intervention sous-optimale car ces caractéristiques sont de faibles prédicteurs des résultats comportementaux futurs. Par conséquent, le pilotage basé sur des caractéristiques de détection force le modèle à s'écarter de sa variété de génération naturelle, entraînant des sorties incohérentes ou de faible qualité.

Méthodologie

1. Analyse de la dynamique de distribution du comportement

L'étude établit d'abord que les LRM présentent souvent une « incertitude comportementale », où un seul prompt peut mener à plusieurs issues comportementales selon le chemin de raisonnement. En utilisant une analyse par rééchantillonnage, les auteurs retracent comment la probabilité d'un comportement spécifique évolue phrase par phrase durant le raisonnement CoT. Ils constatent que pour les exemples incertains, le modèle converge vers une décision finale pendant le processus de raisonnement, plutôt que de la prédéterminer.

2. Distinction entre caractéristiques de détection et de prédiction

La contribution théorique centrale est l'identification de deux classes distinctes de caractéristiques internes :

Caractéristiques de détection : Activations qui signalent qu'un comportement a déjà eu lieu dans le texte (généralement extraites des réponses finales).
Caractéristiques de prédiction : Activations qui encodent la tendance du modèle à agir d'une certaine manière dans le futur, dérivées des étapes de raisonnement intermédiaires.

Pour valider cela, les auteurs ont entraîné des sondes linéaires (et des sondes MLP) sur les activations du flux résiduel à la fin de chaque phrase pour prédire la probabilité d'un comportement futur.

Sondes de prédiction : Entraînées sur les activations CoT intermédiaires pour prédire les probabilités de comportement futur. Celles-ci ont atteint une précision élevée (64 % à 91 % de précision binarisée) pour prédire si un comportement se produirait.
Sondes de détection : Entraînées sur les activations de la réponse finale pour détecter le comportement. Lorsqu'elles ont été utilisées pour prédire des résultats futurs (sur la base d'étapes intermédiaires), ces caractéristiques ont été nettement moins performantes, confirmant que les caractéristiques de détection et de prédiction sont distinctes et ne coïncident pas.

3. Génération contrôlée par sonde de futur (FPCG)

S'appuyant sur l'existence de caractéristiques de prédiction, les auteurs proposent la Génération contrôlée par sonde de futur (FPCG), un algorithme de pilotage au niveau du texte. Contra-rent au pilotage par activation, qui modifie le flux résiduel des jetons générés, la FPCG fonctionne comme suit :

Génération de candidats : À chaque étape de raisonnement (phrase), le modèle génère $M$ phrases candidates.
Scoring : Les activations du modèle pour chaque phrase candidate (jusqu'à la fin de la phrase) sont extraites.
Prédiction : Une sonde entraînée prédit la probabilité du comportement futur souhaité (ou indésirable) pour chaque candidat.
Sélection : Le candidat qui maximise (ou minimise) la probabilité prédite du comportement cible est sélectionné.
Itération : Le processus se répète pour la phrase suivante.

Cette approche permet au modèle de « choisir » le chemin qui s'aligne sur le comportement souhaité tout en restant sur la variété de données naturelles, car la sélection est basée sur la planification probabiliste propre au modèle plutôt que sur l'addition de vecteurs externes.

Résultats clés

Précision de la prédiction

Les sondes linéaires entraînées sur les activations intermédiaires ont prédit avec succès les probabilités de comportement futur avec une grande précision. La précision binarisée (prédire si un comportement est plus probable que non) variait de 64 % à 91 % à travers divers modèles (DeepSeek-R1-Distill-Llama-8B, Qwen3-14B, gpt-oss-20b, QwQ-32B) et jeux de données (Myopic Reward, Refusal, Prompt Injection, etc.). Cela confirme que les représentations internes contiennent des signaux puissants concernant les tendances comportementales futures.

Performance de pilotage et qualité

Les auteurs ont évalué la FPCG par rapport au pilotage par activation standard par différence de moyennes (Difference-in-Means) :

Contrôle du comportement : La FPCG a réussi à déplacer les fractions de comportement de manière significative à travers tous les modèles et jeux de données testés (par exemple, réduisant le comportement « Myopic Reward » de 46,2 % à 5,1 % dans DeepSeek-R1).
Qualité de sortie : Crucialement, la FPCG n'a induit presque aucune dégradation de la qualité de sortie. La fraction de générations filtrées en raison de violations de format ou d'incohérence est restée proche de zéro (0–3 % dans la plupart des cas). En revanche, le pilotage par activation a provoqué une dégradation significative de la qualité, avec jusqu'à 18 % de générations filtrées et une augmentation de la perplexité dans 9 scénarios sur 12.
Perplexité : Le pilotage par activation a augmenté la perplexité de génération dans la plupart des scénarios, suggérant qu'il pousse les activations hors de la variété naturelle des données. La FPCG n'a augmenté la perplexité que dans un scénario sur 12.
Pilotabilité : Sur le modèle gpt-oss-20b, le pilotage par activation a totalement échoué (brisant la génération) sur les tâches de Refusal, Prompt Injection et Wealth Seeking, tandis que la FPCG a piloté avec succès ces comportements sans perte de qualité.

Signification et affirmations

Le papier affirme que la distinction entre les caractéristiques de détection de comportement et de prédiction de comportement est essentielle pour un contrôle efficace des LRM.

Insight conceptuel : L'étude fournit la preuve que les LRM maintiennent en interne une distribution probabiliste des comportements futurs, représentée par des caractéristiques distinctes de celles qui détectent le texte réalisé.
Utilité pratique : En ciblant les caractéristiques de prédiction via la FPCG, il est possible de piloter le comportement du modèle avec une grande force tout en préservant la qualité de sortie, surmontant la limitation principale des méthodes actuelles de pilotage par activation.
Complémentarité : La FPCG est présentée comme une approche complémentaire aux méthodes existantes, capable de piloter dans des scénarios où les méthodes basées sur l'activation échouent ou dégradent les performances.

Les auteurs concluent que la compréhension de l'évolution des représentations internes, de la planification à la verbalisation, permet un contrôle plus nuancé et plus efficace des comportements des LRM.