Reasoning Models Know What's Important, and Encode It in Their Activations

1. Problématique

Les modèles de langage (LLM) résolvent des tâches complexes en générant de longues chaînes de raisonnement (Chain-of-Thought) composées de nombreuses étapes intermédiaires. Cependant, toutes ces étapes ne sont pas égales : certaines sont critiques pour parvenir à la réponse correcte, tandis que d'autres sont redondantes, informatives ou "performantes" (removables).

Le défi central est de déterminer quelles étapes sont réellement importantes et comment le modèle identifie cette importance. La question ouverte est de savoir si cette information est accessible uniquement à travers les tokens générés (la surface du texte) ou si elle est encodée de manière plus riche et fidèle dans les activations internes du modèle (les représentations latentes).

2. Méthodologie

Les auteurs proposent une approche basée sur la faisabilité de suppression (removability) pour définir l'importance d'une étape.

A. Définition de l'importance par suppression

Une étape est considérée comme importante si sa suppression empêche le modèle de générer la réponse correcte. À l'inverse, une étape est supprimable si le modèle peut toujours atteindre la réponse correcte sans elle.
Pour identifier les étapes essentielles, les auteurs définissent une sous-séquence de raisonnement centrale ($T^*$) qui doit être :

1. Suffisante : Permet de générer la réponse correcte avec une haute probabilité (mesurée par le taux de succès sur plusieurs échantillonnages).
2. Atteignable : Reste dans la distribution de probabilité du modèle (mesurée par la perplexité normalisée).
3. Minimale : La plus courte possible.

B. Comparaison de deux approches d'identification

Pour trouver cette sous-séquence centrale, l'étude compare deux méthodes de classement des étapes :

1. Approche basée sur les tokens (Token-based) : Utilise un LLM externe (Gemini-2.5-Pro) pour juger, via le texte seul, quelles étapes influencent la réponse.
2. Approche basée sur les activations (Activation-based) : Utilise des signaux internes du modèle, spécifiquement l'attribution par gradient, pour mesurer l'influence d'une étape sur les étapes suivantes et la réponse finale.

C. Expérimentation

• Modèles : Cinq modèles de raisonnement de différentes familles (GPT-OSS-20B, DeepSeek-R1-Distill-Qwen en 1.5B/7B/14B, OLMo-3-7B-Think).
• Données : Deux benchmarks de raisonnement mathématique : HARP (4 780 problèmes) et MATH-500 (500 problèmes).
• Procédure :
  1. Génération de chaînes de raisonnement.
  2. Élimination des étapes "raccourcis" (qui donnent directement la réponse).
  3. Identification d'un préfixe suffisant.
  4. Application d'une procédure gourmande (greedy) pour extraire la sous-séquence centrale $T^*$ en utilisant soit les activations, soit le juge externe.

D. Sondage (Probing)

Pour vérifier si le modèle "sait" ce qui est important, les auteurs entraînent des classificateurs de sondage (probes) sur les activations des étapes pour prédire si une étape est supprimable ou non. Ils testent :

• L'utilisation du contexte complet (chaîne entière) vs contexte isolé.
• La capacité de généralisation entre modèles (cross-model).
• La corrélation avec des caractéristiques de surface (longueur, position, type de mot-clé).

3. Résultats Clés

A. Les activations sont supérieures aux tokens

L'approche basée sur les activations identifie systématiquement des sous-séquences centrales plus petites et plus précises que l'approche basée sur les tokens (juge externe).

• Tableau 1 : La méthode basée sur les activations réduit la taille de la sous-séquence centrale de manière significative (par exemple, ~23% vs ~31% pour GPT-OSS sur HARP), indiquant qu'elle isole mieux les étapes véritablement critiques.

B. Encodage interne de l'importance

Les modèles encodent une notion interne d'importance dans leurs activations, même avant la génération des étapes suivantes.

• Les sondes entraînés sur les activations (avec contexte complet) atteignent une précision > 80% pour distinguer les étapes importantes des supprimables.
• En revanche, les méthodes basées uniquement sur les tokens (LLM juge, embeddings sémantiques, TF-IDF) plafonnent autour de 60%, même avec le contexte complet. Cela suggère que l'information sur l'importance est perdue lors du passage des activations aux tokens générés.

C. Généralisation et distribution

• Transférabilité : Un probe entraîné sur les activations d'un modèle peut prédire avec succès l'importance des étapes pour un autre modèle (généralisation cross-model). Cela indique que la notion d'importance est universelle et non spécifique à une architecture.
• Distribution : L'information d'importance n'est pas localisée dans une couche ou une position spécifique. Elle est distribuée à travers toutes les couches et toutes les positions des tokens au sein d'une étape.
• Indépendance des caractéristiques de surface : L'importance ne corréle pas fortement avec des features de surface comme la position relative, la longueur de l'étape, ou la présence de mots-clés spécifiques (ex: "vérification", "calcul"). Une régression linéaire sur ces features de surface performe bien moins bien que le probe sur les activations.

4. Contributions Principales

1. Preuve de l'encodage latent : Démontre que les modèles de raisonnement possèdent une représentation interne explicite de l'importance des étapes, accessible via les activations mais souvent masquée dans la sortie textuelle.
2. Supériorité de l'analyse interne : Établit que l'analyse des activations (via l'attribution de gradient) est une méthode plus fidèle et précise pour identifier les étapes critiques du raisonnement que l'analyse textuelle externe.
3. Universalité du concept : Montre que la notion d'importance d'une étape de raisonnement est un concept fondamental qui transcende les architectures de modèles spécifiques.
4. Méthodologie de suppression : Propose un cadre rigoureux (suffisance + atteignabilité) pour définir et extraire les chaînes de raisonnement minimales.

5. Signification et Implications

• Fidélité (Faithfulness) : Les résultats suggèrent une forme de "non-fidélité" dans les chaînes de raisonnement générées : des étapes qui semblent importantes dans le texte peuvent être supprimables, et inversement. L'analyse des activations offre donc une fenêtre plus véridique sur le processus de raisonnement réel du modèle.
• Interprétabilité : Pour comprendre comment les modèles raisonnent, il faut regarder au-delà des tokens et explorer les états internes. Les approches purement textuelles risquent de manquer des aspects cruciaux du processus cognitif du modèle.
• Efficacité : La capacité à détecter les étapes supprimables via les activations ouvre la voie à des techniques d'inférence plus efficaces, permettant de compresser les chaînes de raisonnement en temps réel (en omettant les étapes redondantes) sans sacrifier la précision.
• Limites : L'étude se concentre sur le raisonnement mathématique. L'extension à d'autres domaines (codage, problèmes ouverts) et l'utilisation de ces signaux pour le fine-tuning des modèles restent des pistes de recherche futures.

En conclusion, cet article démontre que les modèles de raisonnement "savent" ce qui est important bien avant de l'écrire, et que cette connaissance réside dans la structure complexe de leurs activations latentes, inaccessible par l'observation simple du texte généré.