Résumé Technique : Registres Causaux dans le Raisonnement par Scratchpad

Énoncé du Problème

La supervision de processus vise à aligner les modèles en récompensant les étapes de raisonnement intermédiaires (par exemple, les scratchpads, la chaîne de pensée) plutôt que seulement les réponses finales. Cependant, un écart critique existe entre la lisibilité et la causalité : un modèle peut écrire des états intermédiaires plausibles qui sont corrélés à la réponse correcte sans pour autant utiliser réellement ces états comme entrées pour les calculs suivants. Si le texte écrit n'est qu'une justification a posteriori ou un signal corrélé, il ne peut être ni efficacement audité ni soumis à des interventions.

La question centrale abordée est la suivante : Un modèle calcule-t-il réellement à partir des états intermédiaires qu'il écrit ? Plus précisément, si une représentation interne d'un état écrit est modifiée alors que le texte visible reste inchangé, le passage suivant du modèle change-t-il conformément à la règle de mise à jour connue de cet état ?

Méthodologie

1. Tâche de Suivi d'État Contrôlée

Les auteurs utilisent un système de transition fini avec des règles de mise à jour connues pour créer un test causal sans ambiguïté.

• Structure de la tâche : Le modèle reçoit un état initial et une séquence de mouvements. Il doit suivre l'état après chaque mouvement.
• Représentation de l'état : L'état est défini par $v | p$, où $v$ est une coordonnée visible (l'une des quatre cellules d'une grille) et $p$ est un « bit de phase » ($0$ ou $1$).
• Sensibilité à l'ordre : Le bit de phase $p$ n'est pas déterminé uniquement par la coordonnée visible $v$ ; il dépend de l'historique des mouvements (l'ordre des opérations). Cela crée des états correspondants (par exemple, $11|0$ et $11|1$) qui partagent le même texte visible mais diffèrent par leur phase interne.
• Modèles : L'étude utilise Qwen2.5-Coder-7B comme modèle principal et Mistral-7B-v0.3 pour la réplication.
• Conditions d'entraînement :
  1. Base Pré-entraînée : Aucun ajustement fin (fine-tuning).
  2. Réponse Finale Uniquement : Ajusté pour ne produire que l'état final.
  3. État de Fonctionnement (Running-State) : Ajusté pour écrire l'état complet après chaque mouvement avant la réponse finale.

2. Intervention : Édition Contrefactuelle de l'État

L'intervention expérimentale centrale implique le patching d'activation (plus précisément la modification du cache KV) au niveau de la position du jeton (token) correspondant à l'état actuel.

• L'Édition : La représentation du flux résiduel interne du bit de phase au jeton de l'état actuel est éditée de $p$ vers $1-p$.
• La Contrainte : L'ID du jeton visible et le texte du scratchpad imprimé restent inchangés. Le préfixe fourni au modèle est identique dans les exécutions saines et patchées.
• Le Test : On demande au modèle de prédire l'état suivant étant donné le mouvement à venir $m$.
  • Condition de Succès : Le modèle prédit le bit de phase résultant de l'application du mouvement $m$ à l'état édité $\tilde{s} = (v, 1-p)$.
  • Condition d'Échec : Le modèle ignore l'édition interne et prédit le résultat basé sur l'état original $s = (v, p)$, ou suit un biais générique.

3. Contrôles et Sélectivité

Pour écarter d'autres explications (par exemple, le pilotage de jetons générique ou la copie de continuations), les auteurs utilisent deux contrôles spécifiques :

• Contrôle d'Échange de Mouvement (Move-Swap Control) : L'état édité est maintenu fixe, mais le mouvement à venir est modifié. Un mécanisme de mise à jour d'état valide doit changer sa prédiction en fonction du nouveau mouvement ; un biais fixe ne le ferait pas.
• Contrôle de Continuation Conflictuelle (Conflicting-Continuation Control) : Un état contrefactuel est injecté à partir d'un contexte différent dont la trajectoire future diverge du mouvement actuel. Si le modèle suit le mouvement actuel, il recompute à partir de l'état édité ; s'il suit la continuation injectée, il se contente de copier une continuation.

Résultats Clés

1. Utilisation Causale des États de Scratchpad

Dans les modèles Running-State (ajustés pour écrire les états intermédiaires), l'édition interne redirige avec succès le calcul de l'état suivant :

• Qwen2.5-Coder-7B : Le modèle prédit le bit de phase suivant impliqué par l'état édité dans 80 % des exemples hors échantillon (tâche Q8) et 91 % (tâche D8).
• Contrôles : Les modèles pré-entraînés et ceux de type « Réponse Finale Uniquement » restent proches des niveaux de base (hasard), indiquant qu'ils n'utilisent pas l'état écrit comme une entrée de calcul.
• Éditions Aléatoires/Orthogonales : Les patchs aléatoires ou les patchs dans des sous-espaces orthogonaux donnent des taux d'accord proches de 0,02, confirmant que l'effet est spécifique au sous-espace du bit de phase.

2. Sélectivité et Recomputation

Les modèles Running-State démontrent une haute sélectivité, prouvant qu'ils ne font pas simplement de l'orientation de jetons ou de la copie :

• Spécificité du Mouvement : La prédiction change de manière significative lorsque le mouvement change (écarts de sélectivité : +0,57 pour Q8, +0,68 pour D8).
• Recomputation vs Copie : Face à une continuation conflictuelle, le modèle suit le mouvement actuel (et donc l'état édité) plutôt que le futur de la source injectée (écarts de sélectivité : +0,59 pour Q8, +0,81 pour D8).

3. Analyse Mécaniste

• Représentation Compacte : L'information du bit de phase est capturée par un sous-espace de faible rang. Dans Q8, une édition de rang 1 est suffisante ; dans D8, le rang 2 est suffisant, bien en dessous des 3584 dimensions du flux résiduel.
• Routage :
  • Q8 : La mise à jour circule principalement via une seule connexion d'attention (du jeton de la phase actuelle vers la couche de prédiction suivante). L'ablation de cette connexion supprime 94 % de l'effet.
  • D8 : La mise à jour utilise une route distribuée à quatre arêtes. L'ablation de cette route spécifique supprime environ 69 % de l'effet, montrant que des variables d'état compactes peuvent être traitées via des mécanismes distribués.
• Réplication : Ces motifs causaux se répliquent dans Mistral-7B-v0.3, les modèles Running-State atteignant un accord sur l'état édité de 0,93–0,94.

4. Préfixes Générés

Lorsque le modèle génère lui-même le préfixe (plutôt qu'il ne lui est fourni), l'effet persiste mais est légèrement moins stable dans Q8 (utilisation en une étape de 0,66) par rapport à D8 (utilisation en une étape de 0,90), bien qu'il reste nettement supérieur à la ligne de base.

Signification et Revendications

L'article affirme que la supervision par état de fonctionnement (ajustement fin pour produire des états intermédiaires) transforme un scratchpad d'un simple transcript en un registre causal au sein du calcul du modèle.

• Sémantique Opérationnelle : Un intermédiaire utile pour l'alignement doit posséder une sémantique opérationnelle à lante de l'intérieur du modèle. Les résultats montrent que, pour les modèles entraînés, modifier la valeur interne associée à un état écrit change causalement l'étape suivante, de manière cohérente avec la règle de transition.
• Auditabilité : Cela établit un « objectif plus précis pour la surveillance des scratchpads ». La surveillance ne consiste pas seulement à rendre le raisonnement lisible pour les humains, mais à entraîner les modèles à utiliser les états écrits comme de véritables entrées pour leur propre calcul. Cela permet des « audits de distorsion de preuve » où un superviseur peut théoriquement modifier un état et vérifier si le comportement ultérieur du modèle s'aligne sur ce changement.
• Distinction des Concepts : Ce travail distingue avec succès trois idées souvent confondues :
  1. Si un état est écrit.
  2. Si un état est représenté en interne.
  3. Si le modèle calcule réellement à partir de cet état.
     Les résultats montrent que la supervision est nécessaire pour combler le fossé entre la représentation et le calcul.

Les auteurs concluent que, bien que cette structure ait été démontrée dans un environnement synthétique contrôlé, l'objectif pour la future supervision de processus est de construire des tâches et des méthodes d'entraînement où les modèles exposent des variables d'état causalement actives et utilisables de manière similaire dans des domaines plus riches (par exemple, états de programmes, démonstration de théorèmes, utilisation d'outils).