🤖 machine learning

Code Correctness Signals in LLM Hidden States: Pre-Generation Probing and Repair Geometry

Cet article démontre que la correction du code est linéairement décodable à partir des états cachés d'un modèle Qwen3-4B avant la génération, tout en révélant, par des contrôles de résidualisation rigoureux, que les signaux apparents de « réparation » sont en réalité confondus par le contexte plutôt que de représenter des caractéristiques de compréhension isolées.

Auteurs originaux : Carlo Di Cicco

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Carlo Di Cicco

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un étudiant brillant, mais légèrement secret, passant un examen de codage. Ce document est comme une histoire de détective où des chercheurs tentent de jeter un coup d'œil à l'intérieur du « cerveau » de l'étudiant (ses états cachés) pour voir ce qu'il sait avant d'écrire le moindre mot de code, et pour voir si son cerveau change d'une manière spécifique lorsqu'il essaie de corriger une erreur.

Les chercheurs ont utilisé un étudiant spécifique (un modèle appelé Qwen3-4B) et lui ont donné 444 problèmes de codage. Voici ce qu'ils ont trouvé, expliqué à travers des analogies simples.

1. La boule de cristal du « Pré-match »

La Question : Avant même que l'étudiant ne commence à écrire la réponse, son cerveau « sait-il » déjà s'il va réussir ou échouer au problème ?

L'Analogie : Imaginez que vous êtes sur le point de passer un test de mathématiques. Vous n'avez pas encore écrit un seul chiffre. Les chercheurs ont observé l'activité cérébrale de l'étudiant à l'instant précis où il a fini de lire la question. Ils ont demandé : « Pouvons-nous prédire une note de passage simplement en regardant comment le cerveau bourdonne en ce moment même ? »

Le Résultat : Oui.
Ils ont construit un « détecteur » simple (une sonde linéaire) qui observait l'état final du cerveau après la lecture de l'invite (le prompt). Il était incroyablement précis (environ 93 % de précision) pour prédire si le code réussirait les tests.

Le Rebondissement : Ils craignaient que le détecteur ne triche en remarquant que les problèmes plus difficiles ont des questions plus longues. Ils ont donc « soustrait » l'effet de la longueur de la question des données cérébrales. Même après avoir supprimé l'indice de la « longueur », le détecteur fonctionnait toujours bien (tombant légèrement à 91 % de précision, mais restant bien meilleur qu'un choix aléatoire).
La Leçon : Le cerveau du modèle contient un signal clair indiquant s'il peut résoudre le problème avant même d'essayer de générer la solution.

2. La direction du « Réparateur »

La Question : Lorsque l'étudiant échoue à un problème et essaie de le corriger, son cerveau change-t-il dans une direction spécifique et cohérente qui signale « Je suis sur le point de réussir » ?

L'Analogie : Imaginez que l'étudiant se trompe à une question. Il reçoit un indice (le message d'erreur) et réessaie. Les chercheurs ont observé la différence entre l'état cérébral de la tentative ratée et l'état cérébral de la tentative de réparation. Ils ont demandé : « Existe-t-il une « flèche » ou une direction spécifique dans l'activité cérébrale qui pointe vers une correction réussie ? »

Le Résultat : C'est complexe.

Premier Regard : À première vue, oui ! Il y avait une « flèche » claire dans les données cérébrales. Lorsque le modèle réussissait à corriger un bug, le cerveau se déplaçait dans une direction spécifique. Lorsqu'il échouait à corriger, le cerveau se déplaçait différemment. Cela ressemblait à une « signature de succès ».
Second Regard (Le Test de Réalité) : Les chercheurs se sont ensuite demandé : « Attendez un instant. Cette « flèche » est-elle réellement due à la compréhension de la correction par le modèle, ou réagit-elle simplement aux circonstances de la correction ? »
- Ils ont remarqué que les corrections réussies arrivaient souvent lorsque l'erreur originale était d'un type spécifique (comme une erreur d'exécution/runtime) ou lorsque le code était plus court.
- Lorsqu'ils ont mathématiquement « soustrait » ces circonstances externes (le contexte) des données cérébrales, la « flèche de succès » a disparu.
La Leçon : Le cerveau n'avait pas de signal spécial de type « Je comprends la correction ». Au lieu de cela, le cerveau réagissait simplement au contexte de la réparation (ex : « Oh, c'est un code court avec une erreur d'exécution, je sais comment gérer cela »). La « direction de succès » n'était qu'un effet secondaire de la situation, et non une compréhension interne profonde.

3. L'outil « Gomme Magique »

Le document introduit une méthode appelée Résidualisation. Voyez cela comme une « Gomme Magique » pour les données.

Comment ça marche : Si vous pensez qu'un signal (comme « Je connais la réponse ») est réel, mais que vous soupçonnez qu'il est en fait causé par autre chose (comme « la question était courte »), vous utilisez la Gomme Magique pour effacer la partie « question courte ».
Le Résultat :
- Lorsqu'ils ont utilisé la gomme sur le signal du Pré-match, le signal est resté fort. (Il était réel).
- Lorsqu'ils ont utilisé la gomme sur le signal du Réparateur, le signal a disparu. (C'était une illusion causée par le contexte).

Résumé

Le document nous enseigne deux leçons principales sur la façon dont ces modèles d'IA réfléchissent :

Ils savent avant de parler : Le cerveau du modèle détient une carte claire de sa capacité à réussir ou à échouer dès l'instant où il finit de lire les instructions.
Ne faites pas confiance aveuglément au signal de « Réparation » : Lorsque le modèle tente de réparer son propre code, les changements dans son cerveau ne sont pas nécessairement un signe d'« apprentissage » ou de « compréhension ». Souvent, ils ne sont que la réaction du modèle aux détails spécifiques du message d'erreur et de la longueur du code.

Les auteurs soulignent que leur contribution la plus importante n'est pas seulement les résultats, mais l'honnêteté de leur méthode. Ils ont utilisé le même outil de « Gomme Magique » pour prouver qu'une chose était réelle et une autre était une illusion, montrant que nous devons être prudents pour ne pas confondre le contexte d'un problème avec la compréhension interne du modèle.

Résumé technique : Signaux de correction de code dans les états cachés des LLM

Énoncé du problème

Ce travail étudie la lisibilité de la correction du code au sein des états cachés des modèles de langage de grande taille (LLM), en se concentrant spécifiquement sur le modèle Qwen3-4B-Instruct-2507. L'étude aborde deux questions temporelles distinctes concernant la génération de code sur 444 tâches LiveCodeBench :

Pré-génération : La correction du premier essai de code d'un modèle est-elle déjà décodable à partir de l'état caché au dernier jeton du prompt, avant que tout jeton de sortie ne soit généré ?
Géométrie de la réparation : Lorsqu'un modèle tente de réparer une génération de code échouée, le décalage (delta) dans son état caché entre la tentative échouée et la tentative de réparation porte-t-il une signature géométrique stable et isolable indiquant si la réparation réussira ?

L'étude s'inscrit dans le cadre de l'interprétabilité mécaniste, utilisant des sondes linéaires et l'analyse de direction contrastive pour déterminer si les représentations internes encodent des propriétés vérifiables telles que la correction du code ou le succès de la réparation.

Méthodologie

Modèle et données

Modèle : Qwen/Qwen3-4B-Instruct-2507 (transformeur de type décodeur seul à 36 couches, état caché de dimension 2560).
Jeu de données : 444 tâches LiveCodeBench (facile, moyen, difficile).
Matériel : Unité NVIDIA RTX 4050 unique (6 Go de VRAM).
Capture de données : Les états cachés sont extraits du dernier jeton du prompt lors d'une passe avant unique (avant la génération autorégressive) pour l'analyse de pré-génération. Pour l'analyse de réparation, les états cachés sont capturés pour la première tentative (tentative 0) et la tentative de réparation consécutive (tentative 1).

Technique centrale : Résidualisation

Le document emploie la résidualisation comme principal outil de contrôle des variables de confusion. Cela implique de :

Ajuster une régression par moindres carrés ordinaires (OLS) pour chaque dimension de l'état caché contre une covariable candidate (ex: longueur du prompt, caractéristiques du contexte de réparation).
Soustraire la prédiction ajustée des dimensions de l'état caché pour éliminer la contribution linéaire de cette covariable.
Réévaluer le signal (performance de la sonde ou direction géométrique) sur les données résidualisées.

Cette approche est utilisée pour distinguer les signaux qui sont intrinsèques à la représentation du modèle de ceux qui sont des artefacts de la structure de l'entrée ou des différences de contexte.

Pipelines expérimentaux

Sonde de pré-génération (Section 3) :
- Une sonde linéaire (StandardScaler $\to$ PCA $\to$ Régression Logistique) est entraînée pour prédire les étiquettes succès/échec à partir de l'état caché final du prompt.
- Sélection de la couche : Une validation croisée imbriquée (50 splits externes, CV interne à 5 plis) est utilisée pour sélectionner la couche optimale et la force de régularisation ( $C$ ) afin d'éviter la fuite de données (leakage) vers l'ensemble de test.
- Baselines : Comparaison avec les états cachés bruts, les états cachés résidualisés (suppression de la longueur du prompt) et une baseline de longueur de prompt uniquement.
Analyse de la direction de réparation (Section 4) :
- Construction du Delta : Pour les tâches où l'tentative 0 échoue et que l'tentative 1 existe, le delta de l'état caché est défini comme $\delta = h_{\text{tentative 1}} - h_{\text{tentative 0}}$ .
- Direction contrastive : Le vecteur $v = \text{moyenne}(\delta_{\text{succès}}) - \text{moyenne}(\delta_{\text{échec}})$ est calculé.
- Validation : Deux tests sont appliqués à $v$ $v$ :
  - Magnitude : Norme de $v$ comparée aux nulles par permutation des étiquettes (label-shuffled).
  - Inclinaison : Similitude cosinus split-half entre les directions récupérées à partir de deux moitiés des données.
- Vérification des covariables : Avant la résidualisation, des tests statistiques (test t de Welch, Chi-deux) vérifient si les covariables diffèrent entre les groupes succès et échec. La résidualisation n'est appliquée qu'aux covariables présentant des différences significatives entre les groupes.
- Covariables : $\Delta$ tokens_prompt, longueur_code_tentative_0, et type_d_échec.

Résultats clés

1. La correction de pré-génération est linéairement décodable

Signal brut : Une sonde linéaire entraînée sur l'état caché final du prompt (Couche 29 sélectionnée via CV imbriquée) atteint un AUC de 0,931 ± 0,008 sans fuite de données sur 50 splits aléatoires.
Robustesse à la longueur du prompt : Après résidualisation des dimensions de l'état caché par rapport à la longueur du prompt, la performance de la sonde reste élevée à 0,911 ± 0,010.
Comparaison avec la baseline : Une baseline de longueur de prompt uniquement atteint un AUC de 0,754 ± 0,014. Les modèles non linéaires (Random Forest, Gradient Boosting, MLP) entraînés sur la seule longueur de prompt ne dépassent pas cette baseline.
Conclusion : L'état caché contient un signal de correction qui est robuste et non réductible à la longueur du prompt, existant avant qu'un seul jeton de sortie ne soit généré.

2. La direction de réparation est un corrélat contextuel, pas une caractéristique isolée

Signal brut : Dans les deltas bruts (236 transitions propres : 128 succès, 108 échecs), une direction contrastive existe. Elle passe les tests de magnitude ( $p < 0,001$ ) et de similitude cosinus split-half ( $p < 0,001$ ) contre les nulles par permutation des étiquettes.
Déséquilibre des covariables : Les tests statistiques révèlent que les groupes succès et échec diffèrent significativement en termes de $\Delta$ tokens_prompt, de longueur initiale du code et de distribution du type d'échec ( $p < 0,001$ pour tous).
Effet de la résidualisation : Lorsque les deltas sont résidualisés par rapport à ces trois covariables :
- La magnitude de la direction chute de 9,76 à 3,72 (38 % de l'original).
- La similitude cosinus split-half chute de 0,767 à 0,140.
- Ni le test de magnitude ( $p=0,126$ ), ni le test split-half ( $p=0,942$ ) ne restent statistiquement significatifs.
Conclusion : La direction géométrique observée dans les deltas bruts est un corrélat du succès de la réparation piloté par la structure du contexte de réparation (ex: le message d'erreur spécifique et les différences de longueur de code) plutôt qu'une caractéristique isolée de "compréhension de la réparation" dans l'espace d'activation.

3. Limites sur les réparations multi-étapes

L'étude constate que le taux de réussite s'effondre brutalement après la première tentative de réparation (Tentative 1 : 36,4 %, Tentative 2 : 6,7 %).
Les données pour les transitions au-delà de $0 \to 1$ (ex: $1 \to 2$ ) sont trop rares (seulement 13 succès pour $1 \to 2$ ) pour permettre une analyse de direction contrastive significative.

Contributions et importance

Le document affirme que sa contribution est autant méthodologique qu'empirique :

Honnêteté diagnostique : L'étude démontre l'utilité d'une procédure unique de contrôle des biais (résidualisation) dans deux directions opposées.
- Dans le cas de la pré-génération, la résidualisation confirme la thèse en montrant que le signal survit à la suppression d'un biais majeur (longueur du prompt).
- Dans le cas de la réparation, la même procédure infirme l'interprétation initiale en montrant que le signal s'effondre lorsque les covariables de contexte sont supprimées.
Rigueur méthodologique : Le travail souligne la nécessité de vérifier les distributions des covariables avant la résidualisation. Il soutient que résidualiser contre des covariables ayant des moyennes de groupe égales est inutile et potentiellement trompeur, tandis que résidualiser contre des covariables ayant des moyennes différentes est essentiel pour isoler les caractéristiques latentes.
Résultats empiriques :
- Confirme que la correction du code est lisible dans l'état caché avant que la génération ne commence.
- Réfute l'hypothèse selon laquelle une direction géométrique stable et isolée pour le "succès de la réparation" existe dans les décalages de l'état caché brut, attribuant le signal observé à la différence des contextes de réparation.

L'article conclut que bien que les LLM encodent des informations riches sur la correction du code, l'interprétation des décalages géométriques dans les états cachés nécessite un désenchevêtrement prudent du contexte d'entrée, car les "caractéristiques" apparentes peuvent simplement être des reflets de la structure du prompt.