💬 NLP

CoSToM:Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models

Le papier présente CoSToM, un cadre d'alignement qui améliore le raisonnement social intrinsèque des grands modèles de langage en utilisant le traçage causal pour identifier les couches critiques de la théorie de l'esprit et en appliquant un guidage ciblé des activations pour aligner le comportement externe sur les connaissances internes.

Auteurs originaux : Mengfan Li, Xuanhua Shi, Yang Deng

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mengfan Li, Xuanhua Shi, Yang Deng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'Acteur qui oublie son rôle

Imaginez un grand acteur de cinéma (c'est le Modèle de Langage, ou IA) qui est très doué pour réciter des textes. Si vous lui demandez : "Que pense ce personnage ?", il peut vous donner une réponse brillante et précise. Il a l'air de comprendre les sentiments des autres (ce qu'on appelle la Théorie de l'Esprit).

Mais voici le piège : dès qu'on lui demande de jouer la scène dans une vraie conversation (comme une négociation ou une persuasion), il oublie tout ce qu'il vient de dire. Il commence à proposer des choses absurdes, comme offrir de l'eau à quelqu'un qui a froid, alors qu'il savait parfaitement que cette personne avait froid !

Le problème : L'IA a la connaissance "cachée" dans sa tête, mais elle ne sait pas l'utiliser pour agir correctement. C'est comme un chef cuisinier qui connaît parfaitement la recette du gâteau par cœur, mais qui, une fois dans la cuisine, oublie de mettre les œufs.

🔍 La Solution : COSTOM (Le "Costume" de l'IA)

Les chercheurs ont créé une méthode appelée COSTOM. Le nom est un jeu de mots avec le mot anglais "Costume" (déguisement). L'idée est de donner à l'IA un "costume" spécial pour l'aider à rester dans son rôle d'acteur social intelligent.

Voici comment ça marche, en trois étapes simples :

1. La Radiographie (Où est la connaissance ?)

D'abord, les chercheurs ont voulu savoir : "Où est stockée cette intelligence sociale dans le cerveau de l'IA ?"
Ils ont utilisé une technique appelée "traçage causal" (comme une radiographie).

La découverte surprenante : Ils s'attendaient à trouver ces pensées complexes dans les couches profondes du cerveau de l'IA (comme le cerveau humain).
La réalité : Ils ont découvert que l'IA stocke ces informations sur les sentiments et les désirs des autres tout en haut, dans les toutes premières couches, presque juste après avoir lu le texte. C'est comme si l'IA avait une "mémoire immédiate" des sentiments, mais qu'elle l'oubliait dès qu'elle commençait à réfléchir plus loin.

2. Le Guide de Réalité (L'intervention)

Une fois qu'ils ont trouvé où se cachait cette information, ils ont décidé de ne pas réécrire tout le cerveau de l'IA (ce qui serait trop long et risqué). Au lieu de cela, ils ont mis en place un guide.

Imaginez que vous apprenez à quelqu'un à conduire. Au lieu de changer le moteur de la voiture, vous lui mettez un petit guide sur le volant qui lui dit : "N'oublie pas de regarder le rétroviseur !"
COSTOM fait la même chose : il "pousse" doucement les premières couches de l'IA pour qu'elles se souviennent constamment des sentiments des autres (ce qu'on veut, ce qu'on croit, ce qu'on veut faire). Il utilise un système de rétroaction (un "pont de gradients") qui dit à l'IA : "Hé, tu as oublié ce que l'autre personne voulait, corrige-toi tout de suite !"

3. Le Résultat : Une conversation naturelle

Grâce à ce petit "guide" interne, l'IA ne change pas sa personnalité, mais elle devient beaucoup plus cohérente.

Avant COSTOM : L'IA dit : "Je sais que tu as froid, mais tiens, voici de l'eau." (Incohérent).
Après COSTOM : L'IA dit : "Je sais que tu as froid, alors je te propose du bois pour le feu." (Parfaitement adapté).

💡 Pourquoi c'est génial ?

C'est léger : On n'a pas besoin de réapprendre tout le cerveau de l'IA. On ne touche qu'à une toute petite partie (les premières couches). C'est comme ajuster un bouton de volume plutôt que de changer toute la chaîne hi-fi.
C'est universel : Cela fonctionne aussi bien pour négocier un prix, persuader quelqu'un de changer d'avis, ou simplement avoir une conversation empathique.
C'est stable : L'IA ne perd plus son fil. Elle garde ses "bonnes intentions" tout au long de la conversation, même si la discussion devient longue.

En résumé

COSTOM, c'est comme donner à une IA un super-pouvoir de mémoire sociale. Au lieu de lui apprendre à nouveau comment les humains fonctionnent, on lui montre simplement où elle garde déjà ces informations et on l'aide à ne pas les oublier quand elle parle. Le résultat ? Une IA qui ne se contente pas de savoir ce que vous ressentez, mais qui agit en conséquence, comme un véritable ami intelligent.

1. Problématique et Contexte

La Théorie de l'Esprit (ToM) désigne la capacité à attribuer des états mentaux (croyances, désirs, intentions) à autrui, une compétence fondamentale de l'intelligence sociale humaine. Bien que les Grands Modèles de Langage (LLM) montrent des performances prometteuses sur des benchmarks standards de ToM, les auteurs observent un décalage critique :

Manque de généralisation : Les modèles échouent souvent à appliquer ces inférences dans des scénarios complexes et spécifiques (ex: négociation, persuasion) sans un étayage explicite par le prompt (scaffolding).
Incohérence interne/externe : Un modèle peut répondre correctement à une question sur l'état mental d'un agent, mais échouer à utiliser cette information pour générer une réponse comportementale cohérente dans un dialogue.
Simulation ad hoc : Les comportements ressemblant à la ToM semblent souvent être des simulations déclenchées par l'instruction plutôt que le reflet d'une cognition intrinsèque stable.

L'objectif de l'article est de déterminer si les LLM possèdent une cognition ToM intrinsèque, d'identifier où elle réside dans l'architecture du modèle, et de proposer un moyen de l'aligner activement pour améliorer les comportements sociaux.

2. Méthodologie : Le Framework COSTOM

Les auteurs proposent COSTOM (Causal-oriented Steering for ToM alignment), un cadre qui passe de l'interprétation mécaniste à l'intervention active. Le processus se déroule en trois étapes principales :

A. Interprétation : Localisation par Traçage Causal (Causal Tracing)

Pour répondre à la question "Où l'information ToM émerge-t-elle ?", les auteurs utilisent le traçage causal :

Protocole : Un encodeur de contexte traite l'historique du dialogue. Les activations cachées ( $h_\ell$ ) d'une couche spécifique $\ell$ sont extraites et injectées ("patchées") dans un décodeur probe (froid).
Objectif : Le décodeur tente de reconstruire les états mentaux (Croyance, Désir, Intention - BDI) uniquement à partir de ces activations.
Résultat clé de l'analyse : Contrairement à l'hypothèse selon laquelle le raisonnement complexe réside dans les couches profondes, les auteurs découvrent que les représentations ToM sont prédominamment encodées dans les couches initiales (shallow layers) du modèle (ex: couches 0 à 3). De plus, la complexité sémantique influence la profondeur : les croyances sont plus précoces, tandis que les intentions nécessitent des couches légèrement plus profondes.

B. Intervention : Pilotage par Alignement d'Activations

Une fois les couches critiques identifiées, COSTOM intervient pour aligner le modèle :

Objectif de Pilotage : Utiliser le décodeur probe comme un vérificateur différentiable pour guider les activations de l'encodeur vers des états mentaux corrects.
Mécanisme de Pont de Gradient (Gradient Bridge) :
- Une perte d'entropie croisée est calculée entre la prédiction du décodeur (basée sur les activations injectées) et les étiquettes de vérité terrain (BDI).
- Cette perte est rétropropagée à travers le décodeur, traverse l'interface d'activation injectée, et remonte vers les couches précédentes de l'encodeur.
- Contrainte : Seules les couches en amont de l'interface (les couches ToM-critiques) sont mises à jour via des adaptateurs LoRA (Low-Rank Adaptation). Les couches profondes restent figées.
Efficacité : Cette approche permet un ajustement ciblé avec un nombre minimal de paramètres entraînables, évitant le surapprentissage et préservant les connaissances générales du modèle.

C. Application : Génération de Dialogue Améliorée

En phase d'inférence, l'encodeur ajusté (enrichi en ToM) est utilisé pour générer des réponses :

Les activations internes, désormais alignées sur les états mentaux, sont transmises au décodeur.
Le décodeur reçoit des instructions de tâche (ex: "négocier") et génère une réponse qui intègre naturellement le raisonnement social, sans avoir besoin d'expliciter les états mentaux dans le texte.

3. Contributions Clés

Interprétation ToM Systématique : Première démonstration empirique que les représentations ToM dans les LLM sont localisées principalement dans les couches initiales, et non dans les couches profondes comme on le pensait souvent pour le raisonnement complexe.
Intervention Légère et Efficace : Introduction de COSTOM, un framework d'alignement qui utilise le pilotage d'activations (activation steering) sur un sous-ensemble de paramètres (LoRA dans les couches critiques). C'est un module "plug-and-play" qui ne nécessite pas de réentraînement complet.
Amélioration des Tâches de Dialogue : Démonstration que l'alignement interne se traduit directement par une amélioration de la qualité des interactions sociales (négociation, persuasion), comblant le fossé entre l'inférence ToM et le comportement aligné.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles Llama-3-8B et Qwen2.5-7B avec les benchmarks NEGOTIATIONTOM et PERSUASIVETOM.

Analyse de Localisation (RQ1) : Le traçage causal confirme que la "zone sensible ToM" se situe dans les couches 0-3. La décodabilité des états mentaux chute rapidement dans les couches profondes des modèles de base (effondrement de la représentation), mais reste stable après l'intervention COSTOM.
Efficacité du Pilotage (RQ2) :
- Stabilité : COSTOM empêche l'effondrement des représentations ToM dans les couches profondes, maintenant une fidélité élevée tout au long du processus de génération.
- Amplification : Le modèle ajuste les signaux faibles. Par exemple, la précision de détection des désirs passe de ~51% à ~99% sur certaines couches après ajustement.
Qualité de Génération (RQ3) :
- Performance : COSTOM surpasse significativement les méthodes de base (Zero-shot, MindDial prompté) et les méthodes de fine-tuning global (Full-Layer LoRA).
- Comparaison : Sur le jeu de données Negotiation, COSTOM améliore le score de raisonnement ToM de 0,081 (base) à 0,499, soit une amélioration d'environ 6x par rapport au modèle de base, et dépasse le fine-tuning global (0,245).
- Analyse Qualitative : Les réponses générées sont plus cohérentes, empathiques et stratégiquement efficaces, évitant les erreurs de raisonnement comme la confusion d'identité ou la dérive sémantique.

5. Signification et Conclusion

L'article COSTOM apporte une contribution majeure à la compréhension et à l'amélioration des capacités sociales des LLM :

Changement de paradigme : Il démontre que le raisonnement social n'est pas une fonction globale du modèle, mais une fonction cognitive localisée dans les couches basses, ce qui rend son intervention ciblée très efficace.
Alignement Intrinsèque : Contrairement aux méthodes basées sur le prompting qui simulent la ToM, COSTOM modifie la représentation latente du modèle pour qu'elle encode véritablement les états mentaux, rendant le comportement social plus robuste et moins dépendant des instructions explicites.
Limites : La méthode nécessite l'accès aux poids et aux activations internes du modèle (modèles open-weights), ce qui la rend inapplicable aux modèles fermés (API). De plus, la généralisation à des contextes sociaux très larges au-delà de la négociation et de la persuasion reste à explorer.

En résumé, COSTOM prouve qu'il est possible de "débloquer" et d'aligner la cognition sociale intrinsèque des LLM par une intervention mécaniste précise, transformant des modèles qui "simulent" la ToM en agents capables de raisonner socialement de manière stable.