💻 computer science

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

Ce papier présente OSCToM, une approche guidée par l'apprentissage par renforcement qui génère des scénarios de conflit observateur-soi pour améliorer considérablement le raisonnement de la théorie de l'esprit des grands modèles de langage, atteignant une précision de 76 % sur le benchmark FANToM à information asymétrique, contre 0,2 % pour les méthodes précédentes.

Auteurs originaux : Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une pièce de théâtre complexe où les acteurs chuchotent des secrets, cachent des objets et font semblant de savoir des choses qu'ils ignorent. La plupart des modèles d'IA actuels sont comme des spectateurs capables de réciter les répliques parfaitement, mais qui se perdent lorsque l'intrigue tourne. Ils pourraient penser : « Oh, l'acteur tient une balle rouge », alors qu'en réalité, l'acteur fait semblant de tenir une balle rouge pour tromper quelqu'un d'autre.

Ce article présente OSCToM, une nouvelle méthode pour enseigner à l'IA comment comprendre ces jeux d'esprit délicats. Voici le détail de son fonctionnement, à l'aide d'analogies simples.

Le Problème : Le Fossé de la « Lecture de Pensées »

Les modèles d'IA actuels sont excellents pour écrire des histoires, mais ils peinent avec la Théorie de l'Esprit. Il s'agit de la capacité humaine à comprendre que les autres personnes ont des pensées, des croyances et des connaissances différentes des nôtres.

Pensez-y comme à un jeu de « Téléphone ». Si je vous dis un secret, et que vous racontez un mensonge à une troisième personne, une IA intelligente devrait savoir :

Ce qui est réellement vrai.
Ce que vous pensez être vrai.
Ce que la troisième personne pense être vrai (même si elle a tort).

Les anciens tests pour l'IA ressemblaient à de simples énigmes. L'IA pouvait deviner la réponse en repérant des motifs dans les mots. Mais lorsque les histoires devenaient complexes — par exemple, lorsqu'un observateur tente de déterminer ce que l'autre personne pense d'un secret appartenant à une troisième personne — l'IA se perdait.

La Solution : OSCToM (L'Entraîneur de « Conflit »)

Les auteurs ont créé un système appelé OSCToM (Théorie de l'Esprit du Conflit Observateur-Soi). L'idée centrale est d'entraîner l'IA sur des histoires où la croyance interne d'un observateur entre en conflit avec ce qu'il pense que quelqu'un d'autre croit.

L'Analogie : Imaginez un film d'espionnage. L'espion (l'observateur) sait que le coffre-fort est vide. Mais l'espion sait aussi que le méchant pense que le coffre-fort est rempli d'or. L'espion doit agir comme si le coffre-fort était plein pour tromper le méchant. OSCToM entraîne l'IA à gérer ce type spécifique de jonglage mental.

Comment ils l'ont construit : L'Approche « Jeu Vidéo »

Au lieu d'écrire des milliers d'histoires à la main, l'équipe a construit un « moteur de jeu » pour les générer automatiquement.

Le Livre de Règles (DSL Étendu) : Ils ont créé un langage spécial qui agit comme un livre de règles pour un jeu. Il leur permet de programmer des « coups » spécifiques comme la Localisation Déceptive (mentir sur l'endroit où se trouve un objet) ou les Miroirs Unilatéraux (une personne voit quelque chose que l'autre ne voit pas). Cela leur permet de construire des histoires comportant jusqu'à quatre niveaux de « réflexion sur la réflexion ».
L'Entraîneur (Modèles de Remplacement) : Entraîner une IA à écrire ces histoires nécessite généralement un superordinateur pour noter chaque phrase, ce qui est lent et coûteux. À la place, l'équipe a entraîné six « mini-entraîneurs » rapides et compacts (de petits modèles d'IA). Ces entraîneurs vérifient rapidement les histoires pour voir : Y a-t-il un mensonge ? La réflexion est-elle assez profonde ? La chronologie est-elle confuse ? Cela a rendu le processus 6 fois plus rapide.
Le Joueur (Apprentissage par Renforcement) : Ils ont utilisé une IA « joueuse » (utilisant une méthode appelée DQN) qui joue le jeu encore et encore. Elle tente de créer l'histoire la plus confuse et la plus piégeuse possible pour tromper un modèle de test. Les « mini-entraîneurs » lui donnent des points pour rendre l'histoire plus difficile. Le joueur apprend à créer les scénarios « dérangeants » parfaits.
L'Élève (Entraînement en Deux Étapes) : Enfin, ils ont pris un modèle d'IA standard (Llama-3.1-8B) et l'ont entraîné à l'aide de ces histoires piégeuses. Ils ne lui ont pas immédiatement lancé les histoires les plus difficiles.
- Étape 1 : Ils lui ont appris des mensonges simples et des croyances de base (comme un enfant apprenant à partager).
- Étape 2 : Une fois qu'il a maîtrisé les bases, ils ont introduit les histoires d'espionnage complexes et à multiples niveaux.

Les Résultats : Petit mais Puissant

Le résultat est un modèle appelé OSCToM-8B. Bien qu'il soit plus petit que de nombreux autres modèles d'IA célèbres, il a performé de manière incroyable :

Le Test FANToM : Sur un test difficile impliquant une asymétrie d'information (où les personnages savent des choses différentes), la meilleure méthode précédente (ExploreToM) a obtenu 0,2 % de bonnes réponses. OSCToM-8B a obtenu 76 % de bonnes réponses. C'est un bond massif.
Vitesse : L'ancienne méthode ressemblait à la résolution d'un puzzle en essayant chaque pièce une par une (lent). OSCToM-8B ressemble à regarder l'image sur la boîte et à résoudre le puzzle instantanément. Il est 5,7 fois plus rapide pour répondre aux questions.
Efficacité : Il a obtenu ces résultats avec moins de ressources informatiques (paramètres) que des modèles 3 à 4 fois plus grands.

La Conclusion

L'article affirme qu'en enseignant à l'IA comment gérer les « Conflits Observateur-Soi » (où ce que vous savez entre en conflit avec ce que vous pensez que les autres savent) à l'aide d'un jeu d'entraînement automatisé et intelligent, nous pouvons créer des modèles d'IA plus petits et plus rapides, beaucoup meilleurs pour comprendre les situations sociales complexes et la tromperie.

Ce qu'il ne prétend pas : L'article ne dit pas que cette IA peut désormais être utilisée en thérapie, pour détecter les mensonges dans la sécurité en temps réel, ou pour comprendre les émotions humaines comme l'amour ou le chagrin. Il se concentre strictement sur la logique des croyances, des connaissances et de la tromperie dans des scénarios basés sur le texte.

Résumé Technique : OSCTOM – Génération Adversariale Guidée par RL pour une Théorie de l'Esprit d'Ordre Supérieur

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) démontrent une compétence dans les tâches linguistiques standards, mais affichent des performances incohérentes dans le raisonnement de Théorie de l'Esprit (ToM), en particulier au sein de contextes sociaux complexes impliquant des croyances récursives et une asymétrie d'information. Les benchmarks existants, tels qu'ExploreToM, échouent souvent à tester adéquatement le Conflit Observateur-Moi – un état cognitif spécifique où un observateur attribue une croyance à un autre agent qui contredit la connaissance factuelle interne de l'observateur lui-même.

Les limitations actuelles incluent :

Benchmarks Statiques : Les premiers jeux de données (par exemple, ToMi) reposent sur des vignettes manuscrites que les modèles peuvent résoudre par correspondance de motifs de surface plutôt que par un suivi réel des croyances.
Limites de la Génération Basée sur la Recherche : Des cadres comme ExploreToM utilisent une recherche heuristique A* avec des Langages Spécifiques au Domaine (DSL). Bien qu'efficaces pour générer des histoires adversariales, ces méthodes sont contraintes par des espaces de recherche rigides, manquent d'adaptation de la politique à partir de l'expérience, et privilégient souvent le volume informationnel plutôt que la complexité structurelle spécifique des conflits de croyances imbriqués.
Lacunes de Raisonnement : Les modèles échouent souvent lorsque les structures de tâches changent légèrement, indiquant un manque de modèles internes stables pour les états de croyance causaux, en particulier dans les scénarios multi-couches et récursifs (par exemple, l'agent A raisonnant sur la croyance de l'agent B concernant l'intention de l'agent C).

2. Méthodologie

Le cadre OSCToM comble ces lacunes grâce à un pipeline à quatre composants conçu pour générer et entraîner sur des scénarios adversariaux ToM d'ordre supérieur.

2.1 Langage Spécifique au Domaine Étendu (OSCT-DSL)

Les auteurs introduisent OSCT-DSL, une extension des DSL existants capable de formaliser le Conflit Observateur-Moi.

Formalisme : Il définit les états du monde ( $W$ ) et les états de croyance ( $B$ ) pour les agents, prenant en charge les croyances récursives jusqu'au 4ème ordre : $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$ .
Primitives Adversariales : Le langage inclut des opérateurs spécifiques pour briser la symétrie informationnelle :
- Localisation Trompeuse : Un agent ment sur sa localisation, créant une fausse croyance chez un autre tout en maintenant une connaissance interne vraie.
- Observation Asymétrique : Un agent assiste à une action sans que la partie observée ne gagne une connaissance réciproque.
- Tromperie Récursive (Double Bluff) : Un agent manipule un autre pour qu'il mente à un tiers, superposant des croyances de 3ème ordre sur des faussetés de 1er ordre.

2.2 Pipeline d'Évaluation par Surrogat Compositionnel

Pour surmonter le coût computationnel de l'utilisation de grands LLM pour le calcul de récompense lors de l'Apprentissage par Renforcement (RL), les auteurs emploient un Pipeline par Surrogat Compositionnel.

Distillation : La connaissance de Llama-3.3-70B est distillée dans six modules légers DistilBERT entraînés sur 10 000 histoires annotées.
Six Dimensions Cognitives : La récompense est décomposée en scores spécifiques plutôt qu'en un scalaire unique :
1. Détecteur de Fausse Croyance : Vérification binaire de validité (doit exister pour la ToM).
2. Classificateur de Profondeur ToM : Estime l'ordre récursif (1er–4ème).
3. Scoreur de Tromperie : Densité des opérateurs manipulateurs.
4. Scoreur de Complexité Sociale : Fréquence de la communication inter-agents.
5. Scoreur de Complexité Temporelle : Nombre de transitions distinctes d'états du monde.
6. Détecteur OSCT : Identifie spécifiquement les états de Conflit Observateur-Moi (poids de récompense le plus élevé).
Efficacité : Cela réduit le temps d'évaluation par histoire de ~14 secondes (requête LLM) à <50 millisecondes, permettant la synthèse d'un corpus de 15 000 échantillons.

2.3 Génération Adversariale Guidée par RL

Le processus de génération d'histoires est modélisé comme un Processus de Décision Markovien (MDP).

Sélection de l'Algorithme : Les auteurs ont comparé A2C, PPO et les Réseaux de Deep Q (DQN). Le DQN a été sélectionné pour sa stabilité supérieure dans l'apprentissage des transitions symboliques discrètes au sein de l'espace d'état DSL et sa capacité à trouver des cas d'échec ToM que la recherche heuristique pourrait manquer.
Entraînement : L'agent DQN optimise une fonction de récompense composite ( $R$ ) fortement pondérée vers la détection OSCT (40 %) et la profondeur ToM (30 %).
Amélioration Narrative : Les traces symboliques DSL générées par l'agent RL sont converties en prose naturelle utilisant Llama-3.3-70B via l'API OpenRouter, préservant les marqueurs cognitifs tels que les chaînes de tromperie et l'ordonnancement temporel non linéaire.

2.4 Affinage par Curriculum en Deux Étapes

Le jeu de données généré est utilisé pour affiner Llama-3.1-8B-Instruct en utilisant un curriculum échelonné pour assurer un apprentissage stable du raisonnement d'ordre supérieur :

Étape 1 (Fondation) : Entraînement sur des scénarios ToM de 1er et 2ème ordre pour ancrer le modèle dans la prise de perspective de base.
Étape 2 (Maîtrise) : Entraînement sur le corpus complet, incluant les conflits récursifs de 3ème et 4ème ordre, initialisé à partir du point de contrôle de l'Étape 1.
Technique : Affinage Économe en Paramètres (PEFT) via LoRA (rang 16, facteur d'échelle 32) sur toutes les couches de projection, permettant l'entraînement sur un seul GPU.

3. Résultats Clés

Le modèle résultant, OSCToM-8B, a été évalué contre sept systèmes de référence (incluant Llama-3.1-8B, Mistral-NeMo-12B, Phi-3-Medium-14B, et des variantes Qwen2.5) sur quatre benchmarks.

Benchmark FANToM (Asymétrie d'Information) : OSCToM-8B a atteint une précision de 76,0 %. Cela représente une amélioration massive par rapport à la référence ExploreToM, qui rapportait une précision de 0,2 % sur le même benchmark.
Benchmark ToMi : OSCToM-8B a atteint une précision de 79,5 %, surpassant le Llama-3.1-8B de base (64,3 %) et des modèles plus grands comme Qwen2.5-32B (74,7 %).
Benchmark BigToM : Le modèle a atteint 89,8 % de précision, correspondant étroitement à Mistral-NeMo-12B (90,5 %) malgré 4 milliards de paramètres de moins.
Benchmark Hi-ToM : OSCToM-8B a obtenu 65,3 %, égalant Phi-3-Medium-14B et surpassant significativement Gemma-2-27B (20,6 %).

Efficacité d'Inférence :

Contrairement à ExploreToM, qui repose sur une recherche A* itérative avec une complexité $O(N)$ et une latence d'environ 15,0 s par requête, OSCToM-8B utilise une inférence neuronale directe (complexité $O(1)$ ).
La latence mesurée est de 2,62 secondes, soit une réduction de 5,7 fois du temps de réponse tout en maintenant une précision supérieure.

4. Signification et Revendications

L'article revendique qu'OSCToM démontre que la synthèse de données adversariales ciblée combinée à l'apprentissage par curriculum peut permettre à des modèles plus petits (8 milliards de paramètres) de surpasser des modèles significativement plus grands sur des tâches complexes de raisonnement social.

Conflit Observateur-Moi : Le travail identifie et aborde un mode de défaillance spécifique dans l'évaluation actuelle de la ToM : l'incapacité à distinguer entre la connaissance interne d'un observateur et son attribution de croyances à autrui.
Efficacité vs Échelle : Le cadre prouve que les capacités de raisonnement d'ordre supérieur ne nécessitent pas strictement des comptes de paramètres massifs si les données d'entraînement sont structurées pour cibler explicitement les conflits de croyances récursifs.
Praticité : En remplaçant la recherche heuristique par une génération guidée par RL et une évaluation par surrogat, le système réalise un gain d'efficacité de 6 fois dans la synthèse de données et une amélioration de 5,7 fois de la vitesse d'inférence, rendant le raisonnement ToM d'ordre supérieur pratiquement déployable.

Les auteurs concluent que, bien que le DSL actuel se concentre sur les conflits locatifs et trompeurs, le cadre fournit une voie principielle vers une intelligence sociale plus généralisable dans les LLM, suggérant que le « fossé de raisonnement » peut être comblé par un entraînement adversarial structuré plutôt que par une simple augmentation de la taille du modèle.