Résumé Technique : Des raccourcis au raisonnement : Post-entraînement robuste de la Théorie de l'Esprit avec l'Apprentissage par Renforcement

1. Énoncé du problème

La Théorie de l'Esprit (ToM — Theory of Mind) — la capacité à inférer des états mentaux latents tels que les croyances, les désirs et les intentions — est cruciale pour que les systèmes d'IA interagissent de manière sûre et efficace dans le monde réel. Bien que des efforts récents de post-entraînement aient tenté d'améliorer la ToM dans les modèles de fondation, cet article identifie un problème persistant de « raccourci » qui entrave les progrès. De nombreux jeux de données de ToM populaires (par exemple, Hi-ToM, FANToM) permettent aux modèles d'atteindre une précision élevée (jusqu'à 99 %) en exploitant des corrélations causales spécieuses ou des heuristiques procédurales (par exemple, supposer que l'emplacement final de l'objet est la réponse, quel que soit l'événement intermédiaire), plutôt qu'en engageant un véritable raisonnement sur les états mentaux.

Les auteurs soutiennent que l'entraînement sur de tels jeux de données sujets aux raccourcis entraîne :

1. Un faux sentiment de ToM : Les modèles semblent compétents mais échouent à produire des traces de raisonnement logiquement cohérentes.
2. Des benchmarks trompeurs : Les scores de précision élevés masquent la véritable efficacité des différentes stratégies d'entraînement, incitant les praticiens à choisir des méthodes sous-optimales (par exemple, préférer le réglage fin supervisé [SFT] à l'apprentissage par renforcement [RL]).
3. Une faible généralisation : Les modèles entraînés sur des raccourcis échouent à se généraliser aux scénarios hors distribution (OOD), au raisonnement d'ordre supérieur ou aux modifications contrefactuelles.

2. Méthodologie

2.1. Cadre d'audit des jeux de données

Pour remédier au problème des raccourcis, les auteurs proposent un cadre d'audit léger pour évaluer les jeux de données de ToM avant l'entraînement. Ce cadre se compose de deux composants :

• Découverte de règles guidée par LLM/Agent : Un LLM gelé est sollicité pour énumérer des règles de raccourcis candidates (par exemple, « dernier emplacement vu », « premier agent mentionné », « longueur de l'option »). Ces règles sont évaluées comme des heuristiques zero-shot. Si une heuristique atteint une précision significativement supérieure à une ligne de base aléatoire ou majoritaire (seuil par défaut $\delta_{abs}=0,2$), le jeu de données est marqué comme sujet aux raccourcis.
• Score d'association lexicale : Un score d'information mutuelle ($S_{lex}$) est calculé pour détecter les corrélations spécieuses entre les caractéristiques de surface (par exemple, chevauchement contexte-option, longueur de l'option) et les étiquettes de vérité terrain. Les jeux de données avec $S_{lex} \ge 0,15$ sont considérés comme sujets aux raccourcis.

En utilisant ce cadre, les auteurs ont audité huit benchmarks populaires et en ont identifié quatre comme exempts de raccourcis : OpenToM (narratif), ToMATO (conversationnel), MMToM, et MuMA-ToM (multimodal). Ces quatre ont été utilisés pour l'étude de post-entraînement subséquente.

2.2. Stratégies de post-entraînement

L'étude compare trois approches de post-entraînement sur les jeux de données sans raccourcis :

1. Réglage fin supervisé (SFT) : Ajustement direct du modèle pour produire la réponse finale.
2. No-Thinking-RFT : Réglage fin par renforcement (RL) utilisant l'optimisation de préférence relative de groupe (GRPO) avec une récompense de précision uniquement, sans chaînes de raisonnement explicites.
3. Thinking-RFT : RL avec des récompenses vérifiables qui incite le modèle à générer des chaînes de pensée explicites (traces de raisonnement) avant de répondre.
   • Fonction de récompense : Combine une récompense de format ($R_{format}$) pour le balisage XML correct du raisonnement et de la réponse, et une récompense de précision ($R_{accuracy}$) pour correspondre à la vérité terrain.
   • Optimisation : Utilise GRPO avec un coefficient KL $\beta=0$, car les expériences ont indiqué que la régularisation n'était pas nécessaire pour les tâches de ToM.

3. Contributions clés

1. Identification du phénomène de raccourci : L'article démontre que de nombreux benchmarks de ToM largement utilisés sont vulnérables à des heuristiques triviales, ce qui fausse les mesures de performance et entrave le développement de véritables capacités de raisonnement.
2. Cadre d'audit : Un cadre reproductible et peu coûteux en calcul combinant la découverte de règles guidée par l'IA et l'analyse lexicale pour quantifier et filtrer les jeux de données sujets aux raccourcis.
3. Validation empirique de Thinking-RFT : Une étude complète montrant que le réglage fin par renforcement avec un raisonnement explicite (Thinking-RFT) surpasse significativement le SFT et le No-Thinking-RFT sur les benchmarks de ToM sans raccourcis.
4. Analyse mécaniste : À travers la visualisation de l'attention et l'analyse des traces de raisonnement, l'article révèle que le Thinking-RFT fonctionne en apprenant aux modèles à ancrer leur raisonnement sur des indices causaux clés (mots-clés et changements d'état) plutôt que sur des corrélations superficielles.

4. Résultats clés

4.1. Gains de performance

Sur les jeux de données sans raccourcis, le Thinking-RFT a systématiquement surpassé le SFT et le No-Thinking-RFT :

• Amélioration globale : Le Thinking-RFT a amélioré la précision de +6 % par rapport au SFT en moyenne sur tous les scénarios.
• Raisonnement complexe : Les gains ont été plus prononcés dans le raisonnement d'ordre supérieur (+10 % par rapport au SFT) et les contextes multimodaux (+7 % par rapport au SFT).
• Mise à l'échelle du modèle : Les bénéfices ont été observés tant sur les modèles de 3B que de 7B paramètres, indiquant une robustesse à travers les échelles.

4.2. Généralisation et robustesse

• Généralisation d'ordre supérieur : Les modèles entraînés sur des tâches de ToM de premier ordre via Thinking-RFT se sont nettement mieux généralisés à des requêtes de second ordre inédites (+9 % par rapport au SFT sur OpenToM).
• Transfert entre jeux de données : Le modèle entraîné sur OpenToM via Thinking-RFT a réussi à améliorer les performances sur des jeux de données non vus (ToMATO et ExploreToM), alors que le SFT a montré un transfert mitigé ou négatif.
• Robustesse contrefactuelle : Lorsque les histoires ont été minimalement modifiées pour inverser la vérité terrain (réécritures contrefactuelles), les modèles Thinking-RFT ont maintenu une précision élevée (dégradation d'environ 4-8 %), tandis que les modèles SFT ont subi des chutes importantes (~14-17 %). Cela indique que le Thinking-RFT repose sur des facteurs causaux plutôt que sur des indices fragiles.

4.3. La nécessité du raisonnement

La comparaison entre Thinking-RFT et No-Thinking-RFT a révélé que l'effet conjoint du raisonnement et du RL est crucial. Le Thinking-RFT a surpassé le No-Thinking-RFT en moyenne de 7 %, suggérant que les traces de raisonnement explicites sont nécessaires pour débloquer les capacités de ToM dans les modèles de fondation.

4.4. Mécanisme d'action

• Visualisation de l'attention : Les cartes d'attention ont montré que les modèles Thinking-RFT se concentraient intensément sur les phrases de « charnière causale » (par exemple, des désirs spécifiques ou des changements d'état) nécessaires pour résoudre la tâche. En revanche, les modèles SFT et No-Thinking-RFT présentaient une attention diffuse, se focalisant souvent sur des détails non pertinents.
• Qualité du raisonnement : Les évaluations par LLM-as-a-judge ont confirmé que les traces de raisonnement générées par le Thinking-RFT étaient nettement plus cohérentes logiquement et fidèles à la tâche que celles du SFT ou des baselines zero-shot.

5. Signification et affirmations

Les auteurs affirment que leur étude apporte une correction critique à la trajectoire actuelle de la recherche en ToM. En mettant en lumière le problème des « raccourcis », ils soutiennent que les résultats positifs précédents sur les benchmarks standards peuvent être des artefacts de défauts de datasets plutôt que de véritables améliorations du raisonnement.

L'article affirme que :

• La qualité des données est primordiale : Un post-entraînement efficace de la ToM nécessite un audit rigoureux des jeux de données pour éliminer les données sujettes aux raccourcis.
• Le Thinking-RFT est supérieur : Pour les tâches nécessitant une inférence d'état mental complexe, le réglage fin par renforcement avec des chaînes de raisonnement explicites est la stratégie de post-entraînement la plus efficace, surpassant le SFT standard et le RL sans raisonnement.
• Ancrage dans la causalité : Le succès du Thinking-RFT provient de sa capacité à enseigner aux modèles l'identification et le suivi des ancres causales clés, permettant un raisonnement robuste qui se généralise à des environnements inédits et des scénarios contrefactuels.

L'étude conclut que bien que les capacités de ToM puissent être suscitées dans les modèles de fondation, cela nécessite de passer de la dépendance à des benchmarks d'évaluation potentiellement défectueux à l'utilisation de jeux de données nettoyés et de paradigmes d'entraînement centrés sur le raisonnement.