💬 NLP

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

Cet article démontre que l'emploi de l'apprentissage par renforcement avec des récompenses basées sur les résultats pour affiner des grands modèles de langage préentraînés leur permet de servir de modèles cognitifs à double usage qui atteignent simultanément une forte précision prédictive et génèrent des explications en langage naturel interprétables pour les choix risqués humains.

Auteurs originaux : Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Publié 2026-02-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jian-Qiao Zhu, Hanbo Xie, Dilip Arumugam, Robert C. Wilson, Thomas L. Griffiths

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Apprendre à l'IA à « penser à voix haute »

Imaginez que vous avez un étudiant super intelligent (un grand modèle de langage, ou LLM) qui est incroyablement doué pour deviner ce que vous allez faire ensuite. Si vous lui présentez un problème de mathématiques complexe, il peut généralement vous donner la bonne réponse. Mais, si vous lui demandez comment il est arrivé à cette réponse, il pourrait simplement dire : « Je le savais, c'est tout », ou donner une explication vague qui n'a pas vraiment de sens.

Dans le monde de la psychologie, les scientifiques recherchent des modèles qui ne se contentent pas de deviner la réponse (prédire le comportement humain), mais qui expliquent aussi pourquoi les gens font ces choix (révéler le mécanisme cognitif).

Cette publication pose la question suivante : Pouvons-nous apprendre à une IA non seulement à prédire les décisions humaines, mais aussi à « penser à voix haute » d'une manière qui explique réellement la psychologie humaine ?

L'expérience : Le jeu du « Choix Risqué »

Pour tester cela, les chercheurs ont utilisé un jeu psychologique classique appelé « choix risqué ». Imaginez qu'on vous propose deux options :

Option A : Vous recevez 27 $ à coup sûr.
Option B : Vous avez 90 % de chances de recevoir 25 $, mais 10 % de chances de recevoir 92 $.

La plupart des gens doivent choisir entre un pari sûr et un pari risqué. Les chercheurs disposaient d'un ensemble de données massif comprenant des milliers de choix réels faits par des humains. Ils voulaient entraîner une IA à regarder les options et à dire : « 70 % des gens choisiront l'option A, et 30 % choisiront l'option B ».

Les trois méthodes d'entraînement

Les chercheurs ont essayé trois façons différentes d'enseigner cette tâche à l'IA, comme trois styles de coaching différents :

Le « Mémorisateur » (Entraînement standard) : Ils ont montré à l'IA des milliers d'exemples de questions et de bonnes réponses. L'IA a appris à copier le schéma. Elle est devenue douée pour deviner les pourcentages, mais elle n'a pas vraiment appris le pourquoi. C'était comme un étudiant qui aurait mémorisé le corrigé sans pouvoir expliquer les mathématiques.
Le « Mémorisateur masqué » (Style Centaure) : C'est une version sophistiquée de la première méthode où l'IA est forcée de se concentrer uniquement sur les chiffres dans la réponse, en ignorant le reste du texte. Elle est également devenue douée pour deviner, mais ne générait toujours pas une bonne explication.
Le « Coach avec un tableau de score » (Apprentissage par renforcement - RL) : C'est la star du spectacle. Ici, l'IA est autorisée à écrire une « Chaîne de pensée » (un processus de raisonnement étape par étape) avant de donner sa réponse finale.
- Le rebondissement : L'IA ne recevait pas seulement des points pour avoir raison. Elle recevait des points basés sur la proximité de sa prédiction finale avec ce que les humains réels ont réellement fait.
- Le résultat : Pour gagner des points, l'IA a réalisé qu'elle devait « penser » comme un psychologue. Elle a commencé à écrire des choses comme : « Les gens sont aversion au risque » ou « Ils calculent la valeur attendue ». En essayant de gagner le jeu (correspondre aux données humaines), elle a accidentellement appris à verbaliser les règles psychologiques que les humains suivent.

Les résultats : L'IA devient psychologue

Les chercheurs ont découvert que la méthode du « Coach avec un tableau de score » (RL) a changé la donne pour deux raisons :

Elle prédisait bien : Elle était tout aussi douée pour deviner ce que les humains choisiraient que les autres méthodes.
Elle expliquait bien : Les parties de « réflexion à voix haute » (la Chaîne de pensée) étaient en fait des explications psychologiques de haute qualité.
- L'analogie : Imaginez que les autres méthodes soient comme une application météo qui dit : « Il va pleuvoir ». La méthode RL est comme un météorologue qui dit : « Il va pleuvoir parce qu'un front froid entre en collision avec de l'air chaud, créant une basse pression ».
- L'IA a commencé à utiliser de vrais concepts psychologiques comme l'Aversion au risque (les gens détestent perdre), la Valeur attendue (faire le calcul des probabilités) et l'Effet de certitude (les gens adorent une victoire garantie).

La condition de « l'intelligence »

Il y avait cependant un bémol. Les chercheurs ont testé cette même méthode de « Coach » sur un modèle d'IA plus petit et plus faible.

L'analogie : Imaginez essayer d'enseigner une stratégie complexe à un bambin plutôt qu'à un étudiant universitaire. Le bambin (le petit modèle) n'a pas réussi à comprendre les mathématiques ou la stratégie, même avec le coach. Il s'est simplement emmêlé les pinceaux et a donné de mauvaises réponses.
La conclusion : La méthode du « Coach » n'a fonctionné que parce que l'IA de base était déjà assez intelligente pour comprendre les concepts. Si l'IA n'est pas assez intelligente pour comprendre la « Valeur attendue » dès le départ, vous ne pouvez pas l'entraîner à l'expliquer.

Le test du « Changement de forme »

Pour prouver que l'IA ne se contentait pas de réciter des phrases mémorisées, les chercheurs ont changé les règles du jeu. Au lieu d'utiliser des données humaines réelles, ils ont nourri l'IA de données générées par un robot qui ne se souciait que des mathématiques (Valeur attendue).

Le résultat : L'IA a instantanément changé sa « pensée ». Elle a cessé de parler des peurs humaines et de l'aversion au risque pour parler purement de mathématiques et de logique.
L'enseignement : Cela a prouvé que l'IA ne faisait pas que copier un script ; elle adaptait réellement son raisonnement pour correspondre aux données sur lesquelles elle était entraînée. Elle apprenait véritablement les règles du jeu spécifique auquel elle jouait.

Résumé

Cette publication montre que si vous entraînez une IA intelligente à prédire le comportement humain en utilisant un système de récompense (comme un score de jeu vidéo), elle commencera naturellement à « penser à voix haute » en utilisant les mêmes règles psychologiques que les humains. Cela transforme l'IA d'un simple devineur en un modèle capable d'expliquer pourquoi nous faisons ces choix. Cependant, cela ne fonctionne que si l'IA est déjà assez intelligente pour comprendre ces concepts en premier lieu.

Résumé technique : Utiliser l'apprentissage par renforcement pour entraîner les grands modèles de langage à expliquer les décisions humaines

Énoncé du problème

Un défi central en modélisation cognitive consiste à développer des systèmes qui non seulement prédisent le comportement humain avec une grande précision, mais fournissent également des informations interprétables sur les mécanismes cognitifs sous-jacents. Bien que les modèles de réseaux neuronaux entraînés sur des données comportementales à grande échelle atteignent souvent de hautes performances prédictives, ils fonctionnent généralement comme des « boîtes noires », offrant une compréhension théorique limitée des processus cognitifs qu'ils capturent. Bien que des travaux récents (par exemple, le modèle Centaur) aient démontré que les grands modèles de langage (LLM) peuvent être affinés pour prédire efficacement le comportement humain, ces modèles manquent souvent de la capacité de générer des explications explicites en langage naturel sur le pourquoi de ces prédictions. Cet article aborde le dilemme de l'équilibre entre la précision prédictive et l'interprétabilité en explorant si les LLM peuvent servir de modèles cognitifs à double usage, capables à la fois de prédiction et d'explication.

Méthodologie

Les auteurs proposent un cadre pour entraîner les LLM à générer des traces de raisonnement explicites (Chaîne de pensée, ou Chain-of-Thought, CoT) qui expliquent les choix risqués humains. L'étude se concentre sur le domaine du choix risqué humain (décisions entre des options sûres et risquées) en utilisant le jeu de données choices13k (Peterson et al., 2021).

Configuration expérimentale

Le modèle de base utilisé est Qwen-2.5-7B-Instruct. Les auteurs comparent trois stratégies de post-entraînement distinctes appliquées à des modules d'adaptation de bas rang (LoRA) :

Apprentissage supervisé (SFT) : Entraînement autorégressif standard sur des données de choix humains formatées en JSON.
SFT de type Centaur : Une variante où seuls les jetons correspondant aux proportions de choix humains (encadrés par des crochets spéciaux) contribuent à la perte, masquant les jetons de raisonnement pendant l'entraînement.
Apprentissage par renforcement (RL) : Les auteurs emploient l'optimisation de politique relative au groupe (Group Relative Policy Optimization, GRPO) avec des récompenses basées sur le résultat.

L'approche par RL

Dans le cadre du RL, le modèle génère plusieurs complétions candidates (incluant le raisonnement CoT et une prédiction JSON finale) pour un problème donné. La fonction de récompense est strictement basée sur le résultat et liée à la vérité terrain du comportement humain :

Récompense de correction : Définie comme $1 - |o_B - p_B|$ , où $o_B$ est la probabilité prédite par le modèle pour l'Option B et $p_B$ est la proportion empirique d'humains choisissant l'Option B.
Récompense de format : Un bonus (jusqu'à 0,5) pour la génération d'une sortie JSON structurellement valide où la prédiction suit le raisonnement.
Contraintes de cohérence : Le modèle est pénalisé si ses probabilités prédites ne somment pas à 1 ou si elles sortent de l'intervalle [0, 1].

L'entraînement par RL utilise une taille de groupe de 12 candidats par invite (prompt) et emploie l'algorithme « GRPO Done Right », qui omet la normalisation de la récompense par l'écart-type pour éviter les biais liés à la difficulté des questions.

Expériences de contrôle

Pour valider l'adaptabilité des traces de raisonnement, les auteurs ont mené :

Contrôle des données : Remplacement des données humaines par des données synthétiques générées par un modèle de maximisation de l'espérance mathématique pour voir si la CoT s'adapte à la nouvelle structure de données.
Contrôle du modèle : Réplication de l'expérience avec un modèle de base plus petit et plus faible (Gemma-2-2B-Instruct) pour tester la dépendance à la capacité du modèle.

Résultats clés

Performance prédictive

Précision comparable : Aux points de contrôle finaux, le modèle entraîné par RL a atteint une précision prédictive (Erreur Quadratique Moyenne sur l'ensemble de test) comparable au SFT standard et au SFT de type Centaur ( $M \approx 0,0148$ pour le RL contre $0,0144$ pour le SFT). Les tests statistiques n'ont révélé aucune différence significative entre les méthodes.
Efficacité de l'apprentissage : Le RL a atteint une réduction plus rapide de l'erreur de prédiction par rapport au nombre d'exemples traités comparativement au SFT, bien qu'il ait engendré des coûts de calcul plus élevés en raison de la génération de multiples candidats par étape.
Dépendance à la capacité du modèle : Appliqué au modèle plus faible Gemma-2-2B, le RL a été nettement moins performant que les méthodes SFT. Le modèle plus faible n'a pas réussi à générer le mécanisme cognitif critique du « calcul de l'espérance mathématique », entraînant une faible performance prédictive.

Qualité du raisonnement (CoT)

Émergence du raisonnement : Contrairement aux modèles SFT et Centaur (qui n'ont pas été explicitement entraînés pour générer du raisonnement), le modèle RL a produit de manière cohérente un raisonnement CoT détaillé avant sa prédiction finale.
Mécanismes cognitifs : L'analyse des CoT générés par le RL a révélé l'émergence de mécanismes cognitifs spécifiques, notamment le calcul de l'espérance mathématique et l'aversion au risque, qui représentaient environ 29 à 36 % des jetons de raisonnement. D'autres mécanismes identifiés incluent l'aversion à la perte, l'effet de certitude et la pondération des probabilités.
Adaptabilité : Dans l'expérience de contrôle des données, lorsqu'il a été entraîné sur des données synthétiques d'espérance mathématique, le modèle RL a déplacé son raisonnement pour se concentrer fortement sur les calculs d'espérance, démontrant que la CoT s'adapte à la structure des données d'entraînement plutôt que de rester statique.
Influence causale : Une expérience d'« échange de CoT » (CoT swapping) a démontré que l'utilisation de la CoT du modèle RL pour guider le modèle de base réduisait considérablement l'erreur de prédiction, tandis que l'utilisation de la CoT originale du modèle de base avec le modèle RL augmentait l'erreur. Cela suggère que le raisonnement généré par le RL est lié de manière causale aux améliorations des prédictions.
Évaluation humaine : Dans une évaluation humaine à petite échelle, des experts ont jugé les CoT du modèle RL comme étant plus raisonnables que ceux du modèle de base dans 61,5 % des essais.

Signification et affirmations

L'article affirme que l'apprentissage par renforcement avec des récompenses basées sur le résultat (RLVR) peut faire émerger des traces de raisonnement de haute qualité et interprétables des LLM, servant de théories verbales du processus de décision humain.

Modélisation à double usage : Ce travail établit que les LLM peuvent fonctionner comme des modèles cognitifs capables simultanément de prédire le comportement humain et de fournir des explications en langage naturel des mécanismes cognitifs qui pilotent ces comportements.
Rationalité vs Heuristiques : Les résultats suggèrent que, contrairement à certaines publications mettant l'accent sur les heuristiques et les biais, des caractérisations rationnelles (spécifiquement le calcul de l'espérance mathématique et l'aversion au risque) peuvent être des forces dominantes pour expliquer les choix risqués humains lorsqu'elles sont examinées à travers le prisme de ces modèles.
Hypothèse de l'élicitation : Les résultats soutiennent l'« hypothèse de l'élicitation », suggérant que le RL n'enseigne pas nécessairement de nouvelles capacités, mais fait plutôt émerger et amplifier des connaissances théoriques latentes déjà présentes dans le LLM pré-entraîné. Par conséquent, le succès de cette approche dépend fortement de la capacité du modèle de base ; les modèles plus faibles échouent à éliciter les mécanismes de raisonnement nécessaires.
Scalabilité : La méthode offre une alternative évolutive à la modélisation cognitive manuelle ou à la découverte de modèles dirigée par des experts, en générant automatiquement des théories interprétables à partir de données comportementales à grande échelle sans nécessiter de programmation symbolique explicite ou de retour humain pour chaque décision.

Les auteurs concluent que, bien que le post-entraînement par RL soit plus coûteux en termes de calcul que le SFT, il offre une voie unique pour développer des modèles cognitifs qui soient à la fois quantitativement précis et qualitativement interprétables.