🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

Ce papier présente DITTO, un modèle entraîné par apprentissage par renforcement avec des retours verbaux pour mieux simuler le comportement humain, ainsi que la suite de benchmarks SOUL, démontrant des améliorations de performance significatives par rapport aux modèles de base et surpassant GPT-5.4 sur plusieurs tâches de simulation humaine.

Auteurs originaux : Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Enseigner à l'IA à « agir comme un humain » en lui parlant

Imaginez que vous apprenez à un enfant comment se comporter lors d'un dîner.

L'Ancienne Méthode (Récompenses scalaires) : Vous donnez à l'enfant une note de « 6 sur 10 » une fois qu'il a fini de manger. Vous ne lui dites pas pourquoi il a eu un 6. A-t-il trop parlé ? A-t-il utilisé la mauvaise fourchette ? A-t-il renversé de la soupe ? Il ne sait pas comment s'améliorer, alors il devine simplement la prochaine fois.
La Nouvelle Méthode (Feedback verbal) : Vous vous asseyez avec lui et dites : « Tu t'es très bien débrouillé avec la serviette, mais tu as coupé la parole à ta grand-mère, et c'était impoli. La prochaine fois, attends qu'elle ait fini de parler. »

Ce papier soutient que les modèles d'IA actuels (LLM) sont formés comme l'enfant recevant une note de « 6 ». Ils sont bons en mathématiques et en codage parce que ces domaines ont des réponses claires de type vrai/faux (comme une note d'examen). Mais lorsque nous demandons à l'IA de simuler un comportement humain — comme agir en tant que patient, étudiant ou ami — les simples notes ne fonctionnent pas. Les humains apprennent les normes sociales par les mots, les explications et les corrections, et non par des chiffres.

Les auteurs ont construit un nouveau système appelé DITTO qui enseigne à l'IA à agir comme un humain en utilisant cette méthode de « feedback verbal ».

Comment fonctionne DITTO : Le jeu de « Brouillon et Polissage »

Imaginez DITTO comme un atelier d'écriture créative où l'IA est à la fois l'élève et l'éditeur. Voici le processus :

Le Premier Brouillon (L'Élève) : L'IA tente de répondre à une consigne (par exemple : « Agis comme un professeur grincheux »). Elle rédige une réponse.
La Critique (Le Juge) : Une IA puissante agissant en tant que « juge » lit le brouillon et donne un feedback verbal. Elle ne se contente pas de dire « Bon travail ». Elle dit : « Tu étais trop poli. Un professeur grincheux serait plus impatient. De plus, tu as oublié de mentionner les devoirs. »
Le Deuxième Brouillon (Le Professeur) : L'IA prend ce feedback spécifique et rédige une nouvelle version améliorée de la réponse.
La Leçon (La Magie) : Le système entraîne l'IA à regarder la consigne originale et à générer immédiatement la version améliorée, sans avoir besoin du texte du feedback. C'est comme si l'élève lisait les notes du professeur, corrigeait la dissertation, puis mémorisait le sentiment de la façon de rédiger une bonne dissertation pour qu'il n'ait plus besoin des notes la prochaine fois.

Le Résultat : L'IA apprend à « intérioriser » les conseils. Lorsque vous lui parlez plus tard, elle agit plus humainement car elle a appris pourquoi certains comportements sont meilleurs, et pas seulement qu'ils sont meilleurs.

Le Terrain de Jeu : SOUL (Salle de sport de simulation)

Pour tester si cela fonctionne réellement, les chercheurs ont construit une immense salle de sport appelée SOUL (Simulation gym Of hUman-Like behavior, ou Salle de sport de simulation de comportements humanoïdes).

Imaginez une salle de sport avec 10 stations différentes, chacune testant un type différent de compétence « humaine » :

Théorie de l'esprit : L'IA peut-elle comprendre qu'une autre personne sait quelque chose qu'elle ignore ? (Comme un jeu de cache-cache).
Jeu de rôle : Peut-elle incarner un personnage spécifique d'un livre sans briser son personnage ?
Compétences sociales : Peut-elle naviguer dans une conversation pour atteindre un objectif (comme demander une augmentation) sans être impolie ?
Simulation d'utilisateur : Peut-elle faire semblant d'être un client confus parlant à un service d'assistance ?

Ils ont constaté que les modèles d'IA existants échouaient souvent à ces tests. Ils semblaient trop robotiques, trop parfaits ou trop similaires les uns aux autres.

Les Résultats : DITTO remporte la salle de sport

Les chercheurs ont testé leur nouveau modèle (DITTO) contre les meilleurs modèles existants (y compris les géants des grandes entreprises technologiques).

Le Score : DITTO s'est amélioré de 36 % par rapport au modèle de base.
Le Duel : DITTO a battu le modèle haut de gamme « GPT-5.4 » sur 6 des 10 défis.
Où il a brillé : Il était particulièrement bon dans les tâches nécessitant de la nuance, comme les compétences sociales et le jeu de rôle. Il a appris à mieux garder les secrets et à gérer des conversations complexes sans se « bloquer » ou sembler faux.

Pourquoi cela compte (selon le papier)

Le papier affirme que pour rendre l'IA véritablement utile dans la simulation de personnes (comme dans les bots de thérapie, les tuteurs éducatifs ou la formation au service client), nous devons cesser de les traiter comme des élèves en mathématiques qui ont juste besoin d'une note. Nous devons les traiter comme des êtres sociaux qui ont besoin d'explications.

En utilisant le feedback verbal (des mots) plutôt que de simples récompenses scalaires (des chiffres), l'IA apprend la texture du comportement humain. Elle apprend que « être impoli » n'est pas juste une mauvaise note ; c'est une façon spécifique de parler qui blesse les sentiments.

En bref : DITTO est une IA qui a appris à agir comme un humain en écoutant les critiques détaillées d'un professeur, en pratiquant les corrections, puis en oubliant les notes du professeur parce qu'elle a enfin « compris ».

Résumé Technique : Renforcement de la Simulation du Comportement Humain par Retour Verbal

Énoncé du Problème
Les simulateurs actuels de comportement humain basés sur les grands modèles de langage (LLM) souffrent de lacunes systématiques « Sim2Réal », se manifestant par des sorties homogènes, des biais cognitifs désalignés et des comportements surhumains qui divergent de ceux des utilisateurs réels. Une limitation majeure réside dans le paradigme d'entraînement : les méthodes standard d'apprentissage par renforcement (RL) (par exemple, RLHF, DPO, GRPO) compressent tous les retours en récompenses scalaires ou préférences binaires. Bien qu'efficaces pour des domaines à vérification de justesse (par exemple, code, mathématiques), les récompenses scalaires échouent à capturer la nuance requise pour la simulation du comportement humain, qui est subjective, multidimensionnelle et dépendante du contexte. Les humains apprennent les normes sociales non pas à partir de scores, mais à partir de retours verbaux — explications, corrections et dialogues. Les approches existantes tentant d'intégrer des retours verbaux reposent souvent sur un ajustement fin supervisé (SFT) ou une réflexion au moment de l'inférence, manquant de la capacité d'exploration du RL ou échouant à mettre à jour efficacement les poids du modèle à partir de l'expérience.

Méthodologie : DITTO
Les auteurs proposent DITTO, un modèle entraîné en traitant le retour verbal comme un signal de premier ordre au sein d'un cadre d'apprentissage par renforcement. L'innovation centrale est une boucle d'entraînement qui génère des améliorations conditionnées par le retour et les optimise conjointement avec la politique de base, permettant au modèle d'intérioriser les orientations sans nécessiter de retour au moment de l'inférence.

Le processus d'entraînement pour un prompt donné $x$ se déroule comme suit :

Déroulement de Brouillon : La politique $\pi_\theta$ génère une réponse initiale $y_0$ .
Génération du Retour : Un juge LLM évalue $y_0$ , produisant une récompense scalaire $r_0$ et un retour verbal structuré $h$ (incluant des critiques et des réflexions sur des dimensions telles que la crédibilité, le maintien de la relation et la réalisation des objectifs).
Déroulement Affiné : La politique génère une deuxième réponse $y_1$ conditionnée par le prompt et le retour ( $x, h$ ).
Optimisation Conjointe : $y_0$ $y_{0}$ et $y_1$ $y_{1}$ sont tous deux optimisés en utilisant l'Optimisation de Politique Relative par Groupe (GRPO).
- Un avantage relatif par groupe est calculé sur l'ensemble des déroulements originaux et affinés.
- Un objectif GRPO standard tronqué ( $L_{group}$ ) est appliqué au groupe conjoint pour encourager la politique de base à apprendre des améliorations.
- Un objectif supplémentaire ( $L_{fb}$ ) est appliqué spécifiquement aux déroulements conditionnés par le retour pour améliorer la capacité du modèle à répondre directement au retour.
- La perte finale est $L = L_{group} + L_{fb}$ .

Crucialement, le retour verbal $h$ est traité comme une information privilégiée : il est disponible pendant l'entraînement pour guider la génération de $y_1$ et optimiser la politique, mais il n'est pas requis pendant l'inférence. L'objectif est que la politique de base intériorise le comportement de « l'enseignant » (la $y_1$ améliorée) dans son processus de génération standard.

Benchmarck SOUL
Pour faciliter l'entraînement et l'évaluation, les auteurs introduisent SOUL (Simulation gym Of hUman-Like behavior), un benchmark unifié et une suite de données d'entraînement. SOUL répond au goulot d'étranglement du manque de données d'entraînement pour la simulation humaine en fournissant des splits d'entraînement RL curatés pour 10 tâches réparties en six catégories :

Théorie de l'Esprit : FanToM, HiToM, ToMi.
Jeu de Rôle de Personnage : CoSER, LifeChoices.
Compétence Sociale : Sotopia.
Simulation d'Apprenant : Mistakes.
Simulation d'Utilisateur : MirrorBench, UserLLM.
Simulation de Persona : TwinVoice.

La suite couvre des formats discriminatifs (choix multiples), génératifs (dialogue ouvert) et des interactions multi-tours/multi-agents.

Résultats Clés
Les expériences ont été menées en utilisant un modèle de base Qwen3-8B.

Performance : DITTO a obtenu un score normalisé moyen de 0,726 à travers les tâches SOUL, représentant une amélioration de 36 % par rapport au modèle de base.
Comparaison avec l'État de l'Art : DITTO a surpassé le modèle fermé de pointe GPT-5.4 sur 6 benchmarks sur 10, y compris les trois tâches de théorie de l'esprit et les deux tâches de simulation d'utilisateur. Il a également constamment dépassé les baselines spécialisées en simulation humaine (par exemple, Sotopia-RL, HER).
Ablation : Le mécanisme de retour verbal a apporté des gains constants par rapport au GRPO standard, avec les améliorations les plus importantes observées sur les tâches génératives et multi-tours (par exemple, +14 points sur TwinVoice, +11 sur ToMi).
Sécurité : L'analyse a montré que le retour verbal a aidé à atténuer les risques de sécurité. Alors que le GRPO standard se dégradait sur les dimensions de « conservation des secrets » pendant l'optimisation, DITTO a mieux préservé la capacité de garder des secrets, probablement grâce à l'orientation explicite fournie dans le retour verbal.

Signification et Revendications
L'article revendique que le dépassement des récompenses scalaires vers des retours plus riches et verbaux est une direction prometteuse pour entraîner des simulateurs plus humains. La signification de ce travail réside dans trois contributions principales :

Le Retour Verbal comme Signal : Démontrer que le retour verbal fournit une orientation actionnable et spécifique à une dimension qui améliore la vitesse d'apprentissage et réduit les risques de sécurité (tels que la fuite de secrets) par rapport aux récompenses scalaires.
Architecture DITTO : Introduire une méthode qui distille le retour verbal dans la politique de base via des déroulements conditionnés par le retour, obtenant des gains de performance significatifs avec un modèle de 8 milliards de paramètres qui égale ou dépasse des modèles fermés plus grands.
Benchmark SOUL : Fournir le premier environnement unifié d'entraînement et d'évaluation pour le comportement humain à travers divers formats de tâches, répondant au manque critique de données d'entraînement dans ce domaine.

Les auteurs concluent que leur approche permet à la politique de base d'intérioriser des orientations riches et actionnables, suggérant que le RL avec retour verbal est une voie viable pour combler l'écart Sim2Réal dans la simulation du comportement humain.