💬 NLP

Are LLM Agents Behaviorally Coherent? Latent Profiles for Social Simulation

Cet article remet en question la validité de l'utilisation d'agents basés sur des modèles de langage de grande taille comme substituts aux participants humains dans la recherche en démontrant que, bien qu'ils génèrent des réponses similaires à celles des humains, ils manquent de la cohérence comportementale fondamentale nécessaire à travers différents contextes expérimentaux pour représenter avec précision le comportement humain réel.

Auteurs originaux : James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire une ville virtuelle pour une expérience en sciences sociales. Au lieu d'embaucher des milliers de personnes réelles pour remplir des sondages et avoir des conversations, vous décidez d'utiliser des agents IA (des programmes informatiques alimentés par des modèles de langage de grande taille) pour jouer les rôles de ces personnes.

La grande question que pose cet article est : Ces acteurs IA sont-ils réellement « cohérents » ?

Autrement dit, si vous dites à une IA : « Tu es une personne entêtée qui adore la pizza et déteste le brocoli », se comporte-t-elle réellement comme une personne entêtée qui adore la pizza et déteste le brocoli lorsqu'elle parle aux autres ? Ou bien ne fait-elle que jouer ce rôle pendant un instant, pour oublier sa propre personnalité dès que la conversation devient intéressante ?

Voici une décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples.

Le Déroulement : « L'audition de l'acteur »

Les chercheurs ont mis en place un test en trois étapes pour vérifier si les agents IA étaient cohérents :

Le CV (Contrôle) : Ils ont fourni à l'IA une « fiche de personnage » spécifique avec des détails tels que l'âge, le lieu de résidence et les opinions politiques. Ils lui ont également attribué un « biais » spécifique (par exemple : « Tu aimes vraiment les taxes » ou « Tu détestes vraiment les taxes »).
L'entretien individuel (Profil latent) : Avant de les laisser parler à qui que ce soit, ils ont posé à l'IA des questions simples pour confirmer sa personnalité. « Sur une échelle de 1 à 5, à quel point aimes-tu les taxes ? » et « Dans quelle mesure es-tu ouvert à changer d'avis ? ».
Le chat de groupe (Interaction externe) : Ils ont apparié deux agents IA et les ont laissés discuter d'un sujet. Ils ont ensuite mesuré dans quelle mesure les deux agents étaient d'accord ou en désaccord l'un avec l'autre.

L'objectif était de voir si le comportement de l'IA dans le chat de groupe correspondait à la personnalité qu'elle avait revendiquée lors de l'entretien individuel.

Les Résultats : L'acteur « à deux faces »

Les chercheurs ont testé six règles différentes du comportement humain (comme « les gens qui sont d'accord sur un sujet sont généralement d'accord en conversation » ou « les personnes entêtées changent rarement d'avis »).

Voici la mauvaise nouvelle : Les acteurs IA ont échoué aux tests plus profonds.

Imaginez les agents IA comme des acteurs excellents pour lire un script pour une scène unique, mais terribles pour improviser une pièce entière.

Niveau de surface (Le « Pass ») : Si vous regardez simplement le tableau d'ensemble, l'IA semble fonctionner. Si vous appariez deux agents qui aiment tous les deux les taxes, ils sont généralement d'accord. Si vous appariez deux agents qui détestent les taxes, ils sont généralement d'accord. Cela ressemble à une conversation normale.
Analyse approfondie (L'« Échec ») : Lorsque les chercheurs ont regardé de plus près, le comportement de l'IA s'est effondré. Il était incohérent avec ses propres règles internes.

Voici les manières spécifiques dont l'IA a « cassé son personnage » :

1. Le problème du « Robot poli » (Asymétrie du biais)

Attente : Si vous dites à une IA : « Tu es un conservateur intransigeant », et que vous l'appariez avec un autre « conservateur intransigeant », ils devraient être d'accord. Si vous appariez un « conservateur intransigeant » avec un « libéral intransigeant », ils devraient se battre.
Réalité : L'IA était d'accord avec le partenaire conservateur (bien !). Mais lorsqu'elle était appariée avec le partenaire libéral, elle ne se battait pas aussi fort qu'elle l'aurait dû. Elle était trop polie. Même lorsqu'on lui demandait d'être extrême, l'IA ne pouvait pas soutenir un vrai désaccord. Elle a lissé les choses au lieu de rester fidèle à son « personnage ».

2. Le paradoxe « Heureux vs Triste » (Sentiment partagé)

Attente : Deux personnes qui détestent toutes les deux quelque chose (par exemple : « Les taxes sont terribles ») devraient être d'accord tout aussi fortement que deux personnes qui aiment toutes les deux quelque chose (par exemple : « Les taxes sont super »).
Réalité : L'IA était étrangement biaisée vers la positivité. Deux agents qui aimaient tous les deux un sujet étaient parfaitement d'accord. Mais deux agents qui détestaient tous les deux le même sujet ? Souvent, ils ne pouvaient pas s'accorder sur pourquoi ils le détestaient, ou ils s'éloignaient l'un de l'autre. L'IA peinait à simuler une « négativité partagée ».

3. Le bug de « Sensibilité au sujet » (Contestation)

Attente : Si deux personnes sont d'accord sur un sujet, cela ne devrait pas importer si le sujet est ennuyeux (comme « Printemps vs Automne ») ou explosif (comme « Immigration »). Leur niveau d'accord devrait rester le même.
Réalité : Les niveaux d'accord de l'IA changeaient en fonction de l'« intensité » du sujet. Même lorsque deux agents étaient programmés pour avoir exactement la même opinion, ils se disputaient davantage au sujet de « l'Immigration » que de « Plages ». L'IA ne parvenait pas à maintenir son état interne stable lorsque le sujet s'échauffait.

4. L'inversion de l'« Entêtement » (Ouverture)

Attente : Si vous appariez deux personnes très entêtées (faible ouverture) qui ont des opinions opposées, elles devraient avoir le niveau d'accord le plus bas possible. Elles devraient être les plus difficiles à réconcilier.
Réalité : De manière surprenante, les agents IA programmés pour être « entêtés » et « opposés » étaient en fait plus d'accord que ceux qui étaient ouverts. L'IA ne parvenait pas à simuler la friction de deux personnes entêtées refusant de bouger. Au lieu de cela, elle les faisait simplement se mettre d'accord.

Le Tableau d'ensemble

L'article conclut que si les agents IA sont excellents pour imiter les réponses humaines dans le vide (comme remplir un sondage), ils sont actuellement mauvais pour simuler le comportement humain dans un cadre social dynamique.

Imaginez un spectacle de marionnettes. Les marionnettes ressemblent à des humains, et si vous tirez les ficelles juste comme il faut, elles disent les bons mots. Mais si vous laissez les marionnettes parler entre elles sans script, elles oublient qui elles sont censées être. Elles perdent leur « profil latent » (leur personnalité cachée) et se contentent de devenir conciliantes, polies et incohérentes.

La conclusion :
Si vous voulez utiliser l'IA pour remplacer de vraies personnes dans la recherche en sciences sociales, vous devez être prudent. Elles peuvent passer un test simple, mais elles échouent au test de « réalisme » lorsque la situation devient complexe. Elles ne sont pas encore prêtes à être un substitut parfait à de vrais participants humains car elles manquent de cohérence interne pour agir comme une vraie personne ayant une personnalité stable.

Résumé technique : Les agents LLM sont-ils comportementalement cohérents ?

Énoncé du problème

Les progrès rapides des modèles de langage de grande taille (LLM) ont stimulé la « thèse de la substitution » : l'hypothèse selon laquelle des agents synthétiques peuvent servir de substituts valides à de vrais participants humains dans la recherche sociale et comportementale. Bien que des travaux antérieurs aient démontré que les LLM peuvent générer des réponses à des enquêtes alignées sur les données démographiques humaines ou les opinions agrégées, une question plus fondamentale reste sans réponse : Les agents LLM maintiennent-ils une cohérence comportementale empirique à travers différents contextes expérimentaux ? Plus précisément, si un agent se voit attribuer un profil latent (par exemple, des préférences et des traits de personnalité spécifiques), son comportement conversationnel dans des interactions multi-agents reflète-t-il fidèlement ce profil selon des modèles comportementaux humains établis ? Cet article soutient qu'un alignement de surface est insuffisant ; les agents doivent démontrer une cohérence comportementale — la capacité à maintenir une cohérence pilotée par les traits à travers des dynamiques sociales complexes et multi-tours — pour être des substituts viables.

Méthodologie

Les auteurs proposent un cadre expérimental novateur conçu pour sonder la cohérence comportementale des agents LLM en testant leurs états internes contre leurs interactions externes. Le cadre se compose de cinq étapes séquentielles :

Sélection de sujets : Neuf sujets sont sélectionnés, catégorisés par des niveaux de controverse ( $C \in \{1, 2, 3\}$ ), allant de faible (par exemple, « Coca-Cola vs Pepsi ») à élevé (par exemple, « Immigration »).
Construction d'agents : Des agents sont générés avec des profils démographiques contrôlés (âge, genre, lieu, éducation, urbanité) et des instructions de biais explicites ( $B \in \{1, 2, 3\}$ ) concernant le sujet.
Extraction d'états latents : Avant l'interaction, la Préférence ( $P$ $P$ ) et l'Ouverture ( $O$ $O$ ) de chaque agent sont sollicitées.
- $P$ : Un score (1–5) indiquant l'accord avec une affirmation sur le sujet.
- $O$ : Un score (1–9) dérivé de questions par oui/non concernant la réceptivité aux nouvelles idées et l'influence sociale (basé sur le trait d'Ouverture des Big Five).
Appariement d'agents : Les agents sont appariés mécaniquement pour former toutes les combinaisons possibles de tuples $(P, O, B)$ , garantissant des interactions diversifiées (par exemple, préférences alignées vs divergentes, niveaux d'ouverture variables).
Conversation et évaluation : Les paires engagent des dialogues multi-tours. Un LLM-juge évalue l'Accord ( $A$ ) à chaque tour sur une échelle de 1 à 5.

L'étude évalue le comportement des agents par rapport à six hypothèses comportementales humaines spécifiques dérivées de la littérature en psychologie sociale. Ces hypothèses prédisent comment des variables telles que les écarts de préférence, les instructions de biais, le sentiment partagé, la controverse du sujet et l'ouverture devraient influencer les résultats d'accord. Le cadre distingue entre les tests de « surface » (tendances agrégées) et les tests « approfondis » (cohérence conditionnelle granulaire).

Contributions clés

Un cadre de cohérence : L'article introduit une méthode systématique pour évaluer les agents LLM non seulement sur l'alignement des réponses statiques, mais sur la cohérence comportementale dynamique à travers divers états internes et contextes externes.
Preuve empirique d'incohérence : L'étude fournit des preuves robustes que les LLM actuels échouent à maintenir une cohérence comportementale lorsqu'ils sont soumis à des tests complexes à multiples variables, même lorsqu'ils réussissent des vérifications agrégées plus simples.
Modes d'échec systématiques : Les auteurs identifient des motifs d'échec spécifiques, tels que l'incapacité à maintenir un désaccord malgré des préférences opposées et la traduction incohérente d'un sentiment partagé en accord.

Résultats expérimentaux

L'étude a testé des modèles des familles Qwen3, Llama3 et Gemma3 sur diverses tailles de paramètres (de 0,6B à 32B). Les résultats révèlent un schéma constant : Les tests de surface réussissent, mais les tests approfondis échouent.

L'écart de préférence diminue l'accord (Réussite) : Au niveau agrégé, les paires avec des préférences alignées ($gap=0$) ont montré un accord plus élevé que celles avec des préférences divergentes, ce qui est cohérent avec les modèles comportementaux humains.
Asymétrie des instructions de biais (Échec) : Bien que les instructions de biais aient réussi à amplifier l'accord parmi les agents alignés, elles ont échoué à amplifier le désaccord parmi les agents avec des écarts de préférence maximaux. Au lieu de se polariser, les agents biaisés ont souvent convergé, révélant une asymétrie dans la façon dont le biais affecte le comportement.
Sentiment partagé, destins divergents (Échec) : Les modèles humains prédisent que le sentiment négatif partagé (par exemple, les deux agents n'aimant pas fortement un sujet) devrait produire des niveaux d'accord comparables au sentiment positif partagé. Les résultats ont montré un biais directionnel : les agents avec des préférences positives partagées ont convenu significativement plus que ceux avec des préférences négatives partagées, même lorsque les écarts de préférence étaient identiques.
Controverse à préférence partagée (Échec) : Lorsque les agents partageaient des préférences identiques, la controverse du sujet ne devrait pas affecter les niveaux d'accord. Cependant, les scores d'accord variaient considérablement en fonction de la controverse du sujet, indiquant que les états internes des agents ne restent pas stables à travers différents contextes de sujets.
L'ouverture augmente l'accord (Réussite) : Au niveau agrégé, une ouverture combinée plus élevée était corrélée à un accord plus élevé, correspondant aux attentes comportementales humaines.
Faible ouverture et grand écart de préférence (Échec) : L'hypothèse selon laquelle des agents « obstinés » (faible ouverture) avec des opinions opposées devraient produire le plus bas accord a été violée. Dans de nombreux cas, les paires à faible ouverture avec de grands écarts de préférence ont produit un accord plus élevé que prévu, échouant à manifester l'intratabilité prédite.

Ces échecs ont été observés à travers les familles de modèles et les tailles, suggérant que l'incohérence comportementale est une propriété générale des architectures LLM actuelles plutôt qu'un artefact d'un modèle ou d'une échelle spécifique.

Signification et affirmations

L'article conclut que si les agents LLM peuvent réussir à imiter les réponses humaines dans des contextes isolés et statiques (par exemple, des enquêtes), ils échouent à maintenir une cohérence pilotée par les traits dans des interactions dynamiques et multi-agents. La « thèse de la substitution » est donc critiquement limitée : les agents peuvent imiter l'apparence du comportement social humain dans l'agrégat, mais manquent de la cohérence empirique sous-jacente requise pour reproduire fidèlement les modèles comportementaux humains dans des scénarios complexes.

Les auteurs affirment que, à mesure que les modèles comportementaux deviennent plus complexes ou plus granulaires, les LLM échouent de plus en plus à reproduire le comportement humain. Cela représente un écart critique dans leur capacité à servir de substituts à de vrais participants dans la recherche sur les sujets humains, en particulier pour les études reposant sur la stabilité des traits de personnalité et la dynamique du désaccord social. L'article ne propose pas de nouvelles applications ni de solutions architecturales futures, mais sert d'évaluation prudente de l'état actuel des agents synthétiques en sciences sociales.