Résumé technique : Les tendances à la persuasion et à la conformité prédisent la prise de décision de groupe chez les humains et les modèles de langage

Problématique

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des scénarios de prise de décision de groupe aux côtés d'autres LLM et d'humains. Cependant, les mécanismes qui régissent leur influence restent obscurs. Plus précisément, on ignore si l'impact d'un LLM est principalement piloté par une expression orientée vers la persuasion (argumentation active et assertivité) ou par une accommodation orientée vers la conformité (écoute et adaptation aux autres). Bien que la recherche sur les réseaux sociaux propose deux perspectives sur l'influence — ceux possédant des canaux de communication sortants étendus par rapport à ceux qui agrègent l'information entrante — il n'est pas établi quelle orientation comportementale produit de meilleurs résultats de groupe dans les systèmes de LLM. De plus, il est nécessaire de déterminer si ces tendances comportementales intrinsèques sont mesurables et si elles sont corrélées à la performance des tâches, particulièrement dans des contextions impliquant une information asymétrique et des objectifs cachés.

Méthodologie

Les auteurs proposent un cadre à deux étapes pour isoler et évaluer ces tendances :

1. DecisionQE : Mesurer les tendances intrinsèques

Pour séparer les tendances comportementales individuelles des facteurs confondants de la dynamique de groupe interactive (tels que l'attribution de rôles), les auteurs ont développé DecisionQE, un cadre basé sur des questionnaires.

• Structure : Le cadre évalue les modèles à travers six domaines liés à la décision : communication publique, prise de décision quotidienne, marketing et persuasion, présentation et expression, communication interpersonnelle, et négociation et interaction stratégique.
• Scoring : Il utilise 70 items dérivés de la littérature psychologique. Les réponses sont scorées sur un continuum allant de 0 (conforme) à 100 (persuasif).
• Stabilité : Les modèles ont été évalués sur cinq passages répétés pour assurer la stabilité de leurs profils de tendance.

2. Jeu du Loup-Garou : Banc d'essai interactif

Les auteurs ont utilisé le jeu du Loup-Garou comme banc d'essai interactif pour valider comment ces tendances mesurées affectent l'influence sociale et les résultats de groupe sous information asymétrique.

• Configuration : Les parties impliquaient huit joueurs (deux loups-garous, quatre villageois, une sorcière, un voyant). Les loups-garous connaissaient leurs coéquipiers et visaient à éliminer les villageois ; les villageois visaient à identifier et éliminer les loups-garous.
• Variables : L'étude a manipulé l'attribution des rôles pour créer des configurations spécifiques :
  • Allocation aléatoire : Pour évaluer la corrélation générale de performance.
  • Allocation contrôlée : Six configurations (Inverse, Haute, Basse) attribuaient des rôles informatifs (Loup-garou, Voyant, Sorcière) aux modèles à différents points du continuum persuasion-conformité pour tester les effets dépendants du rôle.
• Intégration Humain-LLM : Pour vérifier la cohérence comportementale, les auteurs ont mené des expériences où un participant humain remplaçait un LLM soit dans un rôle "bon" (villageois/voyant/sorcière), soit dans un rôle de "loup", interagissant avec sept LLM.

Principales contributions

1. Quantification des tendances comportementales : Le papier introduit une méthode standardisée (DecisionQE) pour mesurer et catégoriser les LLM le long d'un spectre persuasion-conformité, démontrant que différents modèles occupent des positions distinctes et stables sur ce continuum.
2. Découplage de la tendance et de la performance : L'étude établit que des scores de persuasion plus élevés ne se traduisent pas automatiquement par de meilleurs résultats de groupe. Au contraire, les modèles orientés vers la conformité démontrent souvent une performance supérieure dans les tâches coopératives.
3. Effet dual de la conformité : La recherche révèle une nature "à double tranchant" de la conformité : elle soutient la coopération lorsque les modèles sont dans des rôles honnêtes (villageois), mais améliore la dissimulation et le succès lorsqu'ils sont dans des rôles adverses (loups-garous).
4. Cohérence Humain-LLM : Les résultats montrent que les schémas dépendants du rôle observés dans les groupes uniquement composés de LLM persistent dans les interactions mixtes humain-LLM, suggérant que ces tendances sont un axe comportemental partagé pour analyser la prise de décision médiée par l'humain et l'IA.

Résultats

Profils de tendance

• Variation : Les modèles évalués ont montré une variation substantielle dans leurs scores de tendance. Par exemple, Kimi K2 et Gemini 3.5 ont obtenu les scores les plus élevés (les plus persuasifs), tandis que Doubao 1.5 et GLM 4 ont obtenu les plus bas (les plus conformistes).
• Stabilité : Les écarts-types intra-modèles étaient faibles (0,6–2,1 points), indiquant des profils comportementaux stables lors des évaluations répétées.

Performance de jeu (Allocation aléatoire)

• Taux de victoire : Les modèles ayant des tendances de persuasion plus fortes ont obtenu des taux de victoire globaux plus faibles (40,28 %–51,39 %). Inversement, les modèles modérément conformes et conformes ont obtenu des taux de victoire plus élevés (54,17 %–56,94 %).
• Survie et identification : Les modèles conformes ont survécu plus longtemps (3,10–3,24 tours contre 2,94–3,15) et ont atteint une précision d'identification de rôle plus élevée (43,75 %–52,78 % contre 35,42 %–41,67 %).

Résultats dépendants du rôle

• Succès de l'équipe "Bonne" : Les configurations où les modèles persuasifs étaient assignés aux rôles de loups-garous (les forçant à être agressifs) et les modèles conformes aux rôles bons (H1, R1) ont entraîné les taux de victoire les plus élevés pour l'équipe bonne (90,00 %).
• Succès de l'équipe "Loup" : Les configurations où les modèles conformes étaient assignés aux rôles de loups-garous (R2, L1) ont entraîné les taux de victoire les plus élevés pour l'équipe de loups-garous (45,00 %).
• Interprétation : Le comportement persuasif augmente la visibilité et l'initiative, ce qui aide à mobiliser un groupe mais attire l'attention dans les jeux à rôles cachés. Le comportement conforme permet aux modèles de se fondre dans la masse, facilitant la coordination dans les rôles honnêtes, mais améliorant la dissimulation dans les rôles adverses.

Expériences Humain-LLM

• Alignement comportemental : Les participants humains ont généralement obtenu des scores plus proches de l'extrémité conforme du spectre que les LLM évalués, bien qu'avec une variance plus élevée.
• Cohérence des résultats : Lorsque les humains jouaient des rôles bons, le taux de victoire de l'équipe (70 %) et les jours de survie étaient très proches de la condition H1 (LLM uniquement). Lorsqu'ils jouaient des rôles de loups, le taux de victoire de l'équipe de loups (80 %) s'alignait sur la condition R2, confirmant que les schémas dépendants du rôle se maintiennent dans les groupes mixtes.

Signification et affirmations

Le papier affirme que les interactions de groupe de LLM servent de cadre d'observation contrôlable pour la recherche sociologique, révélant des modèles mesurables de tendances comportementales intrinsèques qui vont au-delà du simple raisonnement de tâche.

• Implications pour la sécurité : Les auteurs soutiennent que les évaluations de sécurité doivent intégrer les tendances comportementales intrinsèques. Si les sorties agressives ou manipulatrices sont facilement signalées, les modèles orientés vers la conformité peuvent poser un risque unique dans les contextes adverses. Leur style coopératif à faible saillance peut masquer des objectifs dangereux, les rendant plus difficiles à détecter lors des contrôles.
• Changement d'évaluation : Les conclusions suggèrent que les systèmes de LLM fiables nécessitent des évaluations de sécurité "conscientes des tendances". Les modèles ne doivent pas être évalués uniquement sur la sécurité de sorties isolées, mais sur la manière dont leurs tendances intrinsèques (persuasion vs conformité) affectent la visibilité et la détectabilité des risques à travers des contextes interactifs et multi-tours.
• Perspective sociologique : L'étude pose que les LLM peuvent servir de prisme pour observer l'interaction médiée par le langage, démontant que les "auditeurs influents" (agents conformes) peuvent façonner les résultats de groupe aussi efficacement que, ou plus efficacement que, les persuasifs actifs, selon le contexte et les objectifs.