Résumé Technique : L'Illusion Délibérative dans les LLM Multi-Agents

Définition du Problème

Les systèmes de modèles de langage de grande taille (LLM) multi-agents sont fréquemment conçus pour améliorer le raisonnement et la véracité par l'interaction, opérant sous l'hypothèse que le consensus indique une intégration réussie de diverses preuves. Cependant, cet article identifie un mode de défaillance critique dans les tâches délibératives : l'illusion délibérative. Ce phénomène se produit lorsque les agents semblent raisonner collectivement et converger vers un consensus, alors que la base de preuves sous-jacente nécessaire à cette délibération s'érode progressivement.

Les auteurs soutiennent que pour les problèmes délibératifs — particulièrement ceux impliquant des questions socialement contestées ou chargées de valeurs — la fiabilité ne dépend pas simplement de la capacité à parvenir à un accord, mais de la capacité des agents à préserver les faits spécifiques, les incertitudes et les désaccords légitimes nécessaires pour interpréter la question. Les systèmes multi-agents actuels échouent souvent à cette condition, produisant un consensus en écartant les preuves mêmes et les considérations minoritaires qui rendent la question délibérative en premier lieu.

Méthodologie : DELIBTRACE

Pour mesurer ce processus caché, les auteurs introduisent DELIBTRACE, un cadre d'évaluation qui traite la délibération multi-agents comme un problème de flux d'informations traçable. Le cadre opère à travers quatre étapes clés :

1. Construction et Étiquetage des Faits :

   • Le contexte de fond d'une question est décomposé en faits atomiques : des propositions courtes, autonomes et vérifiables.
   • Ces faits sont étiquetés soit comme critiques (dont l'omission pourrait changer l'interprétation ou le jugement de la question), soit comme non critiques.
   • Ce processus est fondé sur les travaux antérieurs sur l'évaluation de la factualité atomique (Min et al., 2023) et la théorie du cadrage (Entman et al., 1993).

2. Initialisation des Agents et Contrôle des Perspectives :

   • Les agents sont initialisés avec des sous-ensembles situés de l'ensemble des faits atomiques, simulant l'asymétrie d'information présente dans la délibération réelle (Stasser et Titus, 1985).
   • Chaque agent se voit assigner une posture préalable (OUI/NON) pour capturer le désaccord initial.
   • Cette configuration garantit que le système détient collectivement l'intégralité de la base de preuves, mais que chaque agent ne possède qu'une vue partielle.

3. Délibération Contrôlée :

   • Les agents échangent des réponses sous trois topologies de communication distinctes : totalement connectée, arbre binaire et chaîne.
   • Le cadre suit la survie des faits et l'évolution des postures à travers plusieurs cycles de discussion.

4. Métriques d'Évaluation :

   • Survie Factuelle : Mesurée via l'indice de Jaccard au niveau du système (union des faits conservés par n'importe quel agent) et au niveau de l'agent (faits conservés par chaque agent individuel). Cela distingue la rétention globale de la rétention des faits critiques de l'enjeu.
   • Effondrement de la Posture : Mesuré via l'entropie de la posture. Une entropie élevée indique des positions diverses, tandis qu'une entropie faible indique une convergence. Le cadre recherche spécifiquement une "sur-convergence" où l'entropie chute de manière significative alors que la rétention factuelle décline également.

Résultats Clés

L'étude a été menée sur deux domaines (ETHICS, dérivé de scénarios Reddit "Am I the Asshole ?" et NEWS, dérivé d'articles de débats publics) en utilisant trois familles de LLM représentatives : GPT-4.1, Gemini-3 et Qwen-3.5.

• Attrition Factuelle Substantielle : La discussion multi-agents entraîne une perte progressive des faits atomiques critiques. Lors du dernier tour, les systèmes ont effacé jusqu'à 72 % des faits atomiques critiques au niveau du système et jusqu'à 84,8 % au niveau de l'agent. Cette perte est amplifiée par la communication inter-agents ; les agents perdent nettement plus de preuves en répondant et en résumant les propos des autres qu'en révisant leurs propres réponses de manière isolée.
• Homogénéisation des Postures : À mesure que la discussion progresse, l'entropie de la posture diminue drastiquement, indiquant que les agents convergent vers des positions partagées. Cette convergence se produit souvent alors que la base factuelle de ces positions rétrécit.
• L'Illusion Délibérative : L'article démontre que les agents peuvent être plus d'accord tout en en sachant moins. Le consensus résultant est souvent une "conclusion biaisée" qui omet les preuves concrètes, les conditions et les distinctions nécessaires à une interprétation fidèle.
• Conséquences en Aval :
  • Reconstruction Trompeuse : Les faits conservés deviennent souvent trop abstraits pour reconstruire fidèlement l'enjeu original. Dans le domaine NEWS, l'intersection des faits partagés par tous les agents a conduit à des reconstructions trompeuses dans environ 90 % des cas au Round 3.
  • Erreurs de Jugement : L'attrition factuelle a fait que le jugement final du système était incorrect dans 19,2 % des cas où le modèle de base aurait été correct compte tenu du contexte complet.
  • Ancrage des Préjugés (Prior Anchoring) : Le consensus final s'aligne plus étroitement sur les tendances préalables du modèle de base (taux de correspondance de 0,65–0,76) que sur l'intégration des preuves, suggérant que la discussion tire les groupes vers les biais préexistants du modèle plutôt que de synthétiser de nouvelles perspectives.
  • Vulnérabilité à la Désinformation : Un agent malveillant injectant de la désinformation dans le contexte partagé en réduction peut faire en sorte que cette désinformation persiste dans 58,9 % des sorties finales du système, même lorsque les agents sincères possèdent collectivement les preuves pour la réfuter.

Signification et Revendications

L'article affirme que le consensus est un indicateur peu fiable de la qualité délibérative. La contribution principale est l'identification et la mesure de l'« illusion délibérative », où l'apparence d'un raisonnement collectif masque l'érosion du fondement factuel.

Les auteurs soutiennent que les évaluations multi-agents actuelles, qui se concentrent souvent sur l'exactitude de la réponse finale ou la cohérence, ne parviennent pas à capturer si le processus de délibération préserve la diversité et les preuves requises pour des résultats dignes de confiance. Ils affirment que pour que les systèmes multi-agents soient fiables dans des contextes délibératifs, les évaluations futures doivent mesurer :

1. Quels faits spécifiques survivent à l'interaction.
2. Si les incertitudes et les désaccords légitimes sont préservés.
3. Si l'accord final est basé sur l'intégration des preuves ou simplement sur le résultat de l'attrition factuelle et de l'homogénéisation des postures.

L'article conclut que si l'interaction multi-agents est prometteuse, les implémentations actuelles dégradent souvent les conditions épistémiques nécessaires pour que cette promesse se réalise, nécessitant de nouveaux protocoles qui privilégient la préservation des preuves sur la vitesse de convergence.