Preserving Disagreement: Architectural Heterogeneity and Coherence Validation in Multi-Agent Policy Simulation

1. Énoncé du problème

L'article aborde un mode de défaillance critique dans les systèmes de délibération multi-agents basés sur les grands modèles de langage (LLM) utilisés pour la simulation de politiques normatives : le consensus artificiel.

• Le phénomène : Dans la délibération politique (où aucune réponse objectivement correcte n'existe), les agents assignés à différentes perspectives de valeurs (par exemple, Sécurité vs Tolérance au risque) convergent souvent vers la même option politique. Cela crée une illusion d'accord qui obscurcit les compromis réels et les tensions de valeurs.
• Causes :
  1. Biais inductif partagé : Lorsque tous les agents utilisent le même modèle sous-jacent, ils partagent les données d'entraînement, les préférences RLHF et les schémas de raisonnement, agissant effectivement comme le même raisonneur portant différents « chapeaux ».
  2. Captation du débat : Les agents représentant des perspectives minoritaires sont persuadés par les arguments majoritaires pendant les phases de débat, abandonnant leurs points de vue assignés pour adopter la position la plus convaincante (souvent majoritaire).
• Distinction par rapport aux tâches de précision : Contrairement aux débats factuels ou mathématiques où la convergence signale la justesse, dans la délibération normative, la convergence est un mode de défaillance. La valeur du système réside dans la cartographie de la divergence, et non dans sa résolution.

2. Méthodologie : Le cadre du Conseil IA

Les auteurs proposent Le Conseil IA, un système de délibération en trois phases conçu pour simuler des débats politiques multi-parties prenantes tout en préservant le désaccord fondé sur les valeurs.

Architecture du système

Le système fonctionne sur du matériel grand public en utilisant sept modèles hébergés localement de 7 à 9 milliards de paramètres, avec un seul appel API à un modèle de pointe pour la validation.

1. Phase 1 : Débat structuré : Trois agents « Champions » défendent des options politiques spécifiques. Ils présentent des notes de position, critiquent les autres options selon leur lentille de valeur spécifique et défendent leurs positions.
2. Phase 2 : Évaluation indépendante : Sept agents « Évaluateurs », chacun amorcé avec une perspective de valeur distincte (par exemple, Focus Sécurité, Pragmatisme, Tolérance au risque), lisent indépendamment le corpus du débat et classent les options. Crucialement, les évaluateurs ne voient pas les sorties des autres.
3. Phase 3 : Validation de la cohérence (Optionnelle) : Une couche « Delphi » utilise un modèle de pointe (Claude Sonnet 4) pour évaluer si le raisonnement de chaque évaluateur est véritablement ancré dans sa perspective de valeur assignée, générant un score de cohérence [0,0, 1,0].

Conception expérimentale

L'étude emploie une conception à trois états sur deux scénarios politiques :

• État A (Homogène) : Tous les agents utilisent le même modèle de base (Mistral-7B).
• État B (Hétérogène) : Chaque agent utilise un modèle différent d'un pool diversifié (modèles de 7 à 9 milliards de paramètres de diverses organisations, par exemple Qwen, Mistral, DeepSeek, Gemma).
• État C (Hétérogène + Delphi) : L'État B est traité après coup avec un score pondéré par la cohérence (utilisant une variante du compte Borda modifié).

Scénarios testés :

1. Intervention en matière de protection de l'enfance : Comporte une « option dominante » (Préservation intensive de la famille) où un choix est intrinsèquement supérieur, testant la capacité du système à détecter la domination par rapport au consensus artificiel.
2. Crise du logement urbain : Comporte des « options véritablement concurrentes » (Contrôle des loyers vs Dérégulation vs Logement public) sans hiérarchie inhérente, testant la capacité du système à maintenir des points de vue diversifiés.

Métriques :

• Concentration du premier choix (FCC) : Mesure le degré d'accord sur l'option principale.
• Marge Borda : L'écart entre les deux options classées en tête.
• Perspectives effectives : Entropie de Shannon de la distribution des votes.
• Taux de tension fiable : La fraction des conflits de valeurs théoriques où les deux parties raisonnent fidèlement (cohérence élevée).

3. Contributions clés

1. L'hétérogénéité architecturale comme solution : Démontre que l'attribution de différents LLM à différentes perspectives de valeurs réduit considérablement le consensus artificiel dans les tâches normatives, une conclusion qui contraste avec la littérature sur les débats orientés vers la précision.
2. Le compromis Fidélité–Diversité : Introduit et documente un nouveau compromis où l'évaluation de la qualité du raisonnement (fidélité) peut involontairement réduire la diversité si les modèles de haute qualité s'accordent par hasard, tandis que les modèles de moindre qualité fournissent les voix dissidentes.
3. Contraintes empiriques sur les petits modèles : Signale des résultats négatifs de trois conceptions Delphi échouées (exposition par les pairs, filtrage des tensions de valeurs, auto-confrontation), révélant que les modèles de 8 milliards de paramètres présentent des réponses binaires aux contre-arguments (soit maintien de la position, soit capitulation totale) plutôt qu'une nuance graduée.
4. Métrique diagnostique : Propose le Taux de tension fiable comme mesure de référence pour la capacité des systèmes de délibération de petits modèles.

4. Résultats clés

A. Hétérogénéité architecturale (État A vs État B)

L'utilisation de modèles différents pour différentes perspectives a considérablement réduit le consensus artificiel dans les deux scénarios :

• Protection de l'enfance : La concentration du premier choix est passée de 70,9 % (Homogène) à 46,1 % (Hétérogène) ($p < 0,001$, $r=0,58$).
• Logement : La concentration du premier choix est passée de 46,0 % à 22,9 % ($p < 0,001$, $r=0,50$).
• Interprétation : L'hétérogénéité perturbe les biais inductifs partagés. Contrairement aux tâches de précision où les modèles convergent vers la « vérité » indépendamment de l'architecture, dans les tâches normatives, différentes architectures encodent différents priors de valeurs, empêchant un accord spurious.

B. Validation de la cohérence (État B vs État C)

L'effet de la validation de la cohérence était dépendant du scénario, révélant le compromis Fidélité–Diversité :

• Protection de l'enfance (Option dominante) : La validation de la cohérence a réduit davantage la concentration (46,1 % $\to$ 40,8 %). Elle a réussi à dépondérer les évaluateurs à faible cohérence qui avaient été « capturés » par la vue majoritaire, amplifiant les quelques vrais dissidents.
• Logement (Options concurrentes) : La validation de la cohérence a augmenté la concentration (22,9 % $\to$ 26,6 %). Dans ce scénario, les modèles à la cohérence la plus élevée (assignés au Focus Performance et à la Tolérance au risque) se sont naturellement regroupés autour de l'option « Déréguler ». Les modèles à faible cohérence (Pragmatisme, Simplicité) étaient ceux qui apportaient la diversité. Le pondérage par la fidélité a involontairement fait taire les voix diversifiées et de moindre qualité, augmentant le consensus.

C. Comportement des modèles et résultats négatifs

• Réponse binaire : Les modèles de 8 milliards de paramètres n'ont pas réussi à engager un raisonnement de type « considérer et rejeter ». Lorsqu'ils étaient exposés à des contre-arguments lors des tours Delphi échoués, ils soit maintenaient fermement leur position, soit basculaient complètement (capitulation sycophante).
• Taux de tension fiable : Dans les deux scénarios, seulement ~50 % des conflits de valeurs théoriques étaient « fiables » (les deux parties raisonnant fidèlement). Cela établit une limite de base pour les capacités actuelles de délibération des modèles de 7 à 9 milliards de paramètres.

5. Signification et implications

• Pour la simulation de politiques : L'article soutient que la diversité des modèles n'est pas optionnelle mais constitue un mécanisme principal pour générer des résultats utiles dans les domaines normatifs. S'en remettre à un seul modèle (même avec des invites différentes) conduit à un consensus artificiel.
• Pour la sécurité de l'IA : Les résultats soulignent que les petits modèles (7–9 milliards) sont fragiles dans des conditions de débat adversaires, présentant une capitulation binaire. L'isolement architectural (empêchant les agents de voir les sorties des autres pendant l'évaluation) est une mesure de sécurité nécessaire.
• Principe de conception : Le compromis Fidélité–Diversité suggère que dans les systèmes multi-agents, le pondérage de la qualité (fidélité) et la préservation de la diversité sont des objectifs concurrents. Les praticiens devraient signaler les résultats pondérés et non pondérés ; la divergence entre eux indique quelles perspectives sont modélisées de manière fiable et lesquelles souffrent d'un raisonnement de faible fidélité.
• Limites : L'étude repose sur un pool spécifique de modèles de 7 à 9 milliards de paramètres et deux scénarios. Le « Taux de tension fiable » d'environ 50 % indique que si le système préserve le désaccord, la qualité de ce désaccord est actuellement limitée.

En conclusion, le Conseil IA démontre que préserver un désaccord authentique dans la simulation de politiques par l'IA nécessite une hétérogénéité architecturale pour briser les biais partagés, tout en reconnaissant que la validation de la cohérence introduit des compromis complexes entre la qualité du raisonnement et la diversité des points de vue.