Résumé Technique : Réseaux de Contagion : Propagation du Biais de l'Évaluateur dans les Systèmes Multi-Agents LLM

1. Énoncé du Problème

Dans les systèmes multi-agents basés sur les Grands Modèles de Langage (LLM), les agents évaluent fréquemment les sorties de leurs pairs pour guider la collaboration, allouer les tâches et sélectionner les réponses. Bien que ce mécanisme d'évaluation par les pairs soit central à des frameworks tels qu'AutoGen et MetaGPT, il crée une boucle de rétroaction fermée où les jugements biaisés d'un agent influencent directement les sorties ultérieures d'un autre.

Le problème central abordé est la Propagation du Biais de l'Évaluateur : le phénomène par lequel les biais de jugement systématiques (par exemple, une préférence pour le raisonnement étape par étape ou les réponses fondées sur des preuves) se propagent à travers le réseau d'agents. Si elle n'est pas contrôlée, cette propagation peut mener à un effondrement de la préférence systémique, où l'ensemble du réseau converge vers une stratégie unique, éliminant la diversité cognitive que les systèmes multi-agents sont censés exploiter. L'article examine si ces biais se propagent entre les agents et sous quelles conditions ils dégénèrent en une défaillance systémique.

2. Méthodologie

Cadre Théorique : Réseaux de Contagion

Les auteurs formalisent la propagation du biais en utilisant un cadre appelé Réseaux de Contagion, en s'appuyant sur une analogie avec les modèles épidémiologiques (SIS/SIR).

• Matrice de Contagion Inter-Agents ($\Gamma_N$) : Une matrice $N \times N$ où les entrées hors diagonale $\gamma_{j \to i}$ représentent le coefficient de contagion — l'ampleur du changement de distribution de stratégie de l'agent $A_i$ après $R$ cycles d'évaluation par l'agent $A_j$.
• Dynamique de Propagation : La propagation du biais le long d'un chemin de longueur $L$ est quantifiée par le facteur cumulatif $\beta_L = \prod \gamma$.
• Classification des Régimes : Le comportement du système est régi par le rayon spectral $\rho(\Gamma_N)$ :
  • Suppression ($\rho < 1$) : Le biais s'atténue à chaque saut.
  • Persistance ($\rho \approx 1$) : Le biais se propage avec une décroissance minimale.
  • Cascade ($\rho > 1$) : Le biais s'amplifie, menant à un effondrement de la préférence.
• Atténuation par la Diversité : Le Théorème 2 postule qu'augmenter le nombre d'évaluateurs indépendants ($k$) possédant des profils de préférence diversifiés réduit le facteur de contagion effectif $\gamma_{eff}$, permettant potentiellement de briser la condition de cascade.

Conception Expérimentale

L'étude utilise une expérience contrôlée à 3 agents utilisant DeepSeek-chat (deepseek-v4-flash) pour établir une borne inférieure de la contagion au sein d'une famille de modèles homogène.

• Configuration des Agents : Trois agents (A, B, C) différenciés uniquement par leurs prompts de biais d'évaluation :
  • Agent A : Biais de structure (préfère le raisonnement étape par étape).
  • Agent B : Équilibré (neutre).
  • Agent C : Biais de preuve (préfère les réponses fondées sur des preuves).
• Mécanisme d'Apprentissage : Les agents mettent à jour leurs poids de stratégie via l'Apprentissage par Renforcement au Temps de Test (TTRL), un mécanisme d'adaptation sans paramètres qui ajuste multiplicativement les distributions d'échantillonnage de stratégie basées sur le feedback de l'évaluateur.
• Phases :
  1. Baseline : Mesure des profils de préférence autonomes.
  2. Contagion par Paire : Mesure de $\gamma_{i \to j}$ pour toutes les paires ordonnées afin de construire $\Gamma_3$.
  3. Propagation en Chaîne : Simulation d'une chaîne à 3 sauts ($A \to B \to C$) pour mesurer l'atténuation cumulative.
  4. Atténuation : Test de l'effet de l'augmentation de la taille du comité d'évaluateurs ($k=1, 2, 3$) sur la contagion effective.

3. Résultats Clés

1. Contagion Mesurable mais Faible dans les Systèmes Homogènes

Même au sein de la même famille de modèles sous-jacents, les biais d'évaluation se propagent systématiquement entre les agents.

• Coefficients de Contagion : Les entrées hors diagonale de $\Gamma_3$ variaient de 0,143 à 0,304 (moyenne $\gamma \in [0,157, 0,352]$).
• Asymétrie : La contagion était asymétrique ; l'agent biaisé par les preuves (C) exerçait la contagion sortante la plus forte ($\bar{\gamma}_{C \to \cdot} = 0,241$), tandis que l'agent biaisé par la structure (A) exerçait la plus faible ($\bar{\gamma}_{A \to \cdot} = 0,154$).

2. Régime de Suppression vs Régime de Cascade

Le système opérait dans le Régime de Suppression sous une topologie de chaîne.

• Atténuation de la Chaîne : Dans une chaîne à 3 sauts ($A \to B \to C$), le facteur de propagation cumulatif était $\beta_3 = 0,0055$, indiquant une atténuation quasi complète du biais après trois sauts.
• Sensibilité Topologique : Bien que la topologie de chaîne présente une suppression (tous les $\gamma < 1,0$), le rayon spectral de la matrice entièrement connectée était $\rho(\Gamma_3) \approx 1,402$. Cela suggère que ces mêmes agents pourraient entrer dans un Régime de Cascade s'ils étaient déployés dans une topologie entièrement connectée, bien qu'ils restent stables dans une chaîne.
• Homogène vs Cross-Modèle : Ces coefficients de modèles homogènes (0,14–0,30) sont 3 à 5 fois plus faibles que les coefficients cross-modèles observés dans des travaux antérieurs (MM-EPC : GPT-4o $\to$ DeepSeek, $\gamma \approx 0,85–1,3$). Cela soutient l'hypothèse selon laquelle une architecture partagée fournit une régularisation implicite contre l'amplification du biais.

3. La Diversité des Évaluateurs comme Stratégie d'Atténuation

L'augmentation de la taille du comité d'évaluateurs a considérablement réduit la contagion effective.

• Réduction : Passer d'un comité de $k=1$ à $k=3$ a réduit le facteur de contagion effectif ($\gamma_{eff}$) de 72,4 % (de 0,264 à 0,073).
• Récupération de la Diversité : L'entropie de stratégie ($H$) s'est approchée du maximum théorique ($\ln 5 \approx 1,609$) à mesure que la taille du comité augmentait, confirmant que des évaluateurs diversifiés maintiennent la diversité cognitive même dans les régimes de suppression.

4. Contributions

1. Matrice de Contagion Inter-Agents ($\Gamma_N$) : Un cadre formel étendant la mesure du biais des contextes à 2 agents ou cross-modaux à des topologies arbitraires à $N$ agents.
2. Théorème des Régimes de Propagation : Une caractérisation de trois régimes dynamiques (Suppression, Persistance, Cascade) régis par le rayon spectral $\rho(\Gamma_N)$, prouvant que $\rho > 1$ est la condition de cascade dans les réseaux entièrement connectés.
3. Validation Empirique de la Suppression : Démonstration que les agents de modèles homogènes opèrent dans un régime de suppression avec une atténuation rapide du biais ($\beta_3 = 0,0055$), contrastant avec le régime de cascade observé dans les interactions cross-modèles.
4. Seuil Critique de Diversité : Preuve et vérification qu'un comité de $k \ge 3$ évaluateurs diversifiés réduit la contagion effective sous les seuils de cascade, fournissant une stratégie d'atténuation actionnable.
5. Framework Ouvert : Publication du framework expérimental de Réseau de Contagion pour permettre à la communauté de mesurer $\Gamma_N$.

5. Signification et Revendications

L'article affirme fournir la première analyse de la propagation du biais dans les chaînes d'évaluation multi-agents, révélant que les biais des évaluateurs se comportent comme des agents infectieux dans un réseau de contact.

• Vision Unifiée du Biais : Ce travail se connecte aux recherches antérieures sur le MM-EPC pour définir un « spectre de contagion » unifié. Il pose que la diversité cross-modèle amplifie la propagation du biais (menant à un effondrement potentiel), tandis que les pools d'évaluateurs homogènes fournissent une suppression naturelle.
• Implications de Conception : Les auteurs soutiennent que les concepteurs de systèmes multi-agents devraient :
  • Préférer des familles de modèles homogènes avec des prompts diversifiés plutôt que des familles de modèles hétérogènes pour éviter d'amplifier le biais.
  • Mesurer $\Gamma$ avant le déploiement pour diagnostiquer les risques potentiels de cascade.
  • Utiliser des comités d'évaluateurs ($k \ge 3$) comme stratégie de défense en profondeur.
  • Surveiller l'entropie de la stratégie comme indicateur de santé en temps réel du système.

L'article conclut sur une leçon pratique : « Lorsque vous construisez un système multi-agents où les agents s'évaluent les uns les autres, vous construisez un réseau de contagion. » Il souligne la nécessité de mesurer les matrices de contagion et de maintenir la diversité des évaluateurs pour préserver la diversité cognitive essentielle aux tâches de raisonnement complexe.