Résumé technique : Graphe contrefactuel pour le calibrage de modèles LLM multi-agents

Énoncé du problème

Les systèmes de modèles de langage de grande taille (LLM) multi-agents reposent de plus en plus sur le consensus entre les agents pour déterminer la fiabilité d'une réponse. L'hypothèse prédominante est qu'un accord élevé (par exemple, une part de vote élevée) est corrélé à une exactitude élevée. Cependant, cet article démontre que cette hypothèse échoue lorsque les agents communiquent. La communication peut induire des défaillances corrélées et un faux consensus, faisant en sorte que la même part de vote reflète soit un accord indépendant fiable, soit des erreurs couplées et trop confiantes, selon la topologie de communication.

Les méthodes de calibrage existantes font face à trois limitations principales :

1. Calibrage aveugle à la dépendance : La plupart des méthodes traitent les réponses des agents comme des échantillons indépendants, compressant le désaccord en mesures scalaires (ex: part de vote, entropie). Cela élimine l'information structurelle nécessaire pour distinguer la diversité bénigne de l'accord préjudiciable.
2. Calibrage d'agents hétérogènes : Les travaux existants supposent souvent que les agents sont instanciés à partir d'une politique de LLM unique, ne tenant pas compte des panels divers possédant des frontières de connaissances et des modes de défaillance distincts.
3. Généralisation de la topologie : Les méthodes actuelles sont largement validées sur des systèmes de type "tous-à-tous" (débat) et ne se généralisent pas aux topologies diverses comme les chaînes, les structures moyeu-rayons (hub-spoke) ou les arbres.

Les auteurs identent deux modes de défaillance récurrents dans le calibrage multi-agent :

• Sous-confiance induite par la diversité (DUC - Diversity-Induced Under-Confidence) : Dans les panels hétérogènes, les agents incorrects peuvent se disperser sur différentes réponses erronées. Cela abaisse la part de vote de la réponse plurale, provoquant une sous-estimation de la fiabilité alors même que la réponse plurale est correcte.
• Sur-confiance induite par la communication (COC - Communication-Induced Over-Confidence) : La communication peut amener les agents à converger vers la même mauvaise réponse par influence. Cela gonfle la part de vote, provoquant une surestimation de la fiabilité.

Méthodologie : CAGE-CAL

Pour répondre à ces problèmes, les auteurs proposent CAGE-CAL (Counterfactual Agent-Graph Calibration), un cadre qui calibre la confiance en modélisant la structure de dépendance derrière l'accord des agents.

Mécanisme central : Décalage de graphe contrefactuel

Pour chaque requête, CAGE-CAL construit deux graphes appariés sur le même ensemble d'agents :

1. Graphe observé ($G^T_x$) : Représente les dépendances des agents après qu'ils ont communiqué sous une topologie $T$ spécifique.
2. Graphe contrefactuel ($G^0_x$) : Représente les dépendances des mêmes agents s'ils avaient répondu de manière indépendante (IID) sans communication.

Le cadre calcule le décalage contrefactuel ($\Delta h^T_x = h^T - h^0$) entre les représentations observée et contrefactuelle. Ce décalage isole la dépendance induite spécifiquement par la communication, permettant au calibrateur de distinguer l'évidence indépendante de la défaillance corrélée.

Construction du graphe

Le cadre modélise les dépendances à deux niveaux :

• Arêtes de dépendance par paire : Capturent la dépendance locale entre les agents basée sur l'adjacence de communication et les corrélations de correction conditionnelles à l'instance (estimées à partir des données d'entraînement).
• Hyperarêtes de niveau groupe : Capturent les dépendances d'ordre supérieur découlant des familles de modèles partagées, des rôles de prompting, des clusters de réponses et de l'exposition à la topologie. Celles-ci sont traitées comme des unités de dépendance plutôt que comme des métadonnées.

Architecture

1. Encodeur de graphe d'agent de calibrage : Un réseau de neurones sur graphe partagé encode les graphes observé et contrefactuel. Il met à jour les représentations des agents en agrégeant les caractéristiques des arêtes par paire et les informations des hyperarêtes de groupe.
2. Calibrage par décalage contrefactuel : L'encodeur produit des représentations pour l'état observé ($h^T$), l'état contrefactuel ($h^0$) et leur différence ($\Delta h^T_x$). Celles-ci sont concaténées avec des identifiants de référence et injectées dans un perceptron multicouche (MLP) pour prédire la probabilité calibrée de correction.
3. Objectif d'entraînement : Le modèle est entraîné en utilisant une combinaison d'entropie croisée binaire lissée (pour la discrimination) et d'une pénalité de Brier (pour le calibrage de la probabilité).

CAGE-SELECT

Les auteurs étendent le cadre à CAGE-SELECT, un mécanisme de routage qui utilise les scores de confiance calibrés pour sélectionner dynamiquement la topologie de communication la plus fiable pour chaque requête, plutôt que de s'engager dans une topologie fixe unique.

Contributions clés

1. Analyse des modes de défaillance : L'article fournit une analyse systématique identifiant la DUC et la COC comme des modes de défaillance opposés, pilotés par l'interaction entre la diversité des agents et la topologie de communication.
2. Cadre CAGE-CAL : Un nouveau cadre de calibrage qui contraste les graphes post-communication avec les graphes contrefactuels IID pour modéliser les dépendances de défaillance, gérant efficacement les agents hétérogènes et les topologies diverses.
3. Validation empirique : Évaluation sur cinq benchmarks (TriviaQA, TruthfulQA, MMLU-Pro, GSM8K, BIG-Bench Hard) et cinq topologies (IID, débat, chaîne, moyeu-rayon, arbre).

Résultats expérimentaux

• Performance de calibrage : CAGE-CAL atteint le meilleur ECE (Expected Calibration Error) moyen de 5,56 et l'AUROC moyen le plus élevé de 83,61, surpassant les bases solides comme DiscoUQ-LLM (ECE 7,08, AUROC 73,46).
• Robustesse : La méthode démontre une forte généralisation dans les configurations "laisser une topologie de côté" (leave-one-topology-out), maintenant un AUROC élevé (82,21) sur des topologies non vues, là où les bases scalaires se dégradent considérablement.
• Correction des modes de défaillance : L'analyse visuelle confirme que CAGE-CAL corrige avec succès la sous-confiance dans les scénarios riches en diversité et la sur-confiance dans les scénarios riches en communication, rapprochant les courbes de fiabilité de la ligne de calibrage parfaite.
• Sélection de topologie : CAGE-SELECT améliore la précision finale du panel à 67,23 %, soit un gain de 2,05 points de pourcentage par rapport à la meilleure stratégie de topologie fixe (65,18 %), démontrant que la confiance calibrée est comparable entre différentes topologies.

Signification et affirmations

L'article affirme que l'accord seul est un signal de confiance peu fiable dans les systèmes multi-agents. La signification de ce travail réside dans le passage d'un paradigme de calibrage basé sur le comptage des votes à une analyse de la manière dont ces votes ont été formés. En modélisant explicitement le décalage contrefactuel causé par la communication, CAGE-CAL sépare l'évidence indépendante de la défaillance corrélée.

Les auteurs soulignent que cette approche n'est pas simplement une amélioration des scores métriques, mais un prérequis pour le déploiement fiable et sûr des systèmes multi-agents, où les signaux de confiance dictent directement les décisions en aval (ex: acceptation automatique vs revue humaine). La capacité du cadre à se généraliser à travers les topologies et à gérer des populations d'agents hétérogènes répond à des lacunes critiques de la recherche actuelle sur la fiabilité multi-agent.

Limites : Les auteurs notent que la participation des agents n'est pas optimisée (les panels sont tirés d'un pool fixe) et que la communication n'est pas conjointement optimisée avec le calibrage, suggérant que des travaux futurs pourraient explorer la sélection adaptative des agents et le routage.