Résumé technique : Calibration épistémique pour les systèmes multi-agents basés sur les LLM

1. Définition du problème : Miscalibration épistémique dans la planification

L'article identifie un mode de défaillance distinct dans les systèmes multi-agents basés sur les modèles de langage (LLM), qualifié de miscalibration épistémique dans la planification. Contrairement aux erreurs d'exécution traditionnelles (par exemple, des sorties d'outils invalides ou des défauts de raisonnement logique), cette défaillance survient même lorsque toutes les actions sont exécutées correctement selon le plan.

Le problème fondamental survient lorsqu'un agent de planification attribue une confiance injustifiée à la faisabilité d'un plan basé sur des informations partielles. L'agent ne parvient pas à reconnaître les limites de ses connaissances dans des tâches nécessitant une acquisition itérative d'informations. Par conséquent, le système peut générer un plan qui semble cohérent et exécutable, mais qui est fondamentalement irréalisable par rapport à l'objectif. Cette miscalibration se caractérise par deux propriétés :

• Latence : Elle ne laisse aucun signal d'erreur explicite durant la phase de planification ; le plan apparaît cohérent, ce qui rend sa détection difficile avant l'exécution.
• Dynamique : À mesure que de nouvelles informations sont acquises, les évaluations de faisabilité évoluent. Les signaux de miscalibration passés peuvent être obscurcis par de nouvelles données, provoquant la récurrence des mêmes erreurs de planification au fil du temps.

Les méthodes de réparation existantes (débogage a posteriori ou surveillance de l'exécution en ligne) traitent principalement les erreurs d'exécution observables et reposent sur des signaux d'échec explicites. Elles échouent à traiter la miscalibration épistémique latente au niveau du plan, qui persiste même lors d'une exécution correcte.

2. Méthodologie : EPC-AW

Pour atténuer ce problème, les auteurs proposent le Workflow Agentique de Calibration de Planification Épistémique (EPC-AW). Plutôt que d'essayer de vérifier directement la faisabilité d'un plan (ce qui est souvent impossible sans informations complètes), EPC-AW évalue si un plan reste soutenu par les agents dans des conditions d'information variables. Le workflow fonctionne via trois agents spécialisés : un Planificateur, un Exécuteur et un Diagnostiqueur, chacun maintenant des mémoires privées hétérogènes.

EPC-AW se compose de deux composantes complémentaires :

A. Sélection de plans basée sur la cohérence de l'information (IPS)

Opérant au sein d'un seul tour de planification, l'IPS sert d'outil de diagnostic pour sélectionner des plans robustes sans signaux d'erreur explicites.

• Mécanisme : Le Planificateur génère un ensemble de plans candidats. Chaque agent (Planificateur, Exécuteur, Diagnostiqueur) évalue ces plans en fonction de son propre état d'information privé.
• Prédiction inter-agents : Les agents prédisent comment leurs pairs évalueraient les mêmes plans étant donné les états d'information distincts de ces pairs.
• Critères de sélection : Les plans sont notés en fonction de la cohérence de leurs évaluations à travers ces états d'information hétérogènes. Les plans dont les évaluations varient considérablement entre les agents sont jugés « épistémiquement fragiles ». Le système sélectionne le plan ayant le score de cohérence inter-agents le plus élevé, en supposant qu'un plan robuste face aux variations d'information a moins de risques de souffrir de miscalibration.

B. Raffinement de l'état épistémique guidé par la cohérence (CESR)

Opérant sur plusieurs tours, le CESR traite la nature dynamique de la miscalibration en apprenant des écarts passés.

• Mécanisme : Le système compare le plan sélectionné par le Planificateur (basé sur sa propre confiance) avec le plan sélectionné par l'IPS (basé sur la cohérence inter-agents).
• Induction de contraintes : Lorsqu'une divergence se produit (c'est-à-dire que le choix du Planificateur diffère du choix de l'IPS), le Diagnostiqueur génère une contrainte épistémique légère. Cette contrainte abstrait les caractéristiques structurelles ou les lacunes d'information qui ont conduit au mauvais jugement du Planificateur.
• Intégration mémoire : Ces contraintes sont accumulées dans la mémoire persistante du Planificateur. La planification future est guidée par ces contraintes, empêchant la récurrence de schémas spécifiques de miscalibration à mesure que le système accumule de nouvelles preuves.

3. Contributions clés

L'article apporte les contributions spécifiques suivantes :

1. Formalisation d'un nouveau mode de défaillance : Il définit la miscalibration épistémique dans la planification comme une cible de réparation distincte, mettant en évidence les défaillances qui résultent d'évaluations de faisabilité mal calibrées, même lorsque l'exécution est parfaite.
2. Mécanisme IPS : Il introduit une méthode pour sélectionner des plans qui restent stables entre des agents disposant d'informations hétérogènes, traitant ainsi le manque de signaux d'erreur observables dans la planification.
3. Mécanisme CESR : Il propose une approche pilotée par la mémoire pour adapter la calibration épistémique au fil du temps, utilisant les écarts passés pour contraindre la planification future et supprimer les mauvais jugements persistants.
4. Validation empirique : Des expériences extensives sur six benchmarks démontrent l'efficacité de l'approche.

4. Résultats expérimentaux

Les auteurs ont évalué EPC-AW sur six benchmarks diversifiés : Bamboogle, 2Wiki, HotpotQA, Musique, GAIA et MedQA. Ces jeux de données couvrent un spectre allant de l'inférence intensive en raisonnement à la résolution de problèmes en monde ouvert basée sur la recherche.

• Gains de performance : EPC-AW a obtenu une amélioration absolue moyenne de 9,75 % du taux de réussite au niveau du système par rapport à la référence « No-Repair » (AgentFlow standard).
• Comparaison avec les références : EPC-AW a surpassé les stratégies de réparation existantes, notamment Retry (régénération métacognitive locale) et Rollback (récupération d'état au niveau du système). Par exemple, sur le benchmark 2Wiki, EPC-AW a amélioré la précision de 12,83 % par rapport à la référence, surpassant significativement Retry (+9,00 %) et Rollback (+7,00 %).
• Études d'ablation : La suppression de l'IPS ou du CESR a entraîné une dégradation des performances, confirmant que la sélection de cohérence intra-tour et la rétroaction de contraintes inter-tours sont toutes deux essentielles.
• Généralisation : La méthode a démontré une robustesse à travers différents modèles de base LLM (Qwen3-14B, Qwen3-30B, DeepSeek-R1-32B), suggérant que l'approche ne dépend pas d'architectures de modèles spécifiques.
• Analyse des coûts : La surcharge computationnelle supplémentaire introduite par l'IPS (évaluation parallèle des plans candidats) et le CESR (injection de contraintes) est minimale. La complexité temporelle asymptotique reste $O(T \cdot (\tau_{llm} + \tau_{tool}))$, les coûts en jetons évoluant principalement avec les mémoires et contextes de récupération existants plutôt que d'introduire de nouveaux goulots d'étranglement.

5. Signification et revendications

L'article revendique que EPC-AW déplace le paradigme de l'atténuation des défaillances de la correction au moment de l'exécution vers la calibration épistémique au moment de la planification. En traitant la calibration épistémique comme une considération au niveau du système, l'approche permet aux systèmes multi-agents de mieux identifier les plans peu fiables et de réviser les trajectoires de raisonnement avant que les erreurs ne se propagent.

Les auteurs positionnent ce travail comme une étape vers un déploiement plus fiable des systèmes multi-agents basés sur les LLM dans des environnements avec des informations incomplètes et évolutives. Ils soulignent que leur méthode améliore la réussite des tâches en réduisant les évaluations de faisabilité non étayées, sans introduire de nouvelles capacités ni de préoccupations éthiques au-delà de celles déjà étudiées dans le déploiement des LLM. Le travail souligne l'importance de traiter les défaillances de planification latentes qui sont invisibles pour la surveillance traditionnelle de l'exécution.