Résumé technique : Unification de l'attribution de crédit temporelle et structurelle dans l'optimisation de prompts pour des systèmes multi-agents basés sur les LLM

1. Énoncé du problème

L'article aborde le problème d'attribution de crédit (CAP) au sein des systèmes multi-agents (MAS) basés sur les grands modèles de langage (LLM). Bien que les cadres MAS permettent un raisonnement complexe grâce à une interaction collaborative (par exemple, les rôles de proposant, de débateur et de synthétiseur), l'optimisation de leurs dynamiques est entravée par deux facteurs principaux :

1. Nature discrète et non différentiable : Le graphe de calcul est constitué de jetons de texte discrets, empêchant la rétropropagation standard.
2. Supervision globale et sparse : La rétroaction est typiquement un score scalaire unique à l'état terminal, s'appliquant à l'ensemble de la trajectoire plutôt qu'à des composants spécifiques.

Les optimiseurs boîte noire existants (par exemple, algorithmes évolutionnaires, apprentissage par renforcement) peinent à attribuer les échecs au niveau de la trajectoire à des composants locaux spécifiques (agents ou tours de raisonnement). Cela se traduit par une exploration inefficace et à forte variance lors de la recherche dans le vaste espace des prompts couplés ($O(N \times R)$ pour $N$ agents et $R$ tours). Les auteurs soutiennent qu'une optimisation traitable nécessite des biais inductifs structurels pour démêler les signaux d'erreur.

2. Méthodologie

Le cadre proposé introduit deux relaxations structurelles pour transformer le graphe d'interaction chaotique en un paysage d'optimisation structuré, suivi d'un algorithme d'optimisation discrète.

A. Biais inductifs structurels

1. Goulot d'étranglement de l'espace d'états (Structure temporelle) :
   • Un module d'agrégation explicite est inséré à chaque tour pour résumer les messages des agents en un état système partagé $S_t$.
   • Cela crée un « goulot d'étranglement d'état », modélisant l'interaction comme un processus de décision de Markov (MDP). Cela permet au système d'évaluer la qualité du consensus à des étapes temporelles discrètes, indépendamment du bruit individuel des agents, permettant ainsi une attribution de crédit temporelle.
2. Contrainte de politique stationnaire (Structure structurelle) :
   • Au lieu d'optimiser des prompts uniques pour chaque agent à chaque tour, le cadre impose une contrainte selon laquelle chaque rôle (par exemple, le Débateur) partage le même prompt système sur tous les tours d'interaction.
   • Cela réduit l'espace de recherche des instructions spécifiques à la trajectoire vers des définitions de rôle robustes. Cela permet une attribution de crédit structurelle en permettant au système de distinguer l'incompétence systématique d'un rôle des erreurs stochastiques transitoires, en se basant sur la performance sur plusieurs tours.

B. Algorithme d'optimisation : Descente de coordonnées bloquées verbalisée (BCD)

Les auteurs formalisent l'optimisation comme un objectif bi-niveau sur deux blocs de variables orthogonaux : les Prompts de rôle ($\Phi$) et les Prompts d'agrégation ($\Psi$). Ils proposent un algorithme de Descente de Coordonnées Bloquées (BCD) adapté aux espaces de prompts discrets :

• Gradients proxy : Puisque les gradients numériques ne sont pas disponibles, des critiques basés sur les LLM génèrent des « gradients textuels » (rétroaction en langage naturel) pour guider les mises à jour.
• Mises à jour alternées :
  • Phase A (Structurelle) : Fixer les prompts d'agrégation. Calculer les crédits structurels pour chaque rôle (basés sur les proxies de vue par les pairs et les scores des critiques). Mettre à jour uniquement les prompts des rôles à faible crédit.
  • Phase B (Temporelle) : Fixer les prompts de rôle. Calculer les crédits temporels pour la sortie d'agrégation de chaque tour. Mettre à jour uniquement les prompts d'agrégation pour les tours à faible crédit.
• Raffinement itératif : Le processus alterne entre ces phases, ciblant les « maillons faibles » (agents ou tours spécifiques) tout en maintenant les composants performants fixes.

3. Contributions clés

1. Reformulation de l'optimisation MAS : L'article introduit les goulots d'étranglement de l'espace d'états et les contraintes de politique stationnaire comme biais inductifs. Ces éléments comblent l'écart entre les récompenses terminales éparses et la rétroaction dense et exploitable, rendant le problème d'optimisation traitable.
2. Algorithme fondé théoriquement : Un nouvel algorithme de Descente de Coordonnées Bloquées est proposé, alternant entre les mises à jour structurelles (rôle) et temporelles (agrégateur). Cela imite la BCD dans l'espace de prompts discret, assurant stabilité et convergence par rapport aux bases de référence d'optimisation conjointe.
3. Efficacité et performance empiriques : L'approche démontre que le ciblage des mises à jour sur des rôles « maillons faibles » spécifiques ou des tours de « transition de phase » réduit considérablement la complexité des requêtes tout en améliorant la précision des tâches sur divers benchmarks.

4. Résultats expérimentaux

La méthode a été évaluée sur des benchmarks de raisonnement à choix multiples (AQuA, MedMCQA, GPQA, MMLU) en utilisant divers LLM à poids ouverts (LLaMA3, Qwen2.5, Gemma).

• Efficacité (RQ1) : L'optimisation guidée par le crédit a systématiquement amélioré la précision par rapport aux bases de référence non optimisées et à une base de référence d'optimisation boîte noire (DSPy MIPRO). Par exemple, sur MedMCQA avec LLaMA3-8B, la précision s'est améliorée de 7,0 % par rapport à la base de référence.
• Ablation (RQ2) : Les optimisations structurelles (rôle uniquement) et temporelles (agrégateur uniquement) ont contribué indépendamment. Les mises à jour structurelles étaient plus efficaces sur des jeux de données sensibles au rôle (par exemple, MedMCQA), tandis que les mises à jour temporelles excellaient sur des tâches lourdes en consolidation (par exemple, GPQA). La combinaison a produit les performances les plus élevées.
• Efficacité et stabilité (RQ3) : La méthode a convergé rapidement en quelques itérations avec une faible variance, surpassant la base de référence boîte noire plus lente et à plus forte variance.
• Interprétabilité (RQ4) : Les signaux de crédit ont agi comme des diagnostics exploitables. La méthode a réduit les « régressions » (changement de réponses correctes en incorrectes) et augmenté les « réparations » (correction de réponses incorrectes), confirmant que les mises à jour visaient des points d'échec réels plutôt que des perturbations aléatoires.

5. Signification et affirmations

L'article affirme fournir une voie fondée sur des principes et interprétable vers des MAS auto-améliorants. En décomposant l'objectif d'optimisation selon les axes temporel (tours) et structurel (rôles), le cadre évite l'inefficacité des mises à jour globales indiscriminées.

Les auteurs positionnent leur travail comme un outil pratique de diagnostic et d'optimisation qui identifie le petit ensemble d'étapes et d'agents contraignant les résultats. Ils notent explicitement les limites : le cadre repose actuellement sur des trajectoires complétées et des signaux d'évaluation, suppose des rôles fixes avec une agrégation centralisée, et peut être lourd en calcul pour des horizons très longs. Des travaux futurs sont suggérés pour étendre l'attribution à l'adaptation en ligne, aux paramètres faiblement supervisés et à des régimes de coordination plus dynamiques.