Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

Résumé Technique : Réparer l'Amplificateur, pas le Symptôme

Formulation du Problème
Alors que la planification d'agents évolue de courtes chaînes d'outils vers des flux de travail persistants impliquant des milliers d'étapes, les échecs surviennent de plus en plus au sein de graphes de planification étendus plutôt que dans des prédictions isolées. Replanifier l'intégralité du graphe après chaque erreur est prohibitivement coûteux et inefficace ; cela consomme des budgets de contexte excessifs, expose les modèles de langage (LLM) à des symptômes non pertinents et risque de dégrader les performances de récupération de contexte long.

Le problème central abordé est la Correction du Modèle du Monde (World-Model Correction) : identifier un sous-graphe minimal et connecté au sein d'un graphe de planification défaillant dont la réparation stabilise le système restant. Le défi consiste à distinguer les symptômes visibles (nœuds présentant une erreur immédiate élevée) des « amplificateurs » sous-jacents (sous-graphes qui ré-amplifient les erreurs lors des déroulements ultérieurs). Les approches d'ingénierie qui se contentent de scanner les nœuds à erreur élevée ou d'étendre les voisinages locaux échouent souvent car elles colmatent les symptômes tout en laissant actif le chemin d'amplification causale, ce qui entraîne une récurrence des erreurs.

Méthodologie : WM-SAR
Le document propose WM-SAR (World-Model Subgraph Amplification Repair), un correcteur qui travaille à rebours de l'amplification de l'erreur plutôt qu'en partant des symptômes visibles. La méthode opère en deux phases :

1. Sélection de Région basée sur le Graphe (Phase 1) :

   • Base Théorique : L'approche est fondée sur l'observation que la croissance de l'erreur de déroulement est contrôlée par le rayon spectral ($\rho(B)$) d'un opérateur couplé nœud-arête. Si $\rho(B) > 1$, les erreurs s'amplifient ; si $\rho(B) \le 1$, elles décroissent. L'objectif est de trouver un sous-graphe $R$ tel que sa suppression minimise le rayon spectral résiduel $\rho(B_{G_f \setminus R})$.
   • Évaluation (Scoring) : WM-SAR calcule un score de Champ d'Amplification d'Erreur de Graphe (GEAF) pour chaque nœud, défini comme le produit de l'amplitude de l'erreur observée et du rayon spectral local du voisinage du nœud. Il calcule également un facteur de couplage ($\kappa_v$) pour mesurer les interactions super-additives entre les canaux nœuds et arêtes.
   • Croissance Gloutonne (Greedy Growth) : En partant de graines (seeds) à haut score, l'algorithme étend de manière gloutonne la région de réparation en ajoutant des nœuds frontières qui maximisent le soulagement spectral marginal ($\Delta\rho_{rel}$), c'est-à-dire la réduction du rayon spectral résiduel. Ce processus se poursuit jusqu'à ce qu'une contrainte de budget soit atteinte ou qu'aucun soulagement supplémentaire ne soit possible.
   • Élagage (Pruning) : Les nœuds redondants qui ne contribuent pas au soulagement spectral sont supprimés pour garantir la compacité de la région.

2. Réparation par LLM (Phase 2) :

   • Une fois le sous-graphe optimal $R^*$ identifié, seule cette région connectée est sérialisée et transmise à un LLM. Le LLM est chargé d'identifier la cause racine et de produire une décision de réparation structurée. Cela contraste avec les approches de graphe complet qui sérialisent l'intégralité de la trace défaillante, gaspillant des jetons (tokens) pour des symptômes en aval non pertinents.

Contributions Clés

• Formulation du Problème : Recadre la correction du modèle du monde comme un problème d'optimisation sous contrainte : trouver la plus petite région connectée qui stabilise le modèle du monde résiduel, plutôt que de simplement replanifier le graphe complet ou de colmater la plus grande erreur.
• Lignes de Base d'Ingénierie : Implémente et évalue une famille robuste de correcteurs d'ingénierie (incluant Top-K, fenêtres glissantes, voisinages k-hop et scans en cascade) pour établir une base de comparaison rigoureuse.
• Algorithme WM-SAR : Introduit une approche de graphe spectral utilisant le GEAF et le couplage nœud-arête pour identifier le sous-graphe « amplificateur ». Il fournit une preuve théorique que le rayon spectral résiduel contrôle le regret de la planification.
• Preuves Empiriques : Démontre que WM-SAR atteint une stabilisation proche du graphe complet en utilisant une fraction des jetons requis par une réparation LLM de graphe complet ou par de larges scans de voisinage.

Résultats
Les expériences ont été menées sur un banc d'essai synthétique d'arbre d'appels hétérogène simulant des flux de travail planificateur-exécuteur-validateur, ainsi que sur des topologies inspirées de SWE-bench, WebArena et AgentBench.

• Stabilité vs Colmatage de Symptômes : Les correcteurs d'ingénierie (ex: Greedy-Point, basés sur des fenêtres) réduisent avec succès l'erreur immédiate mais échouent souvent à aplatir la courbe d'erreur à long terme car ils laissent actif le canal d'amplification. WM-SAR, en ciblant le rayon spectral résiduel, aplatit la courbe d'erreur, empêant la recroissance de l'erreur.
• Efficacité des Jetons : WM-SAR atteint une récupération de la cause racine comparable ou supérieure à la réparation LLM de graphe complet tout en utilisant nettement moins de jetons (ex: ~855 jetons contre ~2157+ jetons pour les prompts de graphe complet dans les expériences GPT-4o-mini).
• Sensibilité au Budget : Sous des budgets de réparation serrés, WM-SAR atteint un haut soulagement spectral avec de petites tailles de région (ex: ~8 nœuds), tandis que les méthodes d'ingénierie nécessitent des régions beaucoup plus larges (approchant souvent la couverture du graphe complet) pour obtenir une stabilité similaire.
• Robustesse Inter-Modèles : L'avantage de performance de WM-SAR se maintient à travers différents niveaux de LLM (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash), indiquant que le bénéfice provient d'une meilleure sélection de contexte plutôt que de particularités spécifiques au modèle.
• Limites : La méthode repose sur des signaux d'erreur par nœud observables. Dans les scénarios d'attribution en boîte noire (ex: le benchmark "Who&When") où seule la réponse finale est connue, les performances de WM-SAR se dégradent car le score GEAF ne peut être calculé, revenant à un comportement similaire à la sélection de nœuds puits (sink-node) simple.

Signification et Revendications
L'article soutient que le mode de défaillance principal des stratégies de réparation d'agents actuelles est le désalignement entre la cible de réparation (symptômes visibles) et l'objectif de stabilité (amplification résiduelle). En déplaçant l'attention vers la « réparation de l'amplificateur », WM-SAR permet aux agents de maintenir des modèles du monde stables sur de longs horizons sans subir les coûts prohibitifs d'une replanification de graphe complet.

Les auteurs affirment que cette approche offre une alternative fondée sur des principes au balayage heuristique, fournissant une cible de réparation plus « propre » pour les LLM qui préserve le pont causal tout en omettant le bruit distrayant en aval. Ce travail suggère que les futurs systèmes d'agents devraient prioriser l'identification et la réparation des opérateurs structurels qui propagent l'erreur, plutôt que de simplement réagir aux échecs les plus visibles.