Résumé Technique : ReflexGrad

Énoncé du Problème

Les agents de Modèles de Langage (LLM) échouent fréquemment sur des tâches solubles en s'engageant prématurément dans une approche incorrecte au début d'un épisode. Lorsque cela se produit, l'agent épuise souvent son budget d'étapes en effectuant de légères variations de la même mauvaise stratégie. Bien que les informations nécessaires pour sortir de cette boucle d'échec existent au sein de la trajectoire post-échec, les architectures existantes ne parviennent pas à en tenir compte au cours d'un seul épisode.

Les méthodes actuelles se divisent en deux catégories aux limitations distinctes :

1. Correction Stratégique (ex. Reflexion) : Effectue une auto-critique verbale et des réessais complets, mais retarde la récupération jusqu'au prochain essai et nécessite généralement quelques exemples (few-shot) pour amorcer le processus.
2. Correction Tactique (ex. TextGrad) : Affine la politique au sein d'une seule session en utilisant des gradients textuels, mais opère de manière locale. Si la stratégie sous-jacente est erronée, ces gradients affinent simplement la mauvaise approche au lieu de corriger la direction.
3. Recherche au Moment de l'Inférence (ex. ToT, LATS) : Élargit l'espace d'actions par étape, mais ne met pas à jour la politique persistante au fur et à mesure que l'épisode progresse.

Il existe un besoin pour un mécanisme qui commence par un raffinement tactique et s'élève vers une correction stratégique au sein d'un seul épisode, sans dépendre d'exemples.

Méthodologie : Architecture ReflexGrad

ReflexGrad est une architecture à double processus conçue pour la récupération d'échec au sein d'un épisode. Elle achemine les données entre un Processus Rapide et un Processus Lent basé sur une règle d'acheminement déterministe, activée par le progrès.

1. Composants Principaux

• Processus Rapide (Raffinement Tactique) :

  • Mécanisme : Inspiré de TextGrad, il calcule des gradients textuels tous les $k=3$ étapes.
  • Fonction : Il analyse les $k$ tuples de trajectoire les plus récents pour proposer des raffinements de la politique en langage naturel. Cela gère les erreurs locales (par exemple, « éviter cette action sans issue ») sans réorienter l'ensemble de la stratégie.
  • Portée : Locale ; réagit uniquement au contexte immédiat.

• Processus Lent (Replanification Stratégique) :

  • Mécanisme : Inspiré de Reflexion, il effectue un diagnostic causal et une replanification.
  • Déclencheur : Activé uniquement lorsque $m=5$ scores de progrès consécutifs tombent en dessous d'un seuil $\theta_{low}$. Cela indique que le Processus Rapide a convergé vers une impasse.
  • Fonction : Il génère un diagnostic causal (identifiant la cause racine, par exemple, « mauvais réceptacle ») et une correction vérifiée (un plan court de 1 à 3 sous-objectifs de haut niveau).
  • Portée : Globale ; réoriente la stratégie de l'agent.

• Règle d'Acheminement et Période de Refroidissement :

  • Le routeur sélectionne exactement un mode par étape : RAPIDE, LENT, ou REFROIDISSEMENT.
  • Mode REFROIDISSEMENT : Lors de l'activation du Processus Lent, un compteur de refroidissement ($c=5$) supprime les deux processus pendant les 5 étapes suivantes. Cela garantit que l'agent exécute le nouveau plan sans interférence de gradients par étape immédiats qui pourraient encore afficher des scores faibles dus à l'approche échouée.
  • Fusion Déterministe : Les mises à jour sont fusionnées avec une priorité stricte : Plan (Lent) > Gradient (Rapide) > Politique de Base. Cela empêche un guidage incohérent qui pourrait résulter d'une moyenne d'instructions en langage naturel contradictoires.

2. Artéfacts

Chaque activation du Processus Lent émet trois artéfacts observables :

1. Un déclencheur reproductible (la séquence de scores faibles).
2. Un diagnostic causal (la cause racine).
3. Une correction vérifiée (le plan correctif).

Contributions Clés

1. Architecture : Une règle d'acheminement activée par le progrès qui combine un raffinement textuel par étape avec une replanification causale déclenchée par l'arrêt. Elle utilise une fusion de priorité déterministe pour maintenir la cohérence de la politique à travers des mises à jour superposées.
2. Apprentissage en Épisode Sans Démonstration : Le système atteint des performances élevées sur ALFWorld (134 tâches) sans aucune démonstration. Il fait passer Qwen-3-8B de 35,1 % à 75,4 % et GPT-5 de 46,3 % à 88,1 %.
3. Robustesse et Portée Falsifiable : Des balayages de sensibilité sur les seuils d'acheminement montrent que le système reste robuste (84,3 %–88,1 % de réussite). L'article identifie explicitement les limites de l'approche : les tâches nécessitant des connaissances spécifiques du monde non présentes dans le modèle ou récupérables depuis la trajectoire (par exemple, des réceptacles spécifiques « Chauffer » ou « Examiner ») restent difficiles sans démonstrations.

Résultats Expérimentaux

L'évaluation a été menée sur le benchmark ALFWorld de 134 tâches en utilisant 10 graines aléatoires, en comparaison avec des bases de référence appariées en calcul (LATS, ToT, Self-Refine) et des performances en zéro-shot.

• Gains de Performance :
  • Qwen-3-8B : 35,1 % (Zéro-shot) $\to$ 75,4 % (ReflexGrad). Une augmentation de 40,3 points de pourcentage (pp).
  • GPT-5 : 46,3 % (Zéro-shot) $\to$ 88,1 % (ReflexGrad). Une augmentation de 41,8 pp.
• Comparaison avec les Bases de Référence :
  • ReflexGrad (sans démonstration) bat LATS 1-shot apparié en calcul de +2,7 pp ($p \approx 0,01$), ToT de +5,7 pp ($p < 10^{-4}$) et Self-Refine de +6,7 pp ($p < 10^{-5}$) sur Qwen-3-8B.
  • Il est en retrait de 5,2 pp par rapport à ReflAct 1-shot (qui utilise des démonstrations), un écart que les auteurs attribuent à l'absence de transfert direct de connaissances du monde depuis les démonstrations.
• Synergie : L'architecture combinée montre une synergie super-additive. Sur GPT-5, la somme des composants individuels (Reflexion seul + TextGrad seul) produit +29,8 pp, tandis que le système combiné produit +41,8 pp, indiquant un gain de synergie de +12,0 pp.
• Cohérence Inter-Modèles : La différence de gain de performance entre GPT-5 et Qwen-3-8B n'est que de 1,5 pp, ce qui est dans le bruit des graines ($p \approx 0,13$). Cela suggère que le mécanisme d'acheminement, plutôt que l'échelle du modèle, est la source principale du gain.
• Efficacité Coûts : ReflexGrad atteint le coût le plus bas par point de pourcentage gagné (1,4 appels/pp) par rapport aux composants individuels, car la synergie super-additive concentre le calcul supplémentaire sur les échecs récupérables.

Importance et Revendications

L'article revendique que ReflexGrad établit un nouveau régime pour la récupération d'échec sans démonstration et au sein d'un épisode. Son importance réside dans la démonstration que les agents peuvent échapper aux optima locaux et corriger les erreurs stratégiques au cours d'un seul épisode sans démonstrations préalables, à condition qu'un signal de progrès continu soit disponible.

Les auteurs positionnent ReflexGrad comme occupant une intersection spécifique dans l'espace de conception : sans entraînement, au sein d'un épisode, activé par le progrès, à double processus, modèle unique et sans démonstration. Ils reconnaissent que, bien que l'architecture se substitue bien aux démonstrations dans de nombreuses catégories (gérant la grammaire des actions et la navigation), elle ne peut pas entièrement remplacer les connaissances tacites du monde (par exemple, les mappings spécifiques objet-verbe) qu'une démonstration fournit directement. Par conséquent, l'article ne revendique pas la parité avec les méthodes amorcées par des démonstrations sur des tâches fortement dépendantes de telles connaissances du monde non observées.