Résumé Technique : PABU (Mise à jour de la croyance sensible au progrès)

1. Problématique (Le Problème)

Les agents basés sur les grands modèles de langage (LLM) opèrent souvent dans des environnements partiellement observables (POMDP). Pour compenser ce manque d'information, la méthode conventionnelle consiste à fournir à l'agent l'intégralité de l'historique des actions et des observations. Cette approche présente trois inconvénients majeurs :

• Bruit et redondance : L'historique complet contient des informations non pertinentes pour la tâche, ce qui peut induire l'agent en erreur.
• Coût computationnel : La croissance linéaire de la fenêtre de contexte augmente les coûts d'inférence et la latence.
• Dégradation des performances : L'enchevêtrement de signaux pertinents et de détails superflus peut mener à une "effondrement de la représentation", où l'agent perd de vue l'objectif principal.

2. Méthodologie (La Solution)

Les auteurs proposent PABU, un cadre de "belief-state" (état de croyance) qui remplace l'historique monolithique par une représentation compacte et structurée. Au lieu de résumer l'historique (ce qui peut entraîner une perte d'information), PABU utilise deux mécanismes complémentaires :

A. Le Progrès comme colonne vertébrale (Progress-Awareness)

L'agent estime explicitement son progrès relatif par rapport à l'objectif de la tâche. Le progrès est une abstraction textuelle qui capture l'avancement intentionnel (ex: "trouver le couteau" $\rightarrow$ "nettoyer le couteau"). Cela permet de transformer une séquence d'actions brute en une séquence de jalons sémantiques, réduisant ainsi la dépendance à la mémoire à long terme.

B. Mécanisme de rétention sélective (Selective Retention)

Pour éviter que le progrès seul ne soit insuffisant (car plusieurs actions peuvent correspondre au même stade de progrès), PABU maintient un état de croyance $b_n$ composé de :

1. La requête utilisateur ($q$) : Le contexte immuable.
2. L'estimation du progrès ($p_n$) : L'état actuel de la tâche.
3. La mémoire des actions tentées ($A_{att}$) : Pour éviter de répéter des actions qui ont échoué au sein d'un même stade de progrès.
4. Les actions disponibles ($A_{available}$) : Extraites directement des observations.
5. Les observations sauvegardées ($O_{saved}$) : Une sélection d'observations passées jugées critiques par une politique de rétention apprise.

C. Objectif d'apprentissage (Training Objective)

Le modèle est entraîné via une fonction de perte qui partitionne les actions en deux groupes : celles qui font progresser la tâche (progress-consistent) et les autres. L'agent est incité à prédire l'action suivante qui fait avancer le progrès, tout en apprenant à décider quelles observations conserver pour les étapes futures.

3. Contributions Clés

1. Formalisation d'un cadre de "Belief State" pour les LLM : Contrairement aux méthodes de résumé ou de récupération (RAG), PABU apprend une représentation d'état compacte et end-to-end.
2. Politique de rétention apprise : Introduction d'un mécanisme qui décide dynamiquement de l'importance de chaque nouvelle interaction.
3. Augmentation de trajectoire : Une méthode d'entraînement qui utilise des signaux de progrès pour guider l'apprentissage vers des actions plus efficaces.

4. Résultats Expérimentaux

Les tests ont été menés sur le benchmark AgentGym (8 environnements variés). Les résultats sont probants :

• Taux de réussite (Success Rate) : PABU atteint 81,0 %, surpassant l'état de l'art (SoTA) précédent de 23,9 %.
• Efficacité : Le nombre moyen d'étapes d'interaction est réduit de 26,9 % (passant de 13,0 à 9,5 étapes).
• Robustesse : Les études d'ablation montrent que la méthode fonctionne sur différents modèles (Llama, Qwen) et différentes échelles de paramètres, prouvant que le concept de "progrès" est un signal robuste et agnostique à l'architecture.

5. Signification et Impact

L'importance de ce travail réside dans le changement de paradigme : passer d'une gestion de contexte basée sur la quantité (tout garder) à une gestion basée sur la pertinence sémantique (ne garder que ce qui fait progresser).

PABU démontre qu'en dotant les agents d'une capacité d'auto-évaluation de leur propre progression, on peut construire des systèmes plus intelligents, plus rapides et beaucoup moins coûteux en ressources, ce qui est crucial pour le déploiement des agents autonomes dans des mondes réels complexes et à long terme.