Seeing Isn't Believing: Mitigating Belief Inertia via Active Intervention in Embodied Agents

1. Le Problème : L'Inertie des Croyances et la Néglect Observationnelle

Les agents incarnés basés sur les grands modèles de langage (LLM) excellent dans la résolution de tâches complexes, mais ils souffrent d'un défaut cognitif critique appelé inertie des croyances (belief inertia).

• Définition : C'est un phénomène où un agent s'accroche obstinément à ses croyances antérieures (attentes sur les résultats d'une action) même lorsqu'il reçoit des observations explicites du environnement qui les contredisent.
• Conséquence : Cela conduit à une néglect observationnelle (observational neglect). L'agent « voit » l'information (par exemple, un couteau sur la table), mais son processus de raisonnement interne ignore cette donnée, continuant à agir comme si l'objet n'était pas là (par exemple, en cherchant inutilement ailleurs).
• Diagnostic : Les auteurs ont démontré via une analyse par sondage (probing) que cette inertie est la cause principale des échecs dans les trajectoires d'agents, et ce, indépendamment de la méthode d'apprentissage (prompting, SFT, RL). Les croyances internes ne se mettent pas à jour dynamiquement avec les nouvelles observations, créant un décalage entre l'état réel de l'environnement et la représentation interne de l'agent.

2. Méthodologie : Intervention Active de Croyance (EVU)

Pour résoudre ce problème, les auteurs proposent un changement de paradigme : passer d'une mise à jour passive et latente des croyances à une gestion cognitive active. Ils introduisent le mécanisme Estimate-Verify-Update (EVU) (Estimer-Vérifier-Mettre à jour).

Contrairement aux approches classiques (comme ReAct) qui traitent l'historique d'interaction de manière implicite, EVU maintient un état de croyance explicite ($B_t$) sous forme de texte naturel. Le mécanisme fonctionne en trois étapes itératives à chaque pas de temps :

1. Estimation (Estimate) : Avant de traiter la nouvelle observation, l'agent prédit le résultat attendu de son action précédente ($E_t$). Cela établit une ligne de base d'attente.
2. Vérification (Verify) : L'agent compare l'observation réelle ($o_t$) avec son estimation ($E_t$). Il génère une preuve de vérification ($V_t$) qui agit comme un « signal de surprise » explicite, indiquant si l'observation confirme ou contredit l'attente. Cela empêche l'agent d'ignorer les contradictions.
3. Mise à jour (Update) : L'agent synthétise la croyance précédente ($B_{t-1}$), l'estimation, et la preuve de vérification pour générer une nouvelle croyance mise à jour ($B_t$). Cette nouvelle croyance devient la base pour le raisonnement de l'action suivante.

Intégration Unifiée :
Le mécanisme EVU est conçu pour être agnostique à la méthode d'apprentissage. Il peut être intégré :

• Dans le Prompting : En ajoutant des instructions spécifiques pour guider l'agent à travers le cycle EVU avant de générer une action.
• Dans l'Entraînement (SFT/RL) : En optimisant conjointement la génération de la chaîne de raisonnement (Estimation, Vérification, Mise à jour) et l'action, permettant au modèle d'intérioriser ce processus de mise à jour active.

3. Contributions Clés

1. Formalisation de l'Inertie des Croyances : Identification et caractérisation mathématique d'un biais cognitif majeur où les croyances antérieures étouffent les observations réelles, menant à l'échec des tâches.
2. Proposition de l'Intervention Active (EVU) : Développement d'un mécanisme unifié qui découple la gestion de l'état de croyance de la génération d'actions, forçant l'agent à expliciter et à corriger ses croyances de manière structurée.
3. Validation Empirique Large : Démonstration de la supériorité et de la généralisabilité de l'approche sur trois benchmarks majeurs d'agents incarnés (ALFWorld, VirtualHome, ScienceWorld) et avec divers modèles de base (DeepSeek, Qwen).

4. Résultats Expérimentaux

Les expériences montrent des améliorations significatives et constantes par rapport aux méthodes de base (ReAct, Plan-and-Act, SFT, PPO, GRPO) :

• Amélioration des Taux de Réussite :
  • Sur ALFWorld, les gains sont notables, notamment sur les scénarios non vus (Unseen), où l'amélioration moyenne atteint +9,21 % (contre +6,8 % pour les scénarios vus), prouvant une meilleure généralisation.
  • Sur VirtualHome et ScienceWorld, les améliorations sont également substantielles, atteignant jusqu'à +31,6 % sur les tâches non vues avec le modèle Qwen2.5-3B.
• Efficacité de l'Intervention : L'analyse montre que l'ajout d'une intervention de croyance (même simple) améliore les performances, mais que le cycle complet EVU est nettement supérieur aux variantes (comme la simple réflexion ou la répétition d'observation).
• Atténuation de l'Inertie : Les sondages de croyance confirment que EVU déplace l'état interne de l'agent vers la vérité de l'environnement (valeurs de croyance positives), contrairement aux méthodes de base qui restent bloquées dans des croyances erronées.
• Coût Computationnel : Contrairement à l'intuition, EVU réduit la consommation totale de tokens et la latence par tâche. En compressant l'historique d'interaction verbeux en un état de croyance concis, l'agent évite les explorations inutiles et les boucles de raisonnement redondantes.
• Robustesse à la Difficulté : L'avantage de performance de EVU augmente avec la difficulté de la tâche, indiquant que la gestion active des croyances est cruciale pour les tâches à long horizon.

5. Signification et Impact

Cet article apporte une contribution fondamentale à la recherche sur les agents incarnés en démontrant que la qualité du raisonnement dépend de la qualité de la mise à jour des croyances.

• Changement de Paradigme : Il passe d'une vision où l'agent « pense » directement à partir de l'historique brut, à une vision où l'agent doit activement gérer et corriger son modèle du monde.
• Robustesse : En résolvant l'inertie des croyances, les agents deviennent plus robustes face aux environnements dynamiques et aux observations contradictoires, réduisant les erreurs de planification dues à des perceptions obsolètes.
• Efficacité : La méthode prouve que l'ajout de structure cognitive (prédiction, vérification) peut en réalité rendre les agents plus efficaces en termes de ressources de calcul, en évitant les erreurs coûteuses.

En résumé, EVU fournit un cadre simple mais puissant pour transformer les agents LLM en systèmes plus fiables, capables de « voir » et de « croire » correctement les changements de leur environnement, comblant ainsi le fossé entre la perception et l'action.