Résumé Technique : Demander au Monde Avant d'Agir : Sondage de l'Environnement Budgétisé pour la Calibration du Modèle du Monde

1. Énoncé du Problème

Les agents linguistiques à long terme (ex: ReAct, Reflexion, LATS) maintiennent un modèle interne du monde, implicite ou explicite, pour guider leur prise de décision. Un mode de défaillance critique survient lorsque ce modèle interne « dérive » de l'état réel de l'environnement en raison de changements exogènes ou de mutations non observées. Une fois que l'agent planifie sur la base d'une prémisse obsolète, les échecs ultérieurs apparaissent comme de mauvaises actions finales, même si la cause racine est survenue plus tôt dans l'état de croyance.

Le défi central est que l'environnement contient l'évidence manquante pour corriger ces croyances, mais accéder à celle-ci est coûteux. Chaque interaction avec l'environnement (un « sondage ») consomme une étape de l'horizon de planification limité, entrant en compétition directe avec les actions de progression de la tâche. Un agent qui sonde trop peu agit avec confiance sur des croyances obsolètes ; un agent qui sonde trop consomme son budget pour vérifier le monde plutôt que pour le changer. Les méthodes existantes traitent souvent l'interaction avec l'environnement uniquement comme un moyen de faire progresser la tâche ou s'appuient sur une confiance auto-déclarée peu fiable (qui peut être mal calibrée) pour décider quand interroger.

2. Méthodologie : EnvProbe

Les auteurs introduisent EnvProbe, un opérateur de sondage budgétisé conçu pour les agents dotés de tables de croyances explicites et structurées. Contrairement à l'augmentation par récupération (retrieval augmentation) ou aux requêtes utilisateur, EnvProbe traite l'environnement lui-même comme la source d'évidence, sélectionnant quel champ de croyance déjà peuplé doit être vérifié avant de s'engager dans la prochaine action de la tâche.

2.1 Mécanisme de Notation

À chaque étape de planification, EnvProbe attribue un score de sondage $\rho_i(t)$ à chaque champ de croyance $i$ basé sur quatre composantes normalisées :

1. Criticité ($c_i$) : Dérivée des poids d'importance de la tâche.
2. Obsolescence ($s_i(t)$) : L'estimation par l'agent du temps écoulé depuis la dernière vérification.
3. Incertitude Verbalisée ($u_i(t)$) : $1 - \text{confiance}$, représentant l'incertitude auto-déclarée du modèle.
4. Rôle de Dépendance ($d_i(t)$) : Indique si le champ est un bloqueur direct, une dépendance transitive ou sans rapport avec la prochaine action planifiée.

Le score est décomposé en une partie structurelle ($\rho_{str} = c + d$) dérivée du graphe de tâche et de la trace d'action, et une partie d'auto-déclaration ($\rho_{self} = s + u$) dérivée de l'état interne du modèle.

2.2 Algorithmes

• EnvProbe-Simple : Une politique de seuil gloutonne qui sonde le champ ayant le score le plus élevé si le score dépasse un seuil (1,5) et si le budget de sondage est disponible.
• EnvProbe-Judge : Une variante où un second modèle « juge » examine les meilleurs candidats et la table de croyances pour fournir un arbitrage binaire, testant si un critique contextuel apporte un signal au-delà du score explicite.
• Ablations : Les variantes incluent la suppression des termes d'auto-déclaration (Structurel-seul) ou l'utilisation de politiques basées uniquement sur l'incertitude pour isoler la contribution de chaque composante.

2.3 Cadre Théorique

Le papier formalise une Théorie du Sondage et de l'Action Stratifiée par Type, distinguant entre :

• Croyances Procédurales : États dépendants de l'action (ex: dépendances d'outils, sous-objectifs). Celles-ci sont souvent informatives via les traces d'action.
• Croyances Spatiales : États exogènes (ex: emplacements d'objets, arêtes de graphes). Celles-ci laissent souvent des traces faibles dans l'historique de l'agent.

La théorie établit une Frontière de Sondage-Action : un compromis de Pareto où l'augmentation de la précision des croyances via le sondage réduit nécessairement le nombre d'étapes disponibles pour l'exécution de la tâche. Les auteurs prouvent que la valeur du sondage dépend de la « qualité de sélection marginale » de la fonction de score et que l'incertitude auto-déclarée peut agir comme un « anti-signal » lorsque le modèle est de manière erronée très confiant.

3. Contributions Clés

1. Opérateur EnvProbe : Un mécanisme budgétisé pour que les agents linguistiques réparent activement leurs modèles de monde structurés en interrogeant l'environnement pour des champs de croyance spécifiques.
2. Analyse Stratifiée par Type : Un compte mathématique séparant la réparation des croyances du déplacement des actions de tâche, démontrant que les indices structurels sont plus fiables que l'incertitude auto-déclarée, particulièrement pour les croyances spatiales.
3. Environnements et Métriques de Diagnostic : Environnements contrôlés (ObjectStateWorld, ToolDAGWorld, GraphNavWorld) qui exposent les états de terrain des champs, permettant de mesurer la précision de l'état du monde et le « début de l'effondrement » indépendamment du succès final de la tâche.
4. Preuves Empiriques : Démonstration que les scores de sondage structurels réduisent l'erreur terminale de croyance, tandis que l'incertitude auto-déclarée alloue souvent mal les sondages, particulièrement dans les contextes procéduraux.

4. Résultats Expérimentaux

Les expériences ont été menées dans trois environnements avec des taux de mutation variables (stress faible, moyen, élevé).

• Tâches Procédurales (ToolDAGWorld) :

  • EnvProbe-Simple a amélioré la précision de l'état final du monde de +11,76 % par rapport au sondage périodique.
  • Les signaux structurels ($c+d$) étaient les principaux moteurs du succès. La suppression de l'incertitude verbalisée ($u$) a encore amélioré la précision des croyances (à 0,488) mais a considérablement réduit le succès de la tâche (tombant à 8,2 %), confirmant que l'incertitude est un signal bruyant qui peut mener à un sur-sondage.
  • La variante « Structurel-seul » a atteint la précision de croyance la plus élevée observée (0,491) tout en maintenant un succès de tâche comparable à la version complète.

• Tâches Spatiales (GraphNavWorld, ObjectStateWorld) :

  • Les gains étaient plus faibles (+3,79 %) mais fiables.
  • L'incertitude auto-déclarée n'a apporté que peu de bénéfices car les changements spatiaux exogènes laissent des traces faibles dans l'historique des actions.
  • Les indices structurels sont restés efficaces, bien que la frontière de Pareto se soit effondrée en une relation de dominance où les méthodes structurelles surpassaient les autres en précision et en succès de tâche.

• Dynamiques d'Effondrement :

  • Dans les épisodes spatiaux, la dérive de l'état du monde a précédé l'effondrement de la validité des actions de +2,42 étapes en moyenne, validant l'utilité d'un sondage précoce.
  • Dans les épisodes procéduraux, une seule précondition erronée pouvait invalider l'action suivante avant que l'exactitude globale ne chute, soulignant la nécessité d'un sondage ciblé et conscient des dépendances.

• Calibration de la Confiance :

  • Le taux de « Confiance Erronée » était extrêmement élevé ($\approx 94 \%$), signifiant que l'agent était souvent très confiant dans des croyances incorrectes. Les politiques basées uniquement sur l'incertitude échouaient à sonder ces champs par conception, menant à de mauvaises performances.

5. Signification et Revendications

L'article affirme qu'EnvProbe fournit un moyen de traiter l'interaction avec l'environnement comme une ressource de calibration rare plutôt que comme un simple mécanisme de progression de la tâche.

• Signification : Ce travail remet en question l'hypothèse selon laquelle la confiance auto-déclarée est un guide fiable pour la collecte d'informations chez les agents à long terme. Il soutient plutôt des stratégies de sondage sensibles au type qui privilégient les indices structurels de la tâche (dépendances et criticité) par rapport aux estimations d'incertitude interne.
• Revendications Modestes : Les auteurs précisent qu'EnvProbe n'est pas un nouveau solveur de POMDP, mais une caractérisation empirique et théorique de la fiabilité des scores de sondage dérivés de LLM. Ils reconnaissent que même avec un sondage optimal (Oracle-Probe), la précision de l'état du monde n'atteint pas 1,0, impliquant que les déploiements critiques pour la sécurité nécessitent des garde-fous au-delà de ce mécanisme.
• Implication Pratique : Pour les agents dont les planificateurs en aval consomment l'état de croyance réparé, les scores de sondage structurels sont supérieurs. Cependant, si l'objectif final est l'achèvement de la tâche, le budget de sondage doit être soigneusement ajusté pour éviter de déplacer les actions nécessaires à la tâche.

L'article conclut que le « bon » taux de sondage n'est pas fixe mais dépend de l'objectif en aval (croyances calibrées vs tâches accomplies) et de la nature spécifique du type de croyance (procédurale vs spatiale).