Résumé Technique : Pensée Approfondie au Moment du Test pour Explorer les Règles Implicites

1. Énoncé du Problème

Les agents basés sur les grands modèles de langage (LLM) ont démontré des capacités significatives dans des domaines tels que la navigation dans les interfaces graphiques (GUI) et l'intelligence artificielle incarnée. Cependant, ces agents échouent fréquemment dans des environnements régis par des règles implicites — des contraintes cachées qui ne sont pas explicitement énoncées dans les observations de l'environnement mais doivent être inférées par l'interaction (par exemple, « un agent doit se trouver devant un objet pour interagir avec lui » ou « un agent ne peut pas tenir deux objets simultanément »).

Les méthodes actuelles, telles que ReAct et Reflexion, reposent sur des connaissances pré-entraînées alignées avec les dynamiques générales du monde. Lorsque les agents rencontrent des environnements avec des contraintes non observables, ils reçoivent souvent des retours d'information non informatifs (par exemple, « Rien ne s'est produit ») et tombent dans des boucles répétitives d'essais et d'erreurs ou des pièges d'exploration locale. Le défi central consiste à permettre aux agents d'effectuer un raisonnement de type Système 2 au moment du test pour mettre à jour leurs modèles internes du monde et les aligner avec les dynamiques réelles et latentes de l'environnement.

2. Méthodologie : Exploration au Moment du Test (TTExplore)

Les auteurs proposent TTExplore, un cadre qui découple l'exécution des actions de bas niveau du raisonnement stratégique de haut niveau. Le cadre fonctionne à travers deux rôles distincts :

A. L'Architecture du Cadre

1. Acteur ($\pi_{actor}$) : Un agent standard qui génère des sorties de style ReAct (pensée + action) à chaque étape en fonction de l'historique de la trajectoire.
2. Penseur ($\pi_{thinker}$) : Un agent de raisonnement de niveau méta invoqué à une fréquence fixe (par exemple, tous les $n$ pas). Le penseur analyse l'historique complet de l'interaction, en se concentrant spécifiquement sur les actions échouées et les retours d'information de l'environnement.
   • Sortie : Le penseur produit une « pensée approfondie » ($d_i$) contenant :
     • Un résumé des progrès actuels.
     • Des hypothèses sur les règles environnementales latentes causant les échecs récents.
     • Un plan révisé pour les actions futures.
   • Intégration : Cette pensée approfondie est préfixée au contexte de l'acteur, guidant les actions subséquentes et empêchant la répétition des erreurs.

B. Entraînement du Penseur : Un Pipeline RL Stable

L'entraînement du penseur est difficile en raison de l'absence de signaux de récompense directs pour la qualité des pensées intermédiaires. Les auteurs introduisent un nouveau pipeline d'Apprentissage par Renforcement (RL) pour entraîner un modèle spécialisé de 7 milliards de paramètres, Exp-Thinker, abordant deux problèmes principaux : la parcimonie des récompenses et l'attribution instable du crédit.

1. Récompense Indirecte via la Performance de la Tâche : Au lieu d'évaluer directement le raisonnement intermédiaire, le pipeline utilise la performance finale de l'accomplissement de la tâche (succès ou amélioration du score de processus) comme récompense indirecte. Si l'hypothèse d'un penseur conduit à une trajectoire d'acteur avec une performance améliorée, la pensée est récompensée.
2. Un Seul Nœud de Pensée par Trajectoire : Pour atténuer le problème de l'attribution du crédit et l'instabilité de l'entraînement causés par le partage d'une seule récompense parcimonieuse entre plusieurs nœuds de raisonnement, la stratégie d'entraînement ne conserve qu'un seul nœud de pensée par trajectoire.
3. Étapes du Pipeline d'Entraînement :
   • Division des Sous-tâches : Les trajectoires réussies d'un modèle puissant sont partitionnées en sous-tâches basées sur les scores de processus.
   • Filtrage des Sous-tâches : Les sous-tâches sont classées par difficulté (Facile, Moyen, Difficile) à l'aide d'un modèle faible. Seules les sous-tâches « Moyennes » et « Difficiles » sont conservées pour l'entraînement afin de garantir que le penseur apprend des solutions non triviales.
   • Déploiement et Calcul de la Récompense : Un acteur figé exécute une trajectoire basée sur une pensée approfondie échantillonnée. Si le score de processus s'améliore par rapport à la trajectoire de référence, une récompense de 1,0 est attribuée ; sinon, 0,0.

3. Contributions Clés

1. Cadre TTExplore : Une architecture novatrice qui sépare explicitement l'exécution des actions de l'inférence des règles implicites, permettant aux agents de mettre à jour dynamiquement leurs modèles du monde lors de l'interaction au moment du test.
2. Pipeline d'Entraînement RL Stable : Une méthode pour entraîner des modèles de raisonnement approfondi en utilisant des récompenses parcimonieuses au niveau de la tâche en isolant un seul nœud de pensée par trajectoire, permettant d'entraîner avec succès un modèle de 7 milliards de paramètres (Exp-Thinker) sans l'instabilité typique du RL à récompense parcimonieuse.
3. Modèle Exp-Thinker : Un modèle spécialisé entraîné pour inférer des règles implicites, qui améliore considérablement la performance des agents sur diverses tâches incarnées.

4. Résultats Expérimentaux

Les auteurs ont évalué TTExplore avec Exp-Thinker sur cinq tâches incarnées basées sur le texte : Alfworld, Sciworld, BabyAI, Jericho et PDDL.

• Gains de Performance :
  • Lorsqu'il est associé à des modèles de base (Qwen2.5-7B et LLaMA3-8B), TTExplore a amélioré la performance moyenne de 14 à 19 points par rapport aux références sans penseur.
  • Pour LLaMA3-8B sur des tâches intra-domaine, la performance a bondi d'environ 32/20 à environ 63/55 (scores de processus), surpassant plusieurs références d'agents affinés.
  • Le cadre a également amélioré des agents bien entraînés (par exemple, Qwen2.5-Actor) sur des tâches extra-domaine, démontrant que l'exploration au moment du test complète les méthodes d'entraînement hors ligne.
• Comportement d'Exploration : L'analyse quantitative a montré que les agents utilisant Exp-Thinker présentaient une plus grande diversité d'actions et d'observations et des taux de répétition plus faibles, confirmant la capacité du cadre à briser les boucles d'exploration locale.
• Comparaison avec d'autres Méthodes :
  • vs. Grands Modèles : Le spécialisé Exp-Thinker de 7 milliards (SFT + RL) a surpassé ou égalé le modèle Qwen2.5 de 72 milliards en tant que penseur, prouvant qu'un entraînement ciblé est plus efficace que la seule échelle.
  • vs. Mise à l'Échelle au Moment du Test : TTExplore a entraîné des frais informatiques modérés (1,4× ReAct) par rapport à Reflexion (4,7×) ou Best-of-N (5,0×), tout en restant compatible avec Best-of-N pour des gains supplémentaires.
  • vs. Méthodes Guidées Hors Ligne : TTExplore a obtenu des résultats compétitifs ou de pointe (97,76 % de succès sur Alfworld) sans dépendre de bases de connaissances hors ligne précollectées.

5. Signification et Revendications

L'article affirme que l'échec des agents actuels dans des environnements complexes provient souvent non pas d'un manque de capacité, mais d'un modèle interne du monde désaligné concernant les dynamiques latentes.

• Argument Central : Les agents devraient imiter le comportement humain en s'engageant dans une exploration au moment du test — interagissant continuellement avec l'environnement pour distiller des expériences et inférer des règles sous-jacentes de manière autonome, plutôt que de compter uniquement sur des connaissances pré-entraînées ou une mémoire hors ligne.
• Modestie : Les auteurs reconnaissent que, bien que leur méthode améliore considérablement la performance, la fréquence de pensée optimale peut varier selon la tâche, et que l'approche actuelle à fréquence fixe n'est qu'un point de départ. Ils positionnent TTExplore non pas comme un remplacement des méthodes d'entraînement existantes (SFT/RL), mais comme un complément puissant qui améliore la généralisation et l'adaptabilité dans des environnements inconnus.
• Impact : Ce travail démontre que raisonner explicitement sur des règles implicites via un rôle de penseur dédié est une stratégie viable et efficace pour résoudre des tâches où les informations de surface sont insuffisantes.