💻 computer science

Any House Any Task: Scalable Long-Horizon Planning for Abstract Human Tasks

Le papier propose AHAT, un cadre de planification à horizon long et évolutif qui exploite un LLM entraîné via un nouvel algorithme d'apprentissage par renforcement (TGPO) pour traduire des instructions humaines ambiguës et des graphes de scène en sous-objectifs PDDL, permettant ainsi aux robots de générer des plans optimaux pour des tâches domestiques complexes dans de grands environnements.

Auteurs originaux : Zhihong Liu, Yang Li, Rengming Huang, Cewu Lu, Panpan Cai

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhihong Liu, Yang Li, Rengming Huang, Cewu Lu, Panpan Cai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à nettoyer votre chambre en désordre. Vous ne voulez pas lui donner un manuel étape par étape comme « ramasse la chaussette, puis fais deux pas, puis penche-toi ». C'est trop ennuyeux et trop fragile ; si la chaussette bouge, le robot est confus. Au lieu de cela, vous voulez simplement dire : « Rends cette pièce ordonnée » et le laisser découvrir le reste par lui-même. C'est le saint graal de la robotique : transformer un souhait humain vague en un plan d'action physique parfait.

Pour ce faire, les scientifiques utilisent souvent deux outils différents. Le premier est un Grand Modèle de Langage (LLM), qui est comme un bibliothécaire super intelligent et très cultivé qui connaît un million de faits sur le monde, mais qui invente parfois des histoires ou oublie les règles de la physique. Le second est un Planificateur Symbolique, qui est comme un professeur de mathématiques strict et inflexible qui suit les règles parfaitement, mais n'a aucune idée de ce que signifie « ordonné » ou de comment parler aux humains. Le grand défi consiste à faire travailler ensemble le bibliothécaire bavard et le professeur de mathématiques strict sans que le bibliothécaire n'enferme le robot dans une boucle ou que le professeur de mathématiques ne refuse de commencer parce que les instructions étaient trop vagues.

C'est exactement le problème abordé dans un nouvel article intitulé TGPO (Trace-Guided Policy Optimization). Les chercheurs essaient d'apprendre à un robot comment décomposer de grandes commandes floues en une série de petites étapes vérifiables qu'un robot peut réellement suivre. Ils ont découvert que demander simplement à une IA intelligente de « juste le faire » conduit souvent à des plans qui semblent bons sur le papier mais qui échouent dans le monde réel. Au lieu de cela, ils ont développé une méthode d'entraînement ingénieuse où l'IA apprend à générer une « trace » de son raisonnement, se fait corriger par un assistant lorsqu'elle commet une erreur, puis réessaie. C'est comme enseigner à un élève non pas seulement en lui donnant une note à la fin, mais en l'accompagnant tout au long de ses devoirs, en corrigeant ses erreurs de logique en temps réel, et en le laissant pratiquer jusqu'à ce qu'il réussisse. Le résultat est un système bien meilleur pour planifier des tâches longues et complexes — comme préparer toute une maison pour une fête — que les méthodes précédentes, surtout lorsque les instructions sont vagues.

Le Problème : La « Baguette Magique » qui se brise

Imaginez que vous avez un robot majordome. Vous lui dites : « J'organise une fête, donc nettoie la maison ». Un humain comprend cela immédiatement : il sait qu'il faut ramasser les déchets, essuyer les tables et peut-être installer des décorations. Mais pour un robot, c'est un cauchemar. Si vous demandez à une IA standard de simplement « écrire un plan », elle risque d'halluciner. Elle pourrait dire : « Déplace le canapé dans la cuisine », même si le canapé est trop lourd, ou « Allume la cuisinière pour nettoyer le sol », ce qui est une idée terrible.

L'article explique que les modèles d'IA actuels sont excellents pour deviner le mot suivant dans une phrase, mais qu'ils sont très mauvais pour s'assurer que leurs plans sont réalisables. Ils commettent de petites erreurs au début — comme oublier de ramasser une tasse avant de déplacer une table — et ces erreurs s'accumulent comme un château de cartes jusqu'à ce que tout le plan s'effondre. D'un autre côté, les planificateurs de robots traditionnels sont très sûrs d'eux ; ils ne feront rien d'impossible. Mais ils sont aussi très stupides ; ils ont besoin que vous leur disiez exactement quoi faire dans un code très spécifique (appelé PDDL), et ils ne peuvent pas comprendre la nuance de « nettoyer pour une fête ».

La Solution : TGPO (Le Coach par « Guidage de Trace »)

Les auteurs proposent une nouvelle façon d'entraîner les robots appelée Trace-Guided Policy Optimization (TGPO). Voyez le TGPO non pas comme un robot qui se contente de deviner, mais comme un étudiant apprenant avec un coach strict et utile.

Voici comment fonctionne l'entraînement, en utilisant une analogie simple :

L'Étudiant (La Politique de l'IA) : Le cerveau du robot essaie de décomposer votre commande (« Nettoie pour la fête ») en une liste de sous-objectifs. Il pourrait dire : « 1. Ramasser les déchets. 2. Laver la vaisselle. 3. Passer l'aspirateur. »
Le Coach (Le Vérificateur) : Un contrôleur strict examine cette liste. Il demande : « Attends, peux-tu vraiment laver la vaisselle si l'évier est plein de nourriture ? As-tu pensé à déplacer les chaises avant de passer l'aspirateur ? »
La Correction par la « Trace » : Si le plan de l'étudiant est erroné, le Coach ne se contente pas de dire « Échec ». Au lieu de cela, il examine le processus de réflexion (la trace) et corrige l'erreur spécifique. Il pourrait dire : « Tu as oublié de vider l'évier d'abord. Voici la liste corrigée des étapes. »
La Boucle de Pratique : Le robot prend ensuite cette liste corrigée et essaie de générer le reste du plan en se basant sur celle-ci. Il apprend de la correction, et non pas seulement de la note finale « réussite/échec ».

Cela diffère de la manière dont la plupart des IA sont entraînées aujourd'hui. Généralement, vous demandez à une IA de faire quelque chose, et si elle échoue, vous lui dites simplement « mauvais travail » et vous réessayez. C'est comme rater un examen de mathématiques et recevoir un « F » sans voir les annotations au stylo rouge indiquant où vous avez fait fausse route. Le TGPO, c'elle est comme recevoir les annotations au stylo rouge pendant que vous passez l'examen, afin que vous puissiez corriger votre logique avant de le rendre.

Ce qu'ils ont trouvé : Le robot devient plus intelligent

Les chercheurs ont testé cette nouvelle méthode sur une grande variété de tâches, allant de tâches simples comme « apporte-moi une serviette » à des tâches incroyablement complexes comme « prépare la maison pour un festival », ce qui implique de déplacer des meubles, de nettoyer et d'organiser dans un ordre spécifique.

Ils ont comparé leur robot à deux autres types de planificateurs :

Les Robots de « Prompting » : Ce sont des modèles d'IA à qui l'on demande simplement d'écrire un plan. L'article a montré qu'à mesure que les tâches devenaient plus difficiles et abstraites, ces robots échouaient lamentablement. Ils se confondaient face à la complexité et suggérały des actions impossibles.
Les Robots de « Apprentissage Standard » : Ce sont des robots entraînés avec l'apprentissage par renforcement classique (essais et erreurs). Ils faisaient mieux que les robots de prompting, mais avaient toujours du mal lorsque les instructions étaient vagues ou que les tâches étaient très longues.

Les Résultats :
Le robot TGPO était le grand gagnant.

Sur les tâches faciles, il a réussi environ 88 % du temps.
Sur les tâches complexes (longues chaînes d'actions), il a réussi 77 % du temps.
Sur les tâches abstraites (où le robot devait deviner ce que signifiait « nettoyer »), il a réussi 70 % du temps.

En comparaison, le meilleur robot de « prompting » n'a réussi qu'environ 22 % du temps sur ces mêmes tâches abstraites. L'article suggère que la capacité du TGPO à corriger son propre processus de pensée en temps réel est la clé. Il ne se contente pas de deviner ; il raisonne, vérifie, corrige, puis agit.

Pourquoi cela importe

L'article démontre qu'en apprenant aux robots à générer des « sous-objectifs vérifiables » (de petites étapes vérifiables) et en utilisant un système qui corrige leurs traces de pensée, nous pouvons les rendre beaucoup plus fiables dans le monde réel. Les auteurs notent que cela fonctionne même lorsque l'environnement est en désordre ou que les instructions sont vagues.

Cependant, ils précisent avec prudence que ce n'est pas encore une solution magique pour chaque problème robotique. Le système repose toujours sur une carte prédéfinie du monde (un « graphe de scène ») et un ensemble de règles que le robot connaît. Il n'apprend pas à voir le monde à partir de zéro simplement en regardant une caméra ; il a besoin de cette carte structurée pour effectuer sa planification. Mais pour la tâche spécifique de transformer les mots humains en actions de robot sûres et exécutables, le TGPO suggère une avancée majeure, prouant qu'avec le bon type de « coaching », l'IA peut apprendre à planifier bien mieux qu'elle ne le fait seule.

Résumé Technique : Optimisation de Politique Guidée par Trace (TGPO) pour la Planification de Tâches Robotiques

1. Formulation du Problème

Le document traite du défi de la planification de tâches robotiques à long horizon dans des environnements réels. La difficulté fondamentale réside dans la conversion d'instructions en langage naturel, abstraites et sous-spécifiées, en séquences d'actions exécutables qui satisfont des contraintes complexes sur des horizons temporels étendus.

Les approches actuelles font face à une dichotomie :

Grands Modèles de Langage (LLM) : Possèdent un fort raisonnement de sens commun mais échouent souvent à générer des plans fiables et réalisables en raison d'un manque de modélisation explicite des contraintes, d'une accumulation d'erreurs dans la génération autorégressive et d'un faible ancrage aux états de l'environnement.
Planificateurs Symboliques : Garantissent la faisabilité et l'optimalité mais nécessitent des objectifs symboliques bien spécifiés (par exemple, en langage PDDL - Planning Domain Definition Language) et ne peuvent pas interpréter directement l'intention humaine de haut niveau.

Les auteurs formulent le problème comme l'apprentissage de la génération de sous-objectifs vérifiables. Au lieu de générer un objectif holistique unique ou une séquence d'actions directe, le système apprend une politique $\pi_\theta$ qui décompose une instruction $q$ et un état d'environnement $S$ en une séquence de sous-objectifs PDDL intermédiaires $G = \{g_k\}$ . Ces sous-objectifs sont ensuite résolus par un planificateur symbolique classique pour produire le plan d'action final. L'objectif d'apprentissage est de maximiser une fonction de récompense basée sur la faisabilité (sous-objectifs solubles) et l'accomplissement de la tâche (satisfaction de l'instruction).

2. Méthodologie : Optimisation de Politique Guidée par Trace (TGPO)

Pour répondre aux défis des récompenses éparses, bruitées et retardées inhérents à ce problème d'apprentissage, les auteurs proposent l'Optimisation de Politique Guidée par Trace (TGPO). Il s'agit d'un cadre d'apprentissage par renforcement (RL) construit sur le Group Relative Policy Optimization (GRPO), mais enrichi par des signaux d'apprentissage structurés dérivés de traces de raisonnement intermédiaires.

La TGPO fonctionne via un mécanisme à trois composants :

A. Récompenses Ancrées par Vérificateur

Le système utilise un vérificateur pour fournir une supervision au niveau du résultat. La récompense $R(T, G)$ est le produit de :

Faisabilité ( $R_{feas}$ ) : Une vérification binaire pour déterminer si tous les sous-objectifs générés sont solubles par le planificateur PDDL.
Accomplissement de la Tâche ( $R_{comp}$ ) : Un score (de 0 à 1) évaluant si le plan composé satisfait l'intention de l'utilisateur, souvent évalué via un protocole "LLM-as-judge" ou des objectifs de simulateur.

B. Raffinement Guidé par Trace

Reconnaissant que les récompenses scalaires sont insuffisantes pour l'attribution de crédit dans les tâches à long horizon, la TGPO introduit un modèle auxiliaire pour corriger le raisonnement intermédiaire.

Rollouts Libres : La politique génère $N$ trajectoires candidates (traces de décomposition $T$ et sous-objectifs $G$ ).
Correction de Trace : Les trajectoires avec de faibles récompenses (inférieures à un seuil $\tau$ ) sont identifiées. Un modèle auxiliaire (l' "Amélioreur de Trace") révise la trace de décomposition $T$ pour corriger les erreurs telles que l'absence de sous-tâches, un ordre temporel incorrect ou un ancrage incomplet, produisant ainsi une trace corrigée $\tilde{T}$ .
Rollouts Contraints : La politique effectue un second rollout conditionné par la trace corrigée $\tilde{T}$ pour générer les sous-objectifs correspondants $\tilde{G}$ . Ceci est implémenté via un échantillonnage contraint au niveau du jeton (token), forçant les jetons de la trace tout en générant les sous-objectifs de manière autorégressive.

C. Optimisation de Politique Contrainte

Le processus d'optimisation combine les rollouts libres originaux et les rollouts corrigés par trace en un groupe augmenté. La politique est mise à jour à l'aide d'un objectif tronqué (clipped objective) similaire au GRPO, mais le calcul du gradient inclut à la fois les trajectoires originales et les trajectes corrigées. Cela permet à la politique d'apprendre des corrections externes, transformant efficacement les récompenses éparses en signaux de supervision denses et structurés.

3. Configuration Expérimentale et Benchmarks

Le cadre a été instancié pour la manipulation mobile dans de grands environnements domestiques.

Génération de Données : Un ensemble de données à grande échelle a été construit en utilisant le jeu de scènes synthétiques Habitat (HSSD). Les tâches ont été synthétisées à l'aide de LLM conditionnés par divers personas d'utilisateurs et des graphes de scènes, allant de commandes explicites à des descriptions d'intentions abstraites.
Benchmarks : L'évaluation a été menée sur quatre benchmarks :
1. Tâches Synthétiques In-Distribution : Catégorisées comme Faciles, Complexes (long horizon, contraintes lourdes) et Abstraites (intention implicite).
2. Tâches Humaines : 50 instructions réelles collectées via une interface web.
3. PARTNR : Un benchmark public pour les tâches multi-agents incarnées.
4. BEHAVIOR-1K : Un benchmark pour la planification de tâches domestiques et l'apprentissage de compétences.
Baselines : Les comparaisons incluaient des planificateurs basés sur le prompting (SayPlan, DELTA, LLM+P, NL2Plan, LLM vanilla) et des méthodes basées sur l'apprentissage (SFT, GRPO, Reinforce++, et une variante TGPO de bout en bout).

4. Résultats Clés

Performance Supérieure : La TGPO a nettement surpassé toutes les baselines sur tous les benchmarks. Sur les tâches in-distribution, les améliorations par rapport à la meilleure baseline de prompting augmentaient avec la complexité de la tâche : 67 % sur les tâches Faciles, 131 % sur les tâches Complexes, et 213 % sur les tâches Abstraites.
Généralisation : La TGPO a démontré une robustesse de généralisation aux environnements hors distribution (PARTNR, BEHAVIOR-1K) et aux tâches rédigées par des humains, atteignant des taux de réussite de 82,6 % et 70,3 % respectivement, avec des gains substantiels par rapport aux baselines.
Études d'Ablation :
- TGPO vs SFT : L'optimisation par RL a fourni un plafond de performance plus élevé que le simple apprentissage supervisé (SFT), particulièrement pour les tâches complexes et abstraites.
- Correction de Trace : Le retrait du mécanisme de correction de trace (GRPO standard) a entraîné une dégradation rapide des performances à mesure que la complexité des tâches augmentait, soulignant la nécessité d'un guidage structuré pour l'attribution de crédit.
- Sous-objectif vs Bout-en-Bout : L'approche par sous-objectifs (TGPO) a nettement surpassé la variante de bout en bout (TGPO E2E), confirmant que la séparation de la formulation du problème (génération de sous-objectifs) et de l'exécution (résolution symbolique) réduit la charge d'apprentissage et améliore la faisabilité.
Robustesse : Le système a maintenu des taux de réussite élevés (62,3 % sur les tâches abstraites) même sous une dynamique stochastique (10 % de probabilité d'échec d'action) lorsqu'il était couplé à une recherche arborescente de Monte Carlo en ligne (MCTS).
Intégration au Niveau Système : Dans un pipeline robotique complet avec des exécuteurs de bas niveau, la TGPO a permis une généralisation compositionnelle, résolvant de nouvelles tâches recombinées avec un taux de complétion de bout en bout de 26 %, égalant la performance des politiques neurales holistiques sur leurs tâches d'entraînement originales, mais sans dépendre de démonstrations spécifiques.

5. Signification et Contributions

Le papier revendique trois contributions principales :

Formulation de Sous-Objectifs Basée sur l'Apprentissage : Il recadre la planification à long horizon comme l'apprentissage d'une politique pour générer des sous-objectifs vérifiables, allant au-delà de la simple décomposition par prompting statique.
Optimisation de Politique Guidée par Trace : Il introduit la TGPO, un algorithme de RL qui exploite la correction de trace externe pour optimiser la génération structurée sous des récompenses éparses et bruitées, résolvant le problème d'attribution de crédit dans les étapes de raisonnement intermédiaire.
Planification Scalable à Long Horizon : Il démontre que la combinaison de la génération de sous-objectifs apprise avec des planificateurs symboliques permet une planification robuste dans des environnements vastes et complexes avec des instructions abstraites, surpassant significativement les méthodes existantes.

Les auteurs notent que bien que la méthode soit efficace, elle repose actuellement sur des représentations de scènes structurées (graphes de scènes) plutôt que sur des entrées visuelles brutes et suppose un domaine symbolique prédéfini. Des travaux futurs sont suggérés pour traiter l'apprentissage/l'adaptation des domaines et l'intégration de l'incertitude de la perception.