Technische Samenvatting: Trace-Guided Policy Optimization (TGPO) voor Robot Taakplanning

1. Probleemformulering

Het artikel behandelt de uitdaging van langetermijn robot taakplanning in real-world omgevingen. De kern van de moeilijkheid ligt in het mappen van abstracte, ondergespecificeerde natuurlijke taalinstructies naar uitvoerbare actiesequenties die complexe restricties over uitgebreide tijdshorizons voldoen.

Huidige benaderingen kampen met een dichotomie:

• Large Language Models (LLMs): Bezitten sterk algemeen begrip en redeneervermogen, maar falen vaak in het genereren van betrouwbare, haalbare plannen door een gebrek aan expliciete modelering van restricties, cumulatieve fouten in autoregressieve generatie en een zwakke koppeling aan de omgevingsstatus.
• Symbolische planners: Garanderen haalbaarheid en optimaliteit, maar vereisen goed gespecificeerde symbolische doelen (bijv. in Planning Domain Definition Language, PDDL) en kunnen directe hoogwaardige menselijke intenties niet rechtstreeks interpreteren.

De auteurs formuleren het probleem als het leren genereren van verifieerbare subdoelen. In plaats van een enkel holistisch doel of een directe actiesequentie te genereren, leert het systeem een beleid $\pi_\theta$ dat een instructie $q$ en omgevingsstatus $S$ deelt in een sequentie van tussenliggende PDDL-subdoelen $G = \{g_k\}$. Deze subdoelen worden vervolgens opgelost door een klassieke symbolische planner om het uiteindelijke actieplan te produceren. Het leerdoel is het maximaliseren van een beloningsfunctie gebaseerd op haalbaarheid (oplosbare subdoelen) en taakvoltooiing (voldoen aan de instructie).

2. Methodologie: Trace-Guided Policy Optimization (TGPO)

Om de uitdagingen van ijle (sparse), ruisige en vertraagde beloningen die inherent zijn aan dit leerprobleem aan te pakken, stellen de auteurs Trace-Guided Policy Optimization (TGPO) voor. Dit is een reinforcement learning (RL) raamwerk gebouwd op Group Relative Policy Optimization (GRPO), maar verbeterd met gestructureerde leersignalen afgeleid van tussenliggende redeneertracen (reasoning traces).

TGPO werkt via een mechanisme met drie componenten:

A. Verifier-Grounded Rewards

Het systeem maakt gebruik van een verifier om supervisie op uitkomstniveau te bieden. De beloning $R(T, G)$ is een product van:

1. Haalbaarheid ($R_{feas}$): Een binaire controle of alle gegenereerde subdoelen oplosbaar zijn door de PDDD-planner.
2. Taakvoltooiing ($R_{comp}$): Een score (0 tot 1) die evalueert of het samengestelde plan voldoet aan de intentie van de gebruiker, vaak beoordeeld via een LLM-as-judge protocol of simulator-doelen.

B. Trace-Guided Refinement

In het besef dat scalaire beloningen onvoldoende zijn voor credit assignment bij langetermijn taken, introduceert TGPO een hulpmodel om tussenliggend redeneren te corrigeren.

1. Free Rollouts: Het beleid genereert $N$ kandidaat-trajecten (decompositie-traces $T$ en subdoelen $G$).
2. Trace Correction: Trajecten met lage beloningen (onder een drempelwaarde $\tau$) worden geïdentificeerd. Een hulpmodel (de "Trace Improver") herzien de decompositie-trace $T$ om fouten zoals ontbrekende subtaken, onjuiste temporele ordening of incomplete grounding te herstellen, wat een gecorrigeerde trace $\tilde{T}$ oplevert.
3. Constrained Rollouts: Het beleid voert een tweede rollout uit, geconditioneerd op de gecorrigeerde trace $\tilde{T}$, om de corresponderende subdoelen $\tilde{G}$ te genereren. Dit wordt geïmplementeerd via token-level constrained sampling, waarbij de trace-tokens worden afgedwongen tijdens het autoregressief genereren van de subdoelen.

C. Constrained Policy Optimization

Het optimalisatieproces combineert de oorspronkelijke free rollouts en de trace-gecorrigeerde rollouts in een uitgebreide groep. Het beleid wordt bijgewerkt met behulp van een clipped objective vergelijkbaar met GRPO, maar de gradiëntberekening bevat zowel de oorspronkelijke als de gecorrigeerde trajecten. Dit stelt het beleid in staat om te leren van deze externe correcties, waardoor de ijle beloningen effectief worden getransformeerd naar dichte, gestructureerde supervisiesignalen.

3. Experimentele Opzet en Benchmarks

Het raamwerk werd geïnstantieerd voor mobiele manipulatie in grootschalige huishoudelijke omgevingen.

• Data Generatie: Een grootschalige dataset werd geconstrueerd met behulp van de Habitat Synthetic Scene Dataset (HSSD). Taken werden gesynthetiseerd met behulp van LLM's, geconditioneerd op diverse gebruikerspersona's en scene graphs, variërend van expliciete commando's tot abstracte intentiebeschrijvingen.
• Benchmarks: Evaluatie vond plaats op vier benchmarks:
  1. In-Distribution Synthetische Taken: Gecategoriseerd als Easy, Complex (lange horizon, zware restricties) en Abstract (impliciete intentie).
  2. Menselijke Taken: 50 real-world instructies verzameld via een webinterface.
  3. PARTNR: Een publieke benchmark voor embodied multi-agent taken.
  4. BEHAVIOR-1K: Een benchmark voor huishoudelijke taakplanning en skill-leren.
• Baselines: Vergelijkingen omvatten prompting-gebaseerde planners (SayPlan, DELTA, LLM+P, NL2Plan, vanilla LLMs) en learning-gebaseerde methoden (SFT, GRPO, Reinforce++, en een End-to-End TGPO variant).

4. Belangrijkste Resultaten

• Superieure Prestaties: TGPO presteerde significant beter dan alle baselines over alle benchmarks. Op in-distribution taken nam de verbetering ten opzichte van de sterkste prompting-gebaseerde baseline toe met de complexiteit van de taak: 67% op Easy taken, 131% op Complex taken, en 213% op Abstract taken.
• Generalisatie: TGPO demonstreerde robuuste generalisatie naar out-of-distribution omgevingen (PARTNR, BEHAVIOR-1K) en door mensen geschreven taken, met succespercentages van respectievelijk 82,6% en 70,3%, met substantiële winsten ten opzichte van de baselines.
• Ablatie-studies:
  • TGPO vs. SFT: RL-optimalisatie bood een hogere prestatieplafond dan alleen supervised fine-tuning, met name voor complexe en abstracte taken.
  • Trace Correction: Het verwijderen van de trace correction mechanisme (standaard GRPO) leidde tot een snelle prestatiedegradatie naarmate de taakcomplexiteit toenam, wat het belang van gestructureerde begeleiding voor credit assignment benadrukt.
  • Subgoal vs. End-to-End: De op subdoelen gebaseerde benadering (TGPO) presteerde significant beter dan de End-to-End variant (TGPO E2E), wat bevestigt dat het scheiden van probleemformulering (subdoelgeneratie) van uitvoering (symbolisch oplossen) de leerlast vermindert en de haalbaarheid verbetert.
• Robuustheid: Het systeem behield hoge succespercentages (62,3% op abstracte taken) zelfs onder stochastische dynamiek (10% kans op actiefalen) wanneer het gekoppeld werd aan online Monte Carlo Tree Search (MCTS).
• Systeem-integratie: In een volledige robotica-pipeline met low-level executors maakte TGPO compositionele generalisatie mogelijk, waarbij nieuwe gecombineerde taken werden opgelost met een voltooiingspercentage van 26%, wat overeenkomt met de prestaties van holistische neurale policies op hun oorspronkelijke trainings-taken, maar zonder afhankelijk te zijn van specifieke demonstraties.

5. Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Learning-Based Subgoal Formulering: Het herformuleert langetermijn planning als het leren van een beleid om verifieerbare subdoelen te genereren, waarmee het verder gaat dan statische prompting-gebaseerde decompositie.
2. Trace-Guided Policy Optimization: Het introduceert TGPO, een RL-algoritme dat externe trace-correctie gebruikt om gestructureerde generatie te optimaliseren onder ijle en ruisige beloningen, waarmee het credit assignment-probleem in tussenliggende redeneringsstappen wordt opgelost.
3. Schaalbare Langetermijn Planning: Het demonstreert dat het combineren van geleerde subdoelgeneratie met symbolische planners robuuste planning mogelijk maakt in grootschalige, complexe omgevingen met abstracte instructies, waarbij bestaande methoden aanzienlijk worden overtroffen.

De auteurs merken op dat hoewel de methode effectief is, deze momenteel steunt op gestructureerde scène-representaties (scene graphs) in plaats van ruwe visuele inputs en een vooraf gedefinieerd symbolisch domein veronderstelt. Toekomstig werk wordt gesuggereerd om domeinen te leren/aanpassen en perceptie-onzekerheid te integreren.