Technische Samenvatting: Hiërarchische Post-Training voor Belichaamde Agenten (HiRoC)

Probleemstelling

Vision-Language-Action (VLA) modellen hebben veelbelovende resultaten laten zien bij robotmanipulatie door visuele perceptie, taalbegrip en actiegeneratie te verenigen. Bestaande post-training methoden behandelen VLA-modellen echter voornamelijk als platte beleidssystemen (flat policies), waarbij globale taakinstructies direct naar lage-niveau acties worden vertaald. Deze aanpak kampt met aanzienlijke beperkingen in realistische scenario's:

1. Gebrek aan Expliciete Taakprogressie: Platte beleidssystemen behouden dezelfde globale instructie gedurende de hele uitvoering, waardoor ze er niet in slagen de stapsgewijze structuur van complexe, langdurige taken expliciet te modelleren.
2. Accumulatie van Fouten: Zonder tussenliggende semantische ankers (subdoelen) accumuleren kleine afwijkingen in de uitvoering zich in de loop van de tijd, wat leidt tot verslechterde besluitvorming of taalfalen.
3. Ineffectieve Hiërarchische Leerprocessen: Hoewel hiërarchische benaderingen bestaan, vertrouwen deze vaak op supervised learning vanuit offline demonstraties en worstelen ze met het verbeteren van de uitvoering door middel van online interactie. Bovsendien optimaliseren bestaande online Reinforcement Learning (RL) methoden nog steeds platte beleidssystemen in plaats van hiërarchische planner-executor structuren.

De kernuitdaging ligt in het creëren van een post-training framework dat de hoge-niveau planning effectief ontkoppelt van de lage-niveau uitvoering, terwijl het ervoor zorgt dat de twee modules efficiënt samenwerken zonder te lijden onder distributie-misalignment.

Methodologie: HiRoC Framework

De auteurs stellen Hierarchical Robotic Control (HiRoC) voor, een hiërarchisch post-training framework dat taakdecompositie, planner-executor alignment en online reinforcement learning integreert. Het framework bestaat uit twee primaire modules: een hoge-niveau Planner en een lage-niveau Executor.

1. Het trainen van de Planner via Supervised Fine-Tuning (SFT)

De planner is verantwoordelijk voor het deconstrueren van globale taakinstructies in uitvoerbare tussenliggende subdoelen op basis van huidige observaties.

• Datapreparatie: De auteurs reorganiseren bestaande multimodale datasets (bijv. uit VLA-OS) om een schone, consistente dataset ($D_{plan}$) te creëren waar trajecten zijn geannoteerd met onmiddellijke volgende subdoelen.
• Optimalisatie: De planner (gebaseerd op een VLM-backbone zoals Qwen2.5-VL) wordt getraind via SFT om de volgende subgoal token sequentie te voorspellen, geconditioneerd op de huidige multimodale staat ($s_t$) en voorgaande subgoal tokens.
• Bevriezen: Zodra de planner is getraind, wordt deze bevroren tijdens de daaropvolgende RL-tuning om de capaciteiten voor taakdecompositie te behouden en distributieverschuivingen te voorkomen.

2. Het trainen van de Executor via SFT en RL Tuning

De executor genereert lage-niveau acties, geconditioneerd op het huidige subdoel dat door de planner wordt geleverd.

• Adresseren van Distributie-Misalignment (DM): Een cruciale uitdaging is dat vooraf getrainde VLAs zijn geoptimaliseerd voor globale doelen, niet voor tussenliggende subdoelen. Het direct koppelen van een planner aan een vooraf getrainde executor leidt tot een "cold start" door distributie-misalignment.
  • Oplossing: De auteurs reorganiseren de trajectdata in subgoal-geconditioneerde samples ($s_i, l_i, a_i$) en voeren Subgoal-Conditioned SFT uit op de executor. Dit stemt het beleid van de executor af op de output van de planner voordat de RL begint.
• Online Reinforcement Learning (RL): De executor wordt verder geoptimaliseerd via online interactie met de omgeving, gestuurd door de bevroren planner.
  • Hiërarchische GRPO: De auteurs introduceren een Group Relative Policy Optimization (GRPO) objectief dat zowel globale als lokale leerprocessen incorporeert.
    • Globale Voordeel ($A_{task}$): Afgeleid van de cumulatieve beloning van het volledige traject.
    • Lokaal Voordeel ($A_{sub}$): Afgeleid van de progressie gemaakt op de tussenliggende subdoelen die tijdens de rollout zijn geregistreerd.
  • Gewogen Integratie: Het uiteindelijke voordeel-signaal ($\hat{A}_i$) is een gewogen som van globale en lokale voordelen. De gewichten ($w_t, w_s$) worden adaptief gebalanceerd op basis van het gemiddelde aantal subdoelen per traject en de trajectlengte, waardoor taken met variërende complexiteit passende supervisie krijgen.
  • Policy Update: De executor wordt bijgewerkt met behulp van een PPO-stijl clipped actor objectief, waarbij de waarschijnlijkheidsratio van actie-tokens wordt geoptimaliseerd terwijl de beleidsafwijking wordt beperkt.

Belangrijkste Bijdragen

1. HiRoC Framework: De voorstel van een hiërarchisch post-training framework dat de hoge-niveau taakplanning expliciet scheidt van de lage-niveau actie-uitvoering, wat gestructureerde redenering en robuuste langdurige manipulatie mogelijk maakt.
2. Collaboratieve Trainingsstrategie:
   • Distributie Alignment: Een subgoal-geconditioneerde SFT-fase die de kloof overbrugt tussen door de planner gegenereerde subdoelen en de uitvoering door de executor, waardoor het cold-start probleem wordt gemitigeerd.
   • Hiërarchisch RL Objectief: Een nieuwe GRPO-formulering die zowel taak-niveau (globaal) als subgoal-niveau (lokaal) leerprocessen gezamenlijk exploiteert, wat zorgt voor meer gestructureerde begeleiding bij beleidsoptimalisatie.
3. Empirische Validatie: Uitgebreide experimenten die consistente prestatieverbeteringen aantonen over diverse robotmanipulatie-benchmarks.

Experimentele Resultaten

De auteurs hebben HiRoC geëvalueerd op de LIBERO benchmark (Goal, Spatial, Object, en Long suites) en de LIBERO-Plus generalisatie-suite.

• Algemene Prestaties: HiRoC behaalde State-of-the-Art (SOTA) prestaties en presteerde beter dan sterke baselines inclusief platte VLA-beleidssystemen (OpenVLA), andere RL-gebaseerde methoden (VLA-RL, TGRPO) en world-model-gebaseerde benaderingen.
  • Op de LIBERO-Long suite behaalde HiRoC een succespercentage van 98%, waarmee het de baselines aanzienlijk versloeg en de effectiviteit van hiërarchische controle voor complexe taken bewees.
  • De methode liet een gemiddelde verbetering zien van 10,06% over de benchmarks vergeleken met de baselines.
• Generalisatie (Zero-Shot): Op LIBERO-Plus, dat zeven soorten perturbaties introduceert, demonstreerde HiRoC een superieure generalisatie vergeleken met SFT-gebaseerde modellen en world-model benaderingen, toe te schrijven aan het vermogen om doelen in beheersbare subdoelen te verdelen.
• Ablatie-studies:
  • Het verwijderen van de planner (w/o Plan) leidde tot een significante verslechtering van de prestaties, wat de noodzaak van expliciete taakdecompositie bevestigt.
  • Het verwijderen van de distributie-misalignment (DM) pre-training resulteerde in een ernstige cold start en lagere uiteindelijke prestaties.
  • Het verwijderen van de lokale GRPO (w/o L) toonde aan dat hoewel globale GRPO primair is, het lokale subgoal-signaal complementaire verbeteringen biedt.
• Real-World Transfer: Een sim-to-real experiment op een fysiek robotplatform heeft het getrainde beleid succesvol ingezet zonder extra fine-tuning, wat de praktische toepasbaarheid van het framework valideert.

Betekenis en Claims

Het artikel claimt dat HiRoC het fundamentele probleem van platte VLA-beleidssystemen bij het afhandelen van langdurige, meerfasige robot-taken aanpakt. Door taakprogressie expliciet te modelleren via een planner-executor hiërarchie en het distributie-misalignment probleem op te lossen via gerichte SFT en hiërarchische RL, stelt HiRoC agenten in staat om robuuste, zelfcorrigerende manipulaties uit te voeren.

De auteurs benadrukken dat hoewel hun huidige werk zich richt op hiërarchische post-training, toekomstige richtingen onder meer het verkennen van end-to-end training en robuustere decompositie-mechanismen zijn om onzekerheid in fysieke systemen te hanteren. Het werk onderstreept het belang van het combineren van hiërarchische taakdecompositie met reinforcement learning-gebaseerde beleidsoptimalisatie voor de vooruitgang van algemene robotmanipulatie.