What Matters in Orchestrating Robot Policies: A Systematic Study of Hierarchical VLA Agents

Technische Samenvatting: Wat ertoe doet bij het orchestreren van robot-policies: Een systematische studie naar hiërarchische VLA-agenten

Probleemstelling
Hoewel monolithische Vision-Language-Action (VLA) modellen indrukwekkende generalisatie hebben getoond in het mappen van natuurlijke taal naar robotacties, kampen ze met aanzienlijke beperkingen bij taken met een lange horizon, compositie en abstract redeneren. Deze beperkingen komen voort uit het trainen op korte trajectsegmenten en het catastrofale vergeten van redeneervermogen tijdens het fine-tunen op actiegegevens. Hiërarchische VLA (Hi-VLA) systemen, die een hoog-niveau Vision-Language Model (VLM) planner gebruiken om taken te deconstrueren in subdoelen voor een laag-niveau VLA-controller, bieden een veelbelovende oplossing. Het vakgebied mist echter verenigde ontwerpprincipes. Bestaande Hi-VLA systemen variëren sterk in hun selectie van planners, controllers, schakelmechanismen en geheugenrepresentaties, wat het moeilijk maakt om te bepalen welke componenten de prestaties aansturen of hoe deze met elkaar interageren.

Methodologie
De auteurs stellen een systematische studie voor om de ontwerpkeuzes van Hi-VLA te verenigen en te evalueren.

1. Verenigd Framework: Zij vatten diverse Hi-VLA agenten samen onder een gedeelde "options-style" controleloop. In dit framework:
   • De Laag-niveau VLA fungeert als een intra-optie policy ($\pi_{VLA}$) die taal-subdoelen en observaties naar acties mapt.
   • De Hoog-niveau VLM fungeert als een optie-selectie policy ($\pi_{VLM}$) die taal-subdoelen genereert op basis van taalinstructies en observaties.
   • Het systeem bevat een Geheugenmodule om historische interacties te verwerken en een Observatie-representatiemodule om ruwe beelden voor te bewerken.
   • Een Terminatievoorwaarde ($\beta$) bepaalt wanneer de controle overgaat van de laag-niveau VLA terug naar de hoog-niveau VLM.
2. Experimentele Opstelling: De studie wordt uitgevoerd in de MuJoCo ALOHA simulatie-suite en op een echte ALOHA robot. Taken worden gecategoriseerd in drie regimes:
   • Korte horizon: Vergelijkbaar met typische VLA-trainings-trajecten.
   • Lange horizon: Vereist de compositie van meerdere vaardigheden.
   • Redeneringsintensief: Vereist interpretatie van indirecte of semantische instructies.
3. Systematische Ablatie: De auteurs isoleren en benchmarken kernontwerpkeuzes over deze categorieën taken, inclus\u2019 de VLM-policy (modelgrootte en "denk"-capaciteit), VLA-policy (modelgrootte en fine-tuning), terminatievoorwaarden, observatie-representaties en geheugenmechanismen.

Belangrijkste Bijdragen en Resultaten
Het artikel destilleert praktische principes voor het bouwen van Hi-VLA systemen via de volgende bevindingen:

• Hoog-niveau VLM Policy:
  • Redeneren boven Grootte: Het mogelijk maken van "denk"-capaciteiten (interne redeneerpasses) in de VLM verbetert de prestaties consistent over alle taaltypen, met name voor lange-horizon en redeneringstaken. Verrassend genoeg heeft de modelgrootte (Lite vs. Flash vs. Pro) een verwaarloosbare impact op de prestaties wanneer redeneren is ingeschakeld, wat suggereert dat kleinere, redeneervaardige modellen voldoende zijn voor veel robotica-benchmarks.
• Laag-niveau VLA Policy:
  • Grootte en Stuurbaarheid: In tegen tegenstelling tot hoog-niveau planners, profiteren laag-niveau VLAs significant van een grotere modelgrootte vanwege betere instructie-opvolgingscapaciteiten.
  • Risico's van Fine-tuning: Het fine-tunen van een kleinere VLA op in-domain simulatiegegevens resulteerde in de slechtste prestaties, waarschijnlijk door een verlies van stuurbaarheid (het vermogen van het model om uiteenlopende instructies op te volgen), wat cruciaal is voor hiërarchische orchestratie.
• Terminatievoorwaarden:
  • Succesdetectie: Een succesdetector (gebruikmakend van geprivilegieerde simulator-states) presteert consequent beter dan vaste frequenties of door VLM voorspelde terminatievoorwaarden.
  • Robuustheid: Succesdetectie blijft effectief, zelfs bij gematigde foutmarges.
  • Horizon: Voor terminatie met een vaste frequentie biedt een gematigde executiehorizon (4–8 seconden) een balans tussen computationele kosten en prestaties.
• Observatie-representaties:
  • Tekstuele Augmentatie: Het converteren van ruwe beelden naar tekstuele beschrijvingen verhoogt de prestaties aanzienlijk.
  • Geprivilegieerde Informatie & Bounding Boxes: Het toevoegen van geprivilegieerde contactinformatie (bijv. "gripper in contact met rode kubus") of door VLM gegenereerde bounding box-informatie aan de tekstuele beschrijving levert de hoogste winst op. Dit suggereert dat VLMs moeite kunnen hebben met het extraheren van alle noodzakelijke ruimtelijke details uit ruwe beelden alleen in complexe taken.
• Geheugenmechanismen:
  • In-Episode vs. Cross-Episode: Het toevoegen van ruwe historie of het samenvatten van de huidige episode heeft weinig tot geen positief effect. Het samenvatten van ervaringen over episodes heen (specifiek succesvolle episodes) om affordances te extraheren, verbetert de taakvoltooiing echter aanzienlijk. Dit benadrukt de behoefte aan betere cross-episodische leermechanismen.

Geaggregeerde Prestaties
Bij het combineren van de beste ontwerpkeuzes (Denkende VLM, contact-gebaseerde observatie, succes-gebaseerde terminatie en cross-episodisch geheugen), presteert de resulterende "Best Hierarchy" aanzienlijk beter dan zowel een "Naive Hierarchy" (willekeurige/standaard keuzes) als een "Flat VLA" (geen hiërarchie).

• Simulatie: De beste hiërarchie behaalde ~78% succes op korte-horizon, ~67% op lange-horizon, en ~81% op redeneringstaken, vergeleken met ~25% en ~51% voor flat VLAs op respectievelijk lange-horizon en redeneringstaken.
• Echte Robot: De bevindingen werden getransfereerd naar een echte ALOHA robot, waar de beste hiërarchie 12/15 vruchten plaatste, vergeleken met 3/15 voor de flat VLA.

Betekenis en Claims
Het artikel beweert de eerste systematische, verenigde analyse van Hi-VLA design te bieden, bewegend voorbij empirische trial-and-error. De auteurs stellen dat:

1. Orchestratie Ertoe Doet: Een goed ontworpen hiërarchische besturingsstructuur verhoogt de prestaties aanzienlijk ten opzichte van platte architecturen, vooral voor complexe taken.
2. Ontwerp-synergie: Prestaties worden gezamenlijk gevormd door de model-backbones en de interfaces tussen hen. Specifiek zijn redenerings-geactiveerde VLMs, stuurbare VLAs en hoog-impact interface-mechanismen (terminatieregels, geheugen, observatie-representatie) cruciaal.
3. Toekomstige Fundering: Deze principes bieden een fundament voor het bouwen van meer capabele, robuuste en principiële hiërarchische agenten. De auteurs merken op dat het simpelweg introduceren van een hiërarchie onvoldoende is; de specifieke implementatie van de orchestratie-laag is wat de substantiële winst drijft.

Beperkingen
De auteurs erkennen dat hun studie zich richt op statische omgevingen en ervan uitgaat dat latentie geen kritieke factor is. Zij suggereren dat toekomstig werk dynamische omgevingen, latentie-gevoelige scenario's en het gebruik van Reinforcement Learning of supervised fine-tuning moet onderzoeken om cross-episodische kennis beter te benutten.