Technische Samenvatting: MPVI – Motion Planner / VLA Interleaving

Probleemstelling

Vision-Language-Action (VLA) modellen hebben aanzienlijke vooruitgang getoond in mobiele manipulatie, maar blijven worstelen met taken op lange termijn (long-horizon tasks), met name in rommelige huishoudelijke omgevingen. Deze taken vereisen dat robots uitgebreide sequenties van ruimtelijk verspreide subtaken uitvoeren terwijl ze de voortgang naar een hoogwaardig doel behouden.

Ondanks het finetunen op grootschalige menselijke teleoperatie-datasets (bijv. de 1.200 uur aan data die werd verstrekt voor de 2025 BEHAVIOR Challenge), behalen top-tier end-to-end VLA-modellen een zwakke succesratio (bijv. 12,4% op de BEHAVIOR-1K benchmark). Systematische foutanalyses onthullen dat deze modellen lijden onder:

1. Navigatiefouten: Onvermogen om door rommelige scènes te navigeren of verre/afgeschermde objecten te lokaliseren.
2. Verwarring in de uitvoeringvolgorde: Fouten in de sequentie van subtaken.
3. Problemen met ruimtelijke gronding: Moeite met het behouden van nauwkeurige statusbewaking over lange tijdshorizons.
4. Foutstapeling (error compounding): Vroege uitvoeringsfouten leiden tot een snelle degradatie van de prestaties over de taakhorizon.

De auteurs stellen dat deze problemen fundamentele architecturale knelpunten vertegenwoordigen die niet simpelweg kunnen worden opgelost door de trainingsdata of de modelgrootte te schalen.

Methodologie: MPVI-framework

Om deze uitdagingen aan te pakken zonder extra data of training te vereisen, stellen de auteurs MPVI (Motion Planner / VLA Interleaving) voor. Dit is een hybride framework dat een klassieke modelgebaseerde motion planner integreert met een geleerd VLA-beleid. Het systeem is ontworpen om modulair te zijn, waarbij de LLM, VLM, VLA en motion planner als uitwisselbare 'black boxes' worden behandeld.

Het framework bestaat uit vijf kernmodules:

1. Subtaakplanner (LLM):

   • Decomponeert de natuurlijke taal instructie in een sequentie van korte subtaken.
   • Labelt elke subtaak als navigatie of manipulatie.
   • Wint statusgebaseerde voltooiingscriteria toe (predicaten over de wereldstatus, bijv. "kan in de prullenbak zit") in plaats van actiegebaseerde predicaten, aangezien statuspredicaten gemakkelijker te verifiëren zijn via enkele afbeeldingen.

2. Orchestrator:

   • Stuurt subtaken naar de juiste module: de klassieke motion planner voor navigatie en de VLA voor manipulatie.
   • Groepeert opeenvolgende manipulatiesubtaken in een enkele uitvoerunit voor de VLA.
   • Onderhoudt een kennisbank van ontdekte kamers, armaturen en objecten om redundante visuele zoekopdrachten tijdens daaropvolgende navigatiesegmenten te voorkomen.
   • Beheert foutafhandeling: als een module een tijdslimiet overschrijdt, markeert de orchestrator de subtaak als mislukt en gaat door naar de volgende.

3. Navigatiemodule (Klassieke Motion Planner):

   • Behandelt alle basisbewegingen met behulp van A* padvinden.
   • Vertrouwt op een bestaande begaanbaarheidskaart met gelabelde kamers (een standaardveronderstelling in de huishoudelijke robotica).
   • Voor lokalisatie van doelobjecten raadpleegt het eerst de kennisbank. Als de locatie onbekend is, maakt het gebruik van open-vocabulary objectdetectie (GroundingDINO) gecombineerd met frontier-gebaseerde exploratie om het object te lokaliseren.
   • De VLA wordt pas ingeschakeld zodien de robot zich binnen een specifieke "handoff radius" van het doelobject bevindt.

4. Manipulatiemodule (VLA):

   • Voert manipulatiesubtaken uit met behulp van een vooraf getrainde VLA (specifiek openpi-comet gebaseerd op $\pi0.5$).
   • Ontvangt subtaakbeschrijvingen en RGB-beelden van hoofd- en polscamera's.
   • Werkt totdat de completion checker het einde signaleert.

5. Completion Checker (VLM met proprioceptieve trigger):

   • Bepaalt wanneer een manipulatiesubtaak voltooid is om een overgang terug naar de motion planner te triggeren.
   • Kerninnovatie: In plaats van periodieke VLM-polling (wat rekenintensief is en gevoelig is voor hallucinaties), gebruikt het systeem proprioceptieve triggers.
   • Een controle op voltooiing wordt alleen geïnitieerd wanneer proprioceptieve signalen (bijv. het sluiten van de grijper of de staat van de arm) aangeven dat een manipulatie-primitive (zoals een pakken of plaatsen) zojuist is beëindigd. Dit vermindert het aantal foutieve positieven aanzienlijk die cascadefouten zouden kunnen veroorzaken.

Belangrijkste Bijdragen

1. MPVI Framework: Een nieuwe architectuur die klassieke motion planning verweeft met VLAs, wat aantoont dat een motion planner kan dienen als een "sturingsmechanisme" om falen in mobilie manipulatie op lange termijn te beperken.
2. Proprioceptie-getriggerde voltooiingscontrole: Een mechanisme dat semantische visuele verificatie koppelt aan de fysieke robotstatus, waardoor cascadefouten door VLM-hallucinaties tijdens taakovergangen worden voorkomen.
3. Empirische Validatie: Een uitgebreide evaluatie op de BEHAVIOR-1K benchmark die laat zien dat hybride benaderingen state-of-the-art end-to-end VLAs kunnen overtreffen, zelfs wanneer de VLAs zijn getraind op grootschalige whole-body datasets.

Experimentele Resultaten

De auteurs evalueerden MPVI op de 50-taken subset van de BEHAVIOR-1K benchmark met de OmniGibson simulator, waarbij zij werden vergeleken met openpi-comet (de tweede plaats oplossing in de 2025 BEHAVIOR Challenge).

• Prestatiewinst: MPVI behaalde een verbetering van 113% in de gemiddelde taakprogressie (Q-Score) ten opzichte van de end-to-end VLA baseline.
• Taakdekking: Verbeteringen werden waargenomen in 31 van de 50 taken, waarbij de methode de baseline evenaarde in 16 taken en achteruitging in slechts 3 taken.
• Mitigatie van faalmodi: De methode adresseerde specifificamente navigatiefouten, botsingen en verwarring in de uitvoeringvolgorde, die werden geïdentificeerd als primaire faalmodi in de baseline.
• Efficiëntie: Bij het vergelijken van episodes met een overeenkomstige taakprogressie (Q-scores), vertoonde MPVI een reductie van 4,5% in afgelegde basisafstand en een reductie van 9,8% in genormaliseerde simulatietijd.
• Ablatie-studies:
  • Het verwijderen van de motion planner (vertrouwen op enkel subtaak-decompositie) verminderde de prestaties met 31% ten opzichte van MPVI.
  • Het verwijderen van de proprioceptieve trigger (gebruik van periodieke polling) verminderde de prestaties met 47%, wat het cruciale belang van betrouwbare voltooiingscontrole benadrukt.
  • Het gebruiken van de grondwaarheid (ground-truth) locaties van objecten (Oracle) verbeterde de Q-scores met 17% ten opzichte van MPVI, wat suggereert dat hoewel perceptie een factor is, de primaire bottleneck in de baseline de navigatie en planning logica was, en niet enkel objectdetectie.

Betekenis en Claims

Het artikel beweert dat meer data alleen niet de oplossing is voor de slechte prestaties van VLAs bij taken op lange termijn. In plaats daarvan biedt de integratie van klassieke planning met geleerde beleidsregels een pad naar robuustheid zonder extra trainingsdata.

De auteurs argumenteren dat:

• Taken op lange termijn de architecturale beperkingen blootleggen van puur end-to-end VLAs met betrekking tot geheugen, ruimtelijk redeneren en foutpropagatie.
• Klassieke motion planning expliciet is ontworpen om problemen op te lossen zoals het navigeren door rommelige scènes en het berekenen van botsingsvrije paden, wat het een natuurlijke aanvulling maakt op VLAs.
• Het voorgestelde "recept" voor interleaving — specifiek het gebruik van proprioceptieve triggers voor het wisselen van modules — een gefundeerde manier biedt om de sterke punten van geleerde beleidsregels (flexibiliteit, semantisch begrip) en klassieke planners (betrouwbaarheid, geometrische precisie) te combineren.

Het werk suggereert dat toekomstige ontwikkeling in VLA-scaling zich moet richten op gegronde criteria voor uitstel (deferral) (weten wanneer men overschakelt naar een klassiek component) in plaats van enkel op het vergroten van de modelcapaciteit of datasetgrootte.

Beperkingen

De auteurs erkennen twee primaire beperkingen:

1. Afhankelijkheid van Kaarten: Het framework gaat uit van toegang tot een vooraf in kaart gebrachte omgeving met gelabelde kamergrenzen. Het handelt momenteel geen online semantische mapping of vision-language navigatie vanaf nul af.
2. Manipulatie Knelpunten: De integratie is beperkt tot navigatie; manipulatie wordt volledig gedelegeerd aan de VLA. Bij consequentie verbetert de methode de prestaties niet op taken waar de primaire bottleneck behendige manipulatie is (bijv. het bevestigen van een camera aan een statief), aangezien de fout in het manipulatiebeleid zelf voortkomt.