Technische Samenvatting: Sturing van Vision-Language-Action Modellen via Runtime Reasoning-Action Alignment Verificatie

Probleemstelling

Vision-Language-Action (VLA) modellen hebben robotische instructie-opvolging geavanceerd door gebruik te maken van voorgetrainde vision-language backbones met action-generation heads. Een recente evolutie, "Reasoning VLAs", incorporeert Chain-of-Thought (CoT) redenering, waarbij tussenliggende tekstuele plannen worden gegenereerd voordat lage-niveau acties worden uitgevoerd. Hoewel dit de prestaties bij complexe, langdurige taken verbetert, blijft een kritieke foutmodus bestaan: de Embodied CoT Faithfulness Gap.

Zelfs wanneer een Reasoning VLA een correct tekstueel plan genereert (bijv. "pak de soep op"), kan de daaropvolgende reeks lage-niveau acties er niet in slagen dat plan fysiek te realiseren (bijv. het pakken van de roomcheese in plaats van de soep). Deze mismatch is bijzonder prominent in Out-of-Distribution (OOD) scenario's die te maken hebben met nieuwe instructies, objecten of visuele contexten. Het papier formaliseert dit als een gebrek aan "embodied CoT faithfulness", waarbij de fysieke uitkomsten van acties niet betrouwbaar overeenkomen met de door het model zelf gegenereerde redenering. Bestaande runtime sturingsmethoden vertrouwen vaak op geleerde critics (bijv. Q-functies) die moeite hebben met het generaliseren naar nieuwe semantische of visuele verschuivingen, waardoor ze falen in het verifiëren van de alignment tussen de hoog-niveau intentie en de lage-niveau uitvoering.

Methodologie: SEAL (Steering for Embodied reasoning-action ALignment)

De auteurs stellen SEAL voor, een training-vrije, runtime policy steering framework ontworpen om reasoning-action alignment af te dwingen. SEAL werkt door meerdere kandidaat-actiesequenties te samplen, hun uitkomsten te simuleren, en de sequentie te selecteren die het beste aansluit bij het eigen tekstuele plan van het model met behulp van een voorgetraind Vision-Language Model (VLM) als verifieerder.

Het proces verloopt in drie fasen bij elke redeneerstap, nadat een nieuw tekstueel plan $\hat{\ell}^r_t$ is gegenereerd:

1. Hypothesize (Hypothetiseren): De basis Reasoning VLA policy ($\pi^{r\text{-}VLA}_\theta$) genereert $K$ kandidaat-actiesequenties parallel. Deze sequenties zijn autoregressief en variabele lengte, en eindigen wanneer het model een "think" token uitvoert (wat aangeeft terug te keren naar de redenering).
2. Predict (Voorspellen): Een dynamica-model (of een parallelle omgevingssimulatie in de benchmark) voorspelt de toekomstige observatiesequentie ($\hat{o}^{(k)}_{t:t+H}$) voor elke kandidaat-actiesequentie. Dit stelt het systeem in staat om "vooruit te kijken" naar de potentiële uitkomst van elke hypothese zonder deze op de robot uit te voeren.
3. Verify (Verifiëren): Een voorgetraind VLM (bijv. GPT-4o) fungeert als verifieerder. Het wordt geprompt met de initiële afbeelding, de voorspelde definitieve afbeelding van een kandidaat-sequentie, en het tekstuele plan. Het VLM wijst een binaire score toe die aangeeft of de voorspelde uitkomst het plan succesvol vervult. De actiesequentie met de hoogste alignment score wordt geselecteerd voor uitvoering.

Runtime Optimalisatie: Om latentie te minimaliseren, hanteert het framework een asynchrone executiestrategie. De verificatiefase draait parallel aan de generatie van opeenvolgende kandidaten. Het systeem maakt gebruik van een "early-exit" strategie, waarbij de eerste kandidaat-sequentie die de VLM succesvol verifieert direct wordt uitgevoerd, in plaats van te wachten tot alle $K$ kandidaten zijn gegenereerd en geëvalueerd.

Belangrijkste Bijdragen

1. Runtime Policy Steering voor Reasoning-Action Alignment: Het artikel introduceert een framework dat reasoning-action alignment afdwingt zonder extra fine-tuning te vereisen. Door acties te verifiëren tegen de eigen tekstuele redenering van het model, zet SEAL de natuurlijke actie-diversiteit van het beleid om van een bron van fouten naar een kracht, waarbij misaligneerde executies worden gefilterd.
2. Uitgebreide Generalisatie Experimenten en Scaling Analyse: De auteurs laten zien dat SEAL de sterke baselines (inclusief vanilla VLAs en Q-functie gebaseerde sturing) met wel 15% verslaat op taken met gedragscompositie en OOD-verschuivingen. Cruciaal is dat zij aantonen dat de prestaties schalen met de grootte en diversiteit van de fine-tuning dataset; naarmate het basisbeleid een rijker scala aan kandidaat-acties genereert, verbetert het vermogen van de verifieerder om de juiste te selecteren.
3. Redenering-geannoteerde Dataset en Uitgebreide Benchmark: De auteurs dragen een open-source, redenering-geannoteerde versie van de LIBERO-100 dataset bij. Ze breiden de LIBERO-benchmark ook uit met nieuwe taakbeschrijvingen, visuele variaties en gedragscompositie-taken die specifiek zijn ontworpen om OOD-robuustheid en compositionele generalisatie te evalueren.

Experimentele Resultaten

Experimenten werden uitgevoerd op de LIBERO benchmark suite met drie datasets van toenemende schaal (LIBERO-10, LIBERO-100-Basket, LIBERO-100).

• In-Distribution (ID) Prestaties: Op standaard ID-taken bereikte SEAL succespercentages van 94–97%, waarmee het de basis Reasoning VLA ($\pi^{0\text{-}reason}$) en Q-functie sturing ($\pi^{0\text{-}V\text{-}GPS}$) overtrof. De verbetering komt voort uit het filteren van actiesequenties die weliswaar plausibel zijn, maar niet overeenkomen met het specifieke subdoel dat in het tekstplan is gedefinieerd.
• Gedragscompositie (Behavior Composition): Op nieuwe taken die de recombinatie van geleerde vaardigheden vereisen (bijv. "doe A en C in de mand" wanneer getraind op "A+B" en "C"), toonde SEAL significante winst. Terwijl baselines stagneerden op ~15% succes, bereikte SEAL tot wel 53% succes op de grootste dataset, wat aantoont dat verificatie het model in staat stelt zijn redeneervermogen effectief te benutten, zelfs wanneer de actiegeneratie ruis bevat.
• OOD Robuustheid:
  • Semantische Verschuivingen: SEAL behield >91% succes bij geherformuleerde instructies en veranderingen in objecteigenschappen, terwijl non-reasoning baselines aanzienlijk daalden.
  • Visuele Verschuivingen: In de meest uitdagende "Visual-Viewpoint" verschuiving (verandering van camerastandpunten en achtergronden), behield SEAL een succespercentage van 45%, waarmee het de eerstvolgende beste baseline met meer dan 17% versloeg. Dit onderstreept het vermogen van de verifieerder om acties te filteren die falen onder zware visuele perturbaties.
• Scaling Law: Het verhogen van het aantal gesamplede kandidaten ($K$) van 1 naar 10 resulteerde in een prestatiewinst van 15% op compositietaken en kortere episode-lengtes. De inferentietijd schaalde lineair met $K$ en bleef competitief met eerder werk.

Betekenis en Claims

Het artikel claimt dat de primaire bottleneck in huidige Reasoning VLAs niet de generatie van het plan is, maar de getrouwe uitvoering van dat plan. Door een runtime verificatieloop te introduceren die expliciet controleert op reasoning-action alignment, demonstreren de auteurs dat:

1. Faithfulness is actionable: Het waarborgen dat een robot "doet wat hij zegt" verhoogt de robuustheid in OOD-scenario's en de compositionele generalisatie aanzienlijk.
2. Diversiteit is een kracht: In plaats van de stochasticiteit van actiegeneratie te onderdrukken, benut SEAL deze door meerdere hypotheses te samplen en de sequentie te selecteren die aansluit bij het semantische plan.
3. Training-vrije verbetering: Hoge prestatiewinsten kunnen worden behaald zonder het onderliggende beleid opnieuw te trainen, simpelweg door een verificatiestap toe te voegen met kant-en-klare VLMs.

De auteurs concluderen dat het verifiëren van wat een robot doet versus wat hij zegt een cruciale stap is naar het bouwen van robuustere, betrouwbaardere en meer generaliseerbare robotische agenten. Zij erkennen beperkingen, waaronder de afhankelijkheid van de kwaliteit van de voorgestelde modellen en de computationele overhead van VLM-verificatie, maar positioneren SEAL als een belangrijke stap voorwaarts bij het aanpakken van de embodied CoT faithfulness gap.