💻 computer science

StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

StellaVLA is een test-time adaptatieframework voor Vision-Language-Action-modellen dat kosteloze, gestructureerde demonstraties (bijv. taakplannen en verbaal geuite 3D-bewegingen) gebruikt als in-context begeleiding om de generalisatie over out-of-distribution scenario's en belichamingen te verbeteren, waarbij het state-of-the-art prestaties bereikt op belangrijke benchmarks zonder inferentie-latentie.

Oorspronkelijke auteurs: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Gepubliceerd 2026-08-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij een broodje moet maken. Je zou de robot een video kunnen laten zien van jou terwijl je het doet, en de robot zou precies jouw handbewegingen kunnen proberen te kopiëren. Maar wat gebeurt er als de robot in een andere keuken staat, het brood aan de linkerkant ligt in plaats van de rechterkant, of de robot een ander soort arm heeft? Plotseling raakt de robot in de war en laat hij het brood vallen. Dit is een groot probleem in de wereld van de robotica, specif wrong voor een type slim systeem dat een Vision-Language-Action (VLA) model wordt genoemd. Dit zijn als superintelligente robots die een plaatje kunnen "zien", een opdracht kunnen "lezen" zoals "pak de beker op", en vervolgens kunnen "handelen" door hun arm te bewegen. Het probleem is dat ze vaak lijken op studenten die een specifieke toets uit het hoofd hebben geleerd, maar falen wanneer de vragen er net even anders uitzien. Ze worstelen wanneer de scène verandert, er een nieuw object verschijnt, of de camerahoek verschuift. Om dit op te lossen, moeten wetenschappers meestal duizenden nieuwe video's verzamelen en de robot opnieuw trainen, wat een eeuwigheid duurt.

Maar wat als de robot simpelweg naar één enkel voorbeeld kan kijken van iemand die de taak uitvoert en direct begrijpt waarom diegene het deed, en niet alleen wat diegene deed? Dat is de grote vraag die dit artikel aanpakt. In plaats van de robot alleen een ruwe video te tonen van een hand die beweegt, willen de onderzoekers de robot een "referentiegids" geven die de logica achter de bewegingen uitlegt. Ze willen dat de robot het plan leert (zoals "pak eerst de hendel") in plaats van alleen de pixels (zoals "beweeg de hand naar coördinaat X, Y, Z"). Als ze dit kunnen doen, kan de robot nieuwe, vreemde situaties aan zonder dat er een totale reboot nodig is.

Maak kennis met StellaVLA, een nieuw framework van het StellarEdge AI Technical Team dat precies dit probleem probeert op te lossen. Denk aan StellaVLA als een robot die niet alleen een film kijelt, maar ook de regisseurcommentaar leest terwijl hij kijkt.

Dit is hoe het werkt: Het team heeft een systeem gebouwd dat een rommelige, ruwe video van een robot of een mens die een taak uitvoert, automatisch omzet in een gestructureerde demonstratie. Stel je voor dat je een lange, verwarrende video neemt van iemand die een Lego-kasteel bouwt en deze omzet in een duidelijke, stapsgewijze instructiehandleiding. Het systeem breekt de taak af in "subdoelen" (zoals "zoek de rode steen") en beschrijft de bewegingen in gewone taal (zoals "beweeg de arm omhoog en naar rechts"). Dit gebeurt automatisch, zonder dat mensen aantekeningen hoeven te schrijven, door een krachtige AI te gebruiken om de video te "lezen" en het verhaal te schrijven.

Zodra deze "verhaalgebaseerde" voorbeelden klaar zijn, worden ze in een bibliotheek opgeslagen. Wanneer de robot voor een nieuwe taak staat, gokt hij niet zomaar. Hij zoekt in deze bibliotheek, vindt het best passende verhaal en gebruikt dit als gids. Maar hier komt het slimme deel: de robot wordt op een speciale manier getraind. Tijdens zijn "schooltijd" moet hij twee dingen tegelijk doen: hij moet leren hoe hij zijn arm moet bewegen (de actie) en hij moet leren hoe hij de beweging in woorden kan uitleggen (de redenering). Het is als een student die een wiskundeprobleem moet oplossen en de stappen moet opschrijven om volledige punten te krijgen. Dit dwingt de robot om de logica van de taak te begrijpen, en niet alleen de beweging na te bootsen.

Het artikel maakt echter een zeer belangrijk onderscheid over hoe dit in de echte wereld werkt. Hoewel de robot tijdens de training tegen zichzelf praat, stopt hij met praten wanneer hij daadwerkelijk het werk gaat doen (inferentie). Het "uitleggende" deel van zijn brein wordt uitgezet, en alleen het "bewegende" deel blijft actief. Waarom? Omdat praten tijd kost, en robots snel moeten bewegen. Door het geklets tijdens de eigenlijke taak uit te schakelen, blijft de robot super snel en responsief, maar profiteert hij nog steeds van de diepe kennis die hij tijdens het studeren heeft opgedaan.

De resultaten van deze aanpak zijn zeer veelbelovend, althans in de tests die de onderzoekers hebben uitgevoerd. In een reeks simulaties genaamd LIBERO behaalde de robot een succespercentage van 98,8%, wat zeer hoog is. Wanneer ze hem testten op een moeilijkere leaderboard genaamd VLA-Arena, die lastige situaties bevat zoals nieuwe objecten of verwarrende achtergronden, scoorde StellaVLA een 0,63 in totaal. Dit versloeg andere sterke modellen, die rond de 0,44 en 0,22 scoorden. Zelfs toen de robot te maken kreeg met vreemde verlichting, verschillende camerahoeken of objecten die hij nog nooit eerder had gezien (zoals een wortel in een kom leggen wanneer de wortel een andere kleur had), hield hij het beter vol dan zijn concurrenten, met een score van 85,1% op een robuustheidstest genaamd LIBERO-Plus.

De onderzoekers hebben dit ook getest op een echte robotarm in de echte wereld. Ze ontdekten dat de robot demonstraties van mensen, andere robots of zelfs virtuele realiteit (XR)-simulaties als zijn gids kan gebruiken. Het maakte er niet uit hoe de "leraar" eruitzag; zolang het "verhaal" van de taak maar duidelijk was, kon de robot het volgen. Bijvoorbeeld, wanneer de robot de opdracht kreeg om blokken in een lade te leggen die hij nog nooit eerder had gezien, faalde hij niet alleen; hij maakte progressie en behaalde een gemiddelde score van 1,9 op 4, wat aantoont dat hij probeerde het plan te volgen, ook al kon hij de taak niet perfect voltooien.

Het artikel is echter voorzichtig met de bewering dat dit een wondermiddel is voor elk probleem. De robot heeft nog steeds moeite met zeer lange, complexe taken waarbij het plan halverwege moet veranderen (zoals wanneer een persoon binnenloopt en de blokken verplaatst terwijl de robot aan het werk is). In deze "long horizon"-tests daalde het succespercentage aanzienlijk, wat suggereert dat hoewel de robot erg goed is in het volgen van een vooraf geschreven verhaal, hij nog niet klaar is om ter plekke een heel nieuw plot te improviseren. Ook merkt het artikel op dat hoewel de robot zeer consistent is bij het gebruik van verschillende soorten demonstraties (mens versus robot), de tests in de echte wereld lieten zien dat hij nog steeds de juiste soort begeleiding nodig heeft om perfect te werken.

Kortom, StellaVLA suggereert dat als je wilt dat een robot slim en aanpasbaar is, je hem niet alleen moet laten zien wat hij moet doen, maar je moet vertellen waarom hij het doet. Door ruwe video's om te zetten in gestructureerde, logische verhalen en de robot te leren die logica te begrijpen, wordt het systeem veel beter in het afhandelen van nieuwe en lastige situaties. Het is een stap naar robots die niet alleen onze bewegingen kopiëren, maar ook echt onze intenties begrijpen.

Technische Samenvatting: StellaVLA

Probleemstelling

Vision-Language-Action (VLA) modellen hebben zichzelf gevestigd als een leidend paradigma voor robotische manipulatie, waarbij visuele en tekstuele inputs worden vertaald naar fysieke acties. Echter, een kritieke beperking blijft bestaan: deze modellen lijden vaak aan prestatiecollaps wanneer ze scenario's buiten de distributie (out-of-distribution, OOD) tegenkomen, zoals veranderingen in de scène, het gezichtspunt of de eigenschappen van objecten. Huidige herstelmethoden vereisen doorgaans het verzamelen van nieuwe data en het finetunen van modelgewichten, wat inefficiënt is qua data en traag verloopt.

Hoewel In-Context Imitation Learning (ICIL) een pad biedt naar test-tijd adaptatie zonder gewichtsupdates door expert-trajecten als context toe te voegen, lijden bestaande benaderingen aan "gedragsinertie". Ze behandelen demonstraties als ruwe sequenties van observaties en continue acties, wat aanzet tot oppervlakkige imitatie. Zonder het onderliggende redeneren (het "waarom") achter de acties van een expert te begrijpen, behandelt het beleid de demonstratie vaak als ruis en valt het terug op zijn voorgetrainde priors, waardoor het faalt in het generaliseren naar nieuwe taken.

Methodologie

StellaVLA adresseert dit door ICIL te verschuiven van het imiteren van acties naar het imiteren van het redeneren erachter. Het framework introduceert een gestructureerde, redenerings-versterkte context die de policy in staat stelt te plannen op basis van semantische intentie in plaats van alleen pixel-trajecten.

1. Geautomatiseerde Offline Gestructureerde Contextextractie

De kerninnovatie is een geautomatiseerde pijplijn die ruwe expert-trajecten (van echte robots, menselijke handen of XR-retargeting data) omzet in gestructureerde demonstraties tegen nul menselijke annotatiekosten.

Semantische Segmentatie: Een krachtig Vision-Language Model (VLM, bijv. Qwen3-VL) analyseert ruwe trajecten om deze te deconstrueren in discrete, semantisch betekenisvolle segmenten. Het identificeert hoogwaardige subdoelen (bijv. "Reiken naar de handgreep") op basis van visuele veranderingen.
Kinematische Verbalisering: Gebruikmakend van een "taal-als-actie" paradigma, worden fysieke acties binnen elk segment deterministisch vertaald naar gestructureerde tekst. Dit omvat:
- Semantische Ratio: Beschrijvingen van hoogwaardige subdoelen.
- Kinematische Ratio: Verfijnde bewegingsbeschrijvingen, waarbij 3D werkruimte-verplaatsingen worden verbaal gemaakt (bijv. "Beweeg end-effector met $\Delta x, \Delta y, \Delta z$ ") en 2D-projecties op het cameravlak.
Verenigde Representatie: Dit proces creëert een ratio-versterkte trajectpool ( $\tau_{rat}$ ) waarbij elke tijdstap wordt gegrond in observaties, acties, subtaak-labels en segment-niveau gestructureerde ratio's. Dit verenigt diverse belichamingen (mens, robot, XR) in een gemeenschappelijke semantische representatie.

2. Parallel Dual-Training Paradigma

StellaVLA maakt gebruik van een parallelle trainingsarchitectuur om zowel wat te doen als waarom te internaliseren.

Retrieval-Augmented Prompting: Tijdens de training haalt het systeem één top-1 ratio-versterkte demonstratie op basis van taalinstructie-gelijkenis. Dit dient als een contextueel prefix ( $P_{demo}$ ) dat een impliciet in-context learning signaal biedt.
Dual Experts: De VLA-backbone voert een gedeelde latente representatie naar twee parallelle heads:
1. Action Expert: Een lichtgewicht MLP die continue actie-chunks regresseert.
2. Spatial-Language Expert: Een autoregressieve head die het subtaak-label voorspelt en de 3D/2D-beweging van de huidige actie-chunk verbaal maakt.
Gezamenlijk Doel: Het model wordt geoptimaliseerd via een gezamenlijke loss-functie ( $L = L_{act} + \lambda L_{lang}$ ), wat de gedeelde representatie dwingt om de gedemonstreerde taakstructuur te verbinden met de vereiste robotbeweging.

3. Asymmetrische Inferentie en Caching

Om real-time, hoogfrequente controle te garanderen, ontkoppelt StellaVLA de verwerving van redenering van de executie.

Alleen-Actie Executie: Bij inferentie wordt de spatial-language expert volledig verwijderd. De policy voert één forward pass uit door de backbone en de action expert, geleid door de KV-gecachete demonstratie-prefix. Dit elimineert de overhead van autoregressieve decodering en behoudt een lage latentie.
Prefix Caching: Omdat de opgehaalde demonstratie-prefix statisch is voor een gegeven episode, wordt de Key-Value (KV) cache eenmalig berekend aan het begin, wat de computationele voetafdruk tijdens de rollout drastisch vermindert.

Belangrijkste Bijdragen

StellaVLA Framework: Een retrieval-augmented VLA die ICIL verschuift van actie-imitatie naar redenerings-imitatie, waardoor gedragsinertie in OOD-condities wordt verminderd.
Zero-Cost Gestructureerde Extractie: Een geautomatiseerde pijplijn die heterogene demonstraties (mens, robot, XR) omzet in gestructureerde, redenerings-versterkte contexten zonder menselijke annotatie.
Parallel Dual-Training met Asymmetrische Inferentie: Een trainingsstrategie die ruimtelijke-taal redenering internaliseert terwijl de taal-head bij inferentie wordt verwijderd, wat real-time controle garandeert zonder de voordelen van gestructureerde begeleiding op te offeren.
Cross-Embodiment Generalisatie: Gedemonstreerde capaciteit om menselijke en XR-demonstraties als in-context begeleiding te gebruiken voor real-robot taken, waarbij diverse databronnen worden verenigd via een gestructureerde representatie.

Experimentele Resultaten

Het paper evalueert StellaVLA over simulatie- en real-robot benchmarks, waarbij het wordt vergeleken met sterke baselines zoals $\pi0.5$ , LingBot-VLA en StarVLA-OFT.

VLA-Arena Leaderboard: StellaVLA behaalt de hoogste rang met een algemene score van 0.63, waarmee het $\pi0.5$ (0.44) en LingBot-VLA (0.22) aanzienlijk verslaat. Het toont bijzondere kracht in de categorieën "Task Workflows" en "Unseen Objects".
LIBERO (In-Distribution): Behaalt een gemiddeld succespercentage van 98,8%, wat aantoont dat gestructureerde context de in-distribution prestaties niet in gevaar brengt.
LIBERO-Plus (Zero-Shot Robustheid): Behaalt een gemiddeld succes van 85,1% onder zeven soorten perturbaties (gezichtspunt, ruis, verlichting, etc.), waarmee het de matched control (StarVLA-OFT) met 10,1 punten verslaat. De grootste winsten worden gezien bij camera-gezichtspunt (+23,5) en sensorruis (+19,7).
Real-Robot Evaluatie: Op een AgileX Piper arm behaalt StellaVLA 85,0% succes in-distribution en 75,0% op OOD-L1 taken (wijzigingen in objecteigenschappen). In contrast dalen baselines met 20–25 punten op vergelijkbare OOD-taken.
Cross-Source Consistentie: Experimenten tonen aan dat het gebruik van menselijke of XR-demonstraties als context bijna identieke actie-voorspellingen oplevert als het gebruik van robot-demonstraties (discrepantie < 0,03° gewrichtshoek), wat de effectiviteit van de verenigde gestructureerde representatie bevestigt.
Efficiëntie: De inferentie-latentie voor het alleen-actie pad is 88 ms. Het toevoegen van de spatial-language expert voor decodering verhoogt de latentie naar 3177 ms (ongeveer 36x trager), wat de noodzaak van het asymmetrische inferentie-ontwerp voor real-time controle valideert.

Betekenis en Claims

Het paper claimt dat de primaire bottleneck in de huidige VLA-generalisatie het gebrek aan expliciete redenering in opgehaalde demonstraties is. Door ruwe trajecten om te zetten in gestructureerde, hiërarchische ratio's (subdoelen en kinematische beschrijvingen), stelt StellaVLA de policy in staat om over de taak te redeneren in plaats van louter pixel-trajecten te imiteren.

De betekenis ligt in drie gebieden:

Generalisatie: De gestructureerde context fungeert als een herbruikbaar sjabloon voor planning, waardoor het model kan adapteren aan OOD-taken en omgevingen zonder parameterupdates.
Efficiëntie: Het framework integreert succesvol complexe redeneercapaciteiten tijdens de training, terwijl het real-time inferentie-snelheden behoudt door de taal-head bij deployment te verwijderen.
Data-efficiëntie: Het maakt het gebruik van diverse, heterogene databronnen (mens, XR, robot) mogelijk als in-context begeleiding, waarbij de mismatch tussen belichamingen wordt overwonnen door een gedeelde semantische representatie in plaats van een uitgelijnde actieruimte te vereisen.

De auteurs concluderen dat StellaVLA een stap voorwaarts vertegenwoordigt naar robuustere, meer generaliseerbare robotische policies die het "waarom" van expertgedrag kunnen benutten om ongeziene uitdagingen te navigeren.