💻 computer science

Decoding Task Progress from VLA Representations

Dit artikel toont aan dat taakvoortgang in Vision-Language-Action (VLA's) lineair leesbaar is uit hun interne activaties, wat het gebruik van eenvoudige probes mogelijk maakt voor effectieve, labelvrije detectie van out-of-distribution situaties en runtime-monitoring van uitgerolde robotica-policies.

Oorspronkelijke auteurs: Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

Gepubliceerd 2026-08-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen lompe armen zijn die steeds dezelfde beweging herhalen, maar slimme helpers die je stem kunnen begrijpen, de rommel op je aanrecht kunnen zien en kunnen bedenken hoe ze het moeten opruimen. Dit is de droom van "Vision-Language-Action" (VLA) modellen. Denk aan hen als het brein van een robot dat een super-slimme camera (visie), een taalvertaler die jouw commando's begrijpt (taal) en een set spieren die daadwerkelijk bewegen (actie) combineert. Wetenschappers hebben deze breinen gebouwd met behulp van enorme pre-trained modellen—het is alsof je de robot een bibliotheek geeft met elk boek en elke film ooit gemaakt, zodat hij al weet hoe een "beker" of een "vaas" eruitziet voordat hij er ooit een echte aanraakt.

Maar hier komt het lastige deel: zodje we deze robots hebben bijgeschaafd (fine-tuned) om specifieke taken uit te voeren, zoals een banaan op een bord leggen, gaan ze soms vreemd doen. Ze kunnen in de war raken door een lichte verandering in de verlichting, of ze blijven proberen een banaan te pakken die er niet eens is, waarbij ze stilzwijgend falen zonder dat wij het weten. We hebben een manier nodig om in het brein van de robot te gluren terwijl hij werkt, om te zien of hij daadwerkelijk vooruitgang boekt of dat hij alleen maar met de wielen in het zand draait. Dit is waar het idee van "interpreteerbaarheid" om de hoek komt kijken. Het is als het hebben van een dashboard dat je niet alleen vertelt wat de robot doet, maar ook wat hij denkt dat er gebeurt. Als we de interne gedachten van de robot kunnen lezen, kunnen we ontdekken wanneer hij vastloopt en hem repareren voordat hij iets kapotmaakt.

In dit artikel besloot een team van onderzoekers te kijken of ze een heel specifieke gedachte uit het brein van een robot konden lezen: hoeveel van de taak nog moet gebeuren? Zij noemen dit "taakvoortgang" (task progress). Stel je voor dat je een pizza eet. Je weet dat je halverwege bent als je de helft van de plakjes hebt opgegeten. De onderzoekers wilden weten of de interne "hersengolven" van de robot (wat simpelweg getallen zijn binnen zijn computer) van nature een signaal bevatten dat zegt: "Hé, ik ben 50% klaar!" of "O jee, ik ben pas 10% klaar!"

Ze testten dit op een robotmodel genaamd $\pi0.5$ , wat een high-tech robotbrein is gebouwd bovenop een beroemd taal- en beeldmodel genaamd PaliGemma. Ze hebben de robot niet geleerd om voortgang te berekenen; ze vroegen simpelweg: "Als we naar de getallen in het brein van de robot kijken op dit moment, kunnen we dan raden hoeveel tijd er nog over is voor de taak?"

De Grote Ontdekking: De Robot Weet het (Maar Luistert Niet)

Het antwoord was een overtuigend ja. De onderzoekers ontdekten dat taakvoortgang duidelijk geschreven staat in het brein van de robot, bijna als een lijn getrokken op een grafiek. Als je een eenvoudig wiskundig hulpmiddel (een "lineaire probe" genoemd) gebruikt en naar de getallen in de eerste paar lagen van het brein van de robot kijkt, kan het je precies vertellen hoeveel van de taak er nog rest. Dit is verbazingwekkend omdat het betekent dat de robot van nature het concept "tijd die over is" begrijpt, zonder dat iemand hem expliciet heeft geleerd om af te tellen.

Nog cooler is dat ze ontdekten dat dit "voortgangssignaal" er al was voordat de robot ooit werd getraind op een specifieke robottaak. Het zat al ingebakken in het grote pre-trained brein (PaliGemma), simpelweg door het lezen van boeken en het bekijken van plaatjes. Het is alsof de robot het concept van "een verhaal afmaken" heeft geleerd door verhalen te lezen, en dat hij diezelfde ervaring toepast op het verplaatsen van een kopje van een tafel naar een koelkast.

De "Toverstaf"-test: Kunnen We het Controleren?

Hier wordt het interessant. De onderzoekers vroegen zich af: "Als we weten dat de robot over voortgang nadenkt, kunnen we dan in zijn brein prikken om hem te laten denken dat hij verder is dan hij in werkelijkheid is?" Ze probeerden de robot te "sturen" door een signaal in te injecteren dat zei: "Je bent 20% dichter bij het doel!"

Het resultaat? Nee. De robot luisterde niet. Hoewel de onderzoekers het voortgangssignaal duidelijk konden lezen, konden ze het gedrag van de robot niet veranderen door dat signaal na te bootsen. Het is alsof je naar de snelheidsmeter van een auto kijkt en ziet dat deze "60 mph" aangeeft, en dan probeert met je vinger de naald naar "100 mph" te duwen. De naald beweegt misschien, maar de auto gaat niet echt sneller rijden. Het brein van de robot kent de voortgang, maar die kennis lijkt niet de belangrijkste schakelaar te zijn die zijn spieren aanstuurt. Dit suggereert een kloof: de robot heeft een rijke interne kaart van waar hij zich bevindt, maar hij gebruikt die kaart niet noodzakelijkerwijs om te beslissen wat hij hierna moet doen op de manier die we hoopten.

Het "Stuck Robot" Alarm

Dus, als we de robot niet met dit signaal kunnen besturen, is het dan nutteloos? Zeker niet! De onderzoekers vonden een super praktische toepassing voor het: het opsporen van wanneer de robot vastloopt.

Stel je voor dat je kijkt naar een robot die een roos in een vaas probeert te zetten. Als de robot normaal werkt, zou het "voortgangssignaal" vloeiend naar beneden moeten gaan, zoals een timer die aftelt. Maar als de robot in de war raakt—missen de vaas bijvoorbeeld op een vreemde plek staat, of de verlichting verandelt—kan de robot stoppen met maken van vooruitgang. Hij kan steeds weer dezelfde mislukte beweging proberen te maken.

De onderzoekers bouwden een eenvoudig alarmsysteem met behulp van dit voortgangssignaal. Ze zeiden tegen het systeem: "Als het voortgangssignaal stopt met dalen, sla dan alarm!" Ze testten dit tegen andere, complexere methoden die vereisen dat de robot getraind wordt op voorbeelden van falen. Hun eenvoudige "voortgangsalarm" werkte net zo goed, en soms zelfs beter, bij het opsporen van wanneer de robot faalde. Het hoefde niet geleerd te worden hoe falen eruitzag; het wist gewoon dat als de robot niet dichter bij het doel kwam, er iets mis was.

Wat Dit Betekent voor de Toekomst

Het artikel suggereert dat deze robotbreinen vol zitten met verborgen, gemakkelijk leesbare signalen over wat ze aan het doen zijn. We kunnen deze signalen gebruiken als een lichte, goedkope manier om robots in de echte wereld te monitoren. Als een robot vastloopt, hoeven we geen complexe AI te gebruiken om te achterhalen waarom; we kunnen gewoon zijn interne "voortgangsklok" controleren. Als de klok stopt, weten we dat het tijd is om in te grijpen.

Hoewel de onderzoekers er niet in slaagden om deze signalen te gebruiken om de robot magisch te laten slagen (het "sturen"-gedeelte werkte niet), bewezen ze wel dat de robot een duidelijk intern gevoel van voortgang heeft. Dit geeft ons een nieuw instrument om onze toekomstige robothelpers veilig, eerlijk en op koers te houden, en ervoor te zorgen dat ze niet alleen doen alsof ze werken terwijl ze eigenlijk niets doen.

Technische Samenvatting: Het decoderen van taakvoortgang uit VLA-representaties

Probleemstelling

Vision-Language-Action (VLA) modellen komen op als algemene beleidsmodellen voor robotmanipulatie, waarbij ze gebruikmaken van vooraf getrainde Vision-Language Model (VLM) backbones om open-vocabulary taken te ondersteunen. De implementatie van deze modellen vereist echter vaak taakspecifieke fine-tuning, wat de generalisatie kan verslechteren, de taalgevoeligheid kan verminderen en de kwetsbaarheid voor perceptuele perturbaties kan vergroten. Er bestaat een kritieke kloof in het vermogen om de interne staat van deze modellen tijdens runtime te monitoren. Hoewel bestaande interpretatiehulpmiddelen kunnen decoderen wat een beleid "weet" over de wereld (bijv. objecttoestanden), adresseren zij momenteel niet waar een beleid zich bevindt ten opzichte van zijn specifieke taak. Specifiek is er een gebrek aan hulpmiddelen om taakvoortgang te monitoren — de genormaliseerde resterende tijd in een traject — intern, wat essentieel is voor het detecteren van gestagneerde uitvoering of out-of-distribution (OOD) fouten zonder externe beloningssignalen of OOD-labels te vereisen.

Methodologie

De auteurs onderzoeken of taakvoortgang lineair leesbaar is uit de interne activaties van het VLA-model $\pi_{0.5}$ (gebaseerd op de PaliGemma backbone). De methodologie is gestructureerd rond drie kernconcepten: decodeerbaarheid en stuurbaarheid, en de toepassing van deze signalen op OOD-detectie.

1. Kenmerkdefinitie en Extractie

Taakvoortgang ( $\tau$ ): Gedefinieerd als het genormaliseerde fractie van een traject dat nog rest tot voltooiing ( $1 - t/T$ ), waarbij $t$ de huidige tijdstap is en $T$ de totale trajectlengte. Dit label wordt rechtstreeks afgeleid uit offline expertdemonstraties zonder extra annotatie.
Embedding Extractie: De auteurs extraheren de residual stream activaties ( $z_i$ ) uit de transformer-lagen van $\pi_{0.5}$ voor elke observatie in de dataset.
Lineaire Probing: Een lineaire probe $\phi(z) = w^\top z + b$ wordt getraind om $\tau$ te voorspellen vanuit de activaties.

2. Formalisering van Representaties

Het artikel formaliseert drie verschillende niveaus van kenmerkrepresentatie:

Zwakke Decodeerbaarheid: Het vermogen om een lineair signaal te extraheren dat gecorreleerd is met $\tau$ uit in-distribution activaties.
Sterke Decodeerbaarheid: Het vermogen van een enkele probe (zonder hertraining) om te generaliseren naar contrafeitelijk getransformeerde inputs (bijv. het vervangen van het doel-zelfstandig naamwoord in de taalprompt). Dit test of het signaal afhankelijk is van de correcte semantische inputs in plaats van spurieuze correlaties.
Stuurbaarheid: Het vermogen om te interveniëren op de activaties (door ze te verschuiven langs de gewichtsvector van de probe) om het gedrag van het model causaal te veranderen (bijv. het model dwingen alsof het meer voortgang heeft gemaakt te handelen).

3. OOD-detectiemechanisme

Een runtime detector wordt geconstrueerd met behulp van de progressie-probe. Deze vergelijkt de voorspelde voortgang ( $\tau_{pred}$ ) met de verwachte voortgang op basis van de verstreken tijd ( $1 - t/E[T|\ell]$ ). Een significante residu ( $V_\tau(t) > \delta$ ) geeft aan dat het beleid is gestagneerd, wat de staat als OOD markeert. Deze methode vereist geen OOD-labels tijdens de training.

Belangrijkste Bijdragen

Definities: De auteurs introduceren formele definities voor zwakke decodeerbaarheid, sterke decodeerbaarheid en stuurbaarheid in de context van generatieve modellen, waarbij zij onderscheid maken tussen het bestaan van een signaal, de afhankelijkheid ervan van correcte inputs, en het causale effect op outputs.
Bevindingen over Decodeerbaarheid: Zij demonstreren dat taakvoortgang zowel zwak als sterk decodeerbaar is vanuit de residual stream van $\pi_{0.5}$ $π_{0.5}$ .
- Het signaal is aanwezig in de gepre-trainde PaliGemma backbone voordat enige robotspecifieke fine-tuning plaatsvindt, wat suggereert dat het voortkomt uit grootschalige robotische pre-training.
- Een probe getraind met taal-counterfactuals (het vervangen van de doel-zelfstandige naamwoorden) past zijn output correct aan, wat bewijst dat het signaal taal-gegrond is en niet slechts een functie van tijd of visuele kenmerken.
Beperking van Stuurbaarheid: Ondanks dat het decodeerbaar is, is het taakvoortgangssignaal niet stuurbaar. Het injecteren van een "boost" in voortgang in de activaties zorgt er niet voor dat dit door het netwerk propageert om het toekomstige gedrag van het beleid te veranderen of om het model succesvol naar het contrafeitelijke gedrag te sturen.
OOD-detectie: De progressie-probe dient als een label-vrije OOD-detector. Het detecteert gestagneerde voortgang wanneer het beleid wordt geconfronteerd met perturbaties (ruis, vervaging, occlusie) of onbekende taken.

Resultaten

Emergentie van het Signaal: Het voortgangskenmerk is observeerbaar in alle geteste modellen, inclusief de ruwe PaliGemma backbone, de basis $\pi_{0.5}$ en de gefinetunede varianten. Echter, de $\pi_{0.x}$ varianten (getraind op robotische data) presteren aanzienlijk beter dan de ruwe VLM backbone, wat aangeeft dat het kenmerk wordt gevestigd tijdens de robotische pre-training.
Counterfactuele Robuustheid: Een probe getraind met taal-counterfactuals bereikt een sterke decodeerbaarheid ( $R^2 \approx 0.33$ op in-distribution data vanwege ruisige proxies, maar volgt $\tau=1.0$ correct onder gewijzigde instructies), terwijl een standaard probe niet reageert op taalveranderingen.
Mislukking van Stuurbaarheid: Experimenten waarbij een voortgangsboost ( $\tau_{boost} = 0.2$ ) in laag 0 wordt geïnjecteerd, tonen aan dat de voorspelde voortgang niet verandert in opeenvolgende lagen, en dat de resulterende acties niet overeenkomen met het contrafeitelijke doel. De geïnjecteerde acties blijven ver verwijderd van de grondwaarheid toekomstige acties.
OOD-detectie Prestaties:
- Cross-Taak Generalisatie: De progressie-gebaseerde detector ( $V_\tau$ ) bereikt een AUROC van 0.833 op onbekende taken (vergeleken met 0.796 op bekende taken), wat robuustheid demonstreert zonder hertraining. Het presteert beter dan densiteitsgebaseerde methoden (Mahalanobis, VAE) op onbekende taken en is competitief met gesuperviseerde baselines (SAFE-MLP) zonder dat OOD-supervisie nodig is.
- Cross-Perturbatie Generalisatie: Wanneer getraind op enkel in-distribution data en getest op onbekende ruismodi (bijv. getraind op ruis A/B, getest op C/D), bereikt $V_\tau$ een per-episode AUROC van 0.960, waarmee het superieur is aan gesuperviseerde detectoren die getraind zijn op specifieke ruistypes.

Betekenis en Claims

Het artikel claimt dat VLA's beschikken over rijke, lineair leesbare interne representaties van semantische hoeveelheden zoals taakvoortgang. Deze bevinding suggereert dat:

Monitoring is haalbaar: Het leren lezen van deze signalen biedt een lichtgewicht, interpreteerbaar pad naar het monitoren van uitgerolde visuomotorische beleidsmodellen zonder de noodzaak van complexe externe modellen of gelabelde foutgegevens.
Pre-training is cruciaal: De emergentie van taakvoortgang in de gepre-trainde backbone geeft aan dat grootschalige robotische pre-training een gestructureerd begrip van taakvoltooiing installeert dat standhoudt tijdens fine-tuning.
Observabiliteit vs. Controleerbaarheid: Er bestaat een duidelijk onderscheid tussen wat een beleid representeert (observeerbare voortgang) en waar het op handelt (stuurbaarheid). Het onvermogen om het model te sturen via progressie-injectie benadrukt dat het beleid dit specifieke interne signaal niet gebruikt als een directe controlevariabele voor besluitvorming.

De auteurs positioneren dit werk als een stap naar het instrumenteren van uitgerolde VLA's, waarbij een instrument wordt geboden om stille fouten (gestagneerde voortgang) te detecteren die robuust zijn tegen zowel taakvariaties als omgevingsperturbaties.