💻 computer science

ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

ValueFormer adresseert het stille falen van op imitatie-leren gebaseerde Vision-Language-Action-policies door een compacte, causale transformer te introduceren die dichte, fase-bewuste per-frame waarde-labels genereert om effectieve online foutdetectie en advantage-schatting mogelijk te maken, waardoor de taakvol completionspercentages bij real-robot manipulatietaken aanzienlijk worden verbeterd zonder dat kostbare reinforcement learning vereist is.

Oorspronkelijke auteurs: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Gepubliceerd 2026-08-05

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots leren huishoudelijke taken te doen niet door geprogrammeerd te worden met rigide regels, maar door naar mensen te kijken en hen na te doen, net zoals een peuter leert veters strikken door naar een ouder te kijken. Dit vakgebied wordt Vision-Language-Action (VLA) genoemd, waarbij een robot zijn "ogen" (camera's) en "brein" (taalmodellen) gebruikt om te beslissen wat hij nu moet doen. Het grote probleem met deze aanpak is dat de robot vaak alleen leert van succesvolle voorbeelden. Het is alsoals proberen te leren fietsen door alleen video's te kijken van mensen die nooit zijn gevallen. Als de robot begint te wankelen of het stuur laat, weet hij niet dat hij faalt totdat de hele boel crasht. Hij heeft geen intern "onderbuikgevoel" om te zeggen: "Hé, je doet het goed!" of "Stop! Je staat op het punt dat je die sandwich laat vallen!"

Dit paper pakt dit ontbrekende "onderbuikgevoel" aan. De onderzoekers wilden een tweede, kleiner brein voor de robot bouwen dat fungeert als een voortgangsbalk. In plaats van alleen te wachten tot de robot een taak voltooit en dan pas te zeggen "Goed gedaan" of "Gefaald", kijkt dit nieuwe systeem in realtime, frame voor frame, naar de robot. Het probeert te beantwoorden: "Hoe dicht zijn we nu bij de finishlijn?" en "Hebben we zojuist een fout gemaakt?" Het doel is om semi-autonome robots veiliger en nuttiger te maken, zodat een menselijke operator niet naar een scherm hoeft te staren in afwachting van een ramp.

De "Voortgangsbalk" van de Robot die weet wanneer je vastzit

Maak kennis met ValueFormer, een nieuw hulpmiddel ontworpen om robots een gevoel van progressie te geven. Denk aan een robot die een sandwich probeert te maken. Hij moet het onderste broodje neerleggen, een patty toevoegen, kaas, tomaat, sla en tot slot het bovenste broodje. Als de robot vastloopt bij de sla, zal een standaardrobot die alleen getraind is op succesverhalen misschien voor eeuwig blijven proberen de sla te pakken, of erger nog, de sla overslaan en het bovenste broodje op een kale patty leggen, denkend dat alles in orde is. Hij heeft geen idee dat hij in de problemen zit.

De auteurs van dit paper realiseerden zich dat de grootste hindernis niet het bouwen van een fancy nieuw robotbrein was, maar het uitzoeken van hoe je de robot leert wat "goed doen" op elk enkel moment betekent.

Het probleem met "Alles-of-niets" labels

Stel je voor dat je een wiskundetoets van een leerling nakijkt. Als je alleen aan het einde een cijfer geeft, weet je niet wanneer de leerling vastliep. Faalde hij bij de eerste vraag, of bij de laatste?

De Oude Manier: De meeste robots worden getraind met een simpele "Succes/Falen"-schakelaar aan het einde van de taak. Als de sandwich is gemaakt, is het een 1. Als het een bende is, is het een 0.
De Gebrekkigheid: Dit is te schaars. Als een robot halverwege een fout maakt maar gewoon doorgaat, vertelt de "0" aan het einde de robot niet welk deel slecht was. Het is alsof je tegen een hardloper zegt: "Je hebt de race verloren," zonder te vertellen dat hij bij mijl 2 struikelde.

De onderzoekers probeerden een andere aanpak. Ze wilden een dense label (een dicht label), een score die elke fractie van een seconde wordt bijgewerkt en precies laat zien hoe dicht de robot bij het doel is. Maar hier komt het lastige deel: als je de robot simpelweg vertelt "Je bent gefaald, dus je score is 0" voor de gehele mislukte poging, raakt de robot in de war. Hij ziet de eerste paar seconden (waarin hij het goed deed) en denkt: "Wacht, ik deed het geweldig, maar je zegt dat ik faal? Ik moet dus vanaf het begin al aan het falen zijn!" Dit verwart de robot en zorgt ervoor dat hij zelfs bij goede pogingen slecht presteert.

De "Success-Then-Decay" oplossing

De belangrijkste doorbraak van dit paper is een slimme manier van fouten labelen genaamd "Stage-Aware, Success-Then-Decay."

Stel je voor dat de robot een berg beklimt (een sandwich maakt).

De Klim: Terwijl hij klimt, gaat zijn "progressiescore" geleidelijk omhoog.
De Glijpartij: Als hij uitglijdt en valt (een fout maakt), daalt de score niet direct naar nul. In plaats daarvan blijft de score hoog voor de delen die hij wel goed deed (het onderste broodje en de patty) en daalt deze vervolgens langzaam (decay) naarmate hij beseft dat hij in de problemen zit.
Het Resultaat: Dit leert de robot dat de eerste helft van de poging eigenlijk goed was, maar dat het einde slecht was. Het behoudt de "gedeeltelijke credits" voor het werk dat hij vóór de fout heeft verricht.

De auteurs testten dit tegen vier andere manieren om fouten te labelen (zoals de score direct naar nul laten vallen, of de hele score omlaag schalen). Ze ontdekten dat hun "smooth decay"-methode de enige was die de robot niet in de war bracht. Het stelde de robot in staat om te leren dat een mislukte poging aan het begin nog steeds waarde had, wat voorkwam dat hij zijn voorspellingen bij succesvolle pogingen later liet "instorten".

Twee koppen, één brein

ValueFormer is een klein, efficiënt model dat naast het hoofdbrein van de robot draait. Het heeft een uniek "dual-head" ontwerp, zoals een robot met twee verschillende soorten ogen:

Het Soepele Oog ( $V_{mc}$ ): Dit geeft een continue, zachte progressiescore (0 tot 1). Het vertelt de operator: "We zijn 60% klaar," of "We staan stil." Het is ideaal voor het volgen van de algemene voortgang.
Het Scherpe Oog ( $V_{bin}$ ): Dit is een binaire alarmbel. Deze springt direct naar "Gevaar!" op het moment dat er een fout wordt gemaakt. Het is ontworpen om fouten snel op te vangen, zoals wanneer de robot de sla laat vallen, zodat een mens kan ingrijpen voordat de hele sandwich verpest is.

Het paper laat zien dat door dit systeem te trainen op 1.427 echte robot-episoden van het maken van sandwiches, het systeem vier duidelijke patronen leerde herkennen:

Schone Succes: De score klimt gestaag naar de top.
Succes-met-Herstel: De score dipjes wanneer de robot een fout maakt (zoals het laten vallen van een patty), maar klimt weer omhoog zodelijk hij het herstelt.
Vroege Instorting: De score gaat omhoog, maar daalt daarna en blijft laag omdat de robot vroeg in het proces een fout maakte.
Stuck-Scratching (Draaien zonder resultaat): De score blijft laag omdat de robot gewoon zinloos rondjes draait.

Resultaten in de echte wereld

Toen de onderzoekers deze "voortgangsbalk" gebruikten om de robot te helpen leren, waren de resultaten veelbelovend. Door de eigen "onderbuikgevoelens" van de robot te gebruiken om de trainingsdata te wegen (hem te vertellen dat hij meer aandacht moet besteden aan de delen waar hij moeite mee had), verbeterden ze het succespercentage van de robot van 70% naar 85% bij een sandwich-maaktaak. Ze slaagden er ook in om een specifieke slechte gewoonte te elimineren waarbij de robot bleef proberen een ingrediënt op te pakken dat hij al succesvol had geplaatst (een "repeat-pick" fout).

De auteurs merken echter voorzichtig op dat hoewel de verbetering echt is, de steekproefgrootte (20 sandwiches in de laatste test) klein is, waardoor de resultaten eerder "suggestief" dan een gegarandeerd opgelost probleem zijn. Ze ontdekten ook dat het systeem een beetje tijd nodig heeft om te reageren — ongeveer 5 tot 10 seconden — omdat het naar een korte geschiedenis kijkt van wat er eerder gebeurde voordat het een oordeel velt.

Zorgen dat het snel genoeg draait

Ten slotte moest het team ervoor zorgen dat deze nieuwe "voortgangsbalk" de robot niet vertraagde. Het draaien van twee breinen op één computerchip is moeilijk. Ze ontdekten dat de grootste kostenpost niet het "denken" was, maar het "zien" (het verwerken van de camerabeelden). Door de manier waarop de beelden werden verwerkt te optimaliseren (door gebruik te maken van "batching" en een specifiek wiskundig formaat genaamd "bf16"), verkortten ze de tijd die nodig is om de voortgang te controleren met een factor 3 tot 5. Hierdoor kon het systeem soepel met 2 Hz (twee keer per seconde) draaien op dezelfde computerchip als het hoofdbrein van de robot, zonder vertraging (lag) te veroorzaken.

Kortom, ValueFormer geeft robots een manier om te zeggen: "Ik doe het oké, maar ik heb net de kaas laten vallen en ik heb hulp nodig," in plaats van gewoon stilzwijgend te falen aan het einde. Het verandert een blinde imitatie in een semi-autonome partner die weet wanneer hij in de problemen zit.

Technische Samenvatting: ValueFormer

Probleemstelling

Vision-Language-Action (VLA) policies die getraind zijn via behavior cloning (bijv. de $\pi_0$ -familie) falen vaak stilzwijgend. Omdat imitation learning geen intrinsiek begrip van progressie heeft, kunnen een robot die schone vooruitgang boekt en een robot die gestagneerd is of gefaald heeft, identieke actiestromen en visuele outputs produceren. Hoewel Reinforcement Learning (RL) theoretisch een waarde-signaal zou kunnen bieden, is dit onpraktisch voor real-robot taken met vervormbare objecten (zoals voedsel) vanwege de hoge kosten van dataverzameling en het onvermogen van huidige simulators om fysieke interacties getrouw te reproduceren.

Bestaande alternatieven, zoals terminale succes/fout-bits, lijden aan extreme schaarste. Een enkel bit aan het einde van een episode van twee minuten kan een operator niet vertellen wanneer een fout is opgetreden, noch kan het het dichte signaal leveren dat nodig is voor advantage estimation of online veiligheidsfiltering. Bovendien zijn eenvoudige dichte labeleringsschema's (bijv. het toekennen van een waarde van 0 aan alle frames in een mislukte episode) actief schadelijk; ze leren het model dat vroege stadia van een mislukte rollout inherent "slecht" zijn, waardoor het model zelfs bij schone successen tijdens deployment faalvoorspellingen doet.

Methodologie

Het artikel stelt ValueFormer voor, een compacte, policy-agnostische causale transformer die twee per-frame signalen afgeeft via een enkele forward pass: een vloeiende Monte Carlo waarde ( $V_{mc}$ ) voor progressie-tracking en een scherpe binaire waarde ( $V_{bin}$ ) voor foutdetectie.

1. Stage-Aware, Success-Then-Decay Labeling

De kern van de technische bijdrage is een nieuw labeleringsschema voor mislukte episodes dat het probleem van "verkeerd gevormde labels" aanpakt:

Pre-Failure: Frames die aan de fout voorafgaan in een mislukte episode worden identiek gelabeld als succesvolle episodes, volgens een stijgende Monte Carlo-curve ( $V \approx \gamma^{N-1-k}$ ). Dit behoudt de gedeeltelijke credit voor voltooide stadia vóór de fout.
Post-Failure: In plaats van een harde daling naar nul (een "cliff"), vervalt het label vloeiend vanaf de waarde op het punt van de fout ( $V_{fail} = V_{succ}(k_{fail}) \cdot \gamma^{k-k_{fail}}$ ). Dit codeert de intuïtie dat een robot die laat in een taak faalt, nog steeds meer credit verdient dan een robot die vroeg faalt.
Binary Detection: Een tweede target, $V_{bin}$ , wordt gegenereerd uit segment-gebaseerde foutintervallen $(t_{start}, t_{end})$ in plaats van een enkel foutpunt. Dit stelt het model in staat om te leren van tijdelijke fouten in verder succesvolle rollouts (bijv. een mislukte greep die wordt hersteld).

2. Architectuur

ValueFormer is een lichtgewicht causale transformer (ongeveer 3,5M trainbare parameters) gebouwd op een bevroren DINOv3 ViT-L/16 backbone.

Input: Het verwerkt een kort, vast tijdsvenster (8 seconden, 16 frames) van zes views: drie volledige camerabeelden en drie Region-of-Interest (ROI) crops (gripper en pols regio's). Het neemt ook joint state en time features in.
Causal Design: De transformer gebruikt een causale mask, wat garandeert dat de waarde op tijdstip $t$ alleen afhankelijk is van het verleden en het heden, wat het bruikbaar maakt voor online inference.
Dual-Head Output:
- $V_{mc}$ Head: Een 3-laagse MLP die een vloeiende waarde in $[0, 1]$ produceert, gesuperviseerd door de stage-aware Monte Carlo labels.
- $V_{bin}$ Head: Een 2-laagse MLP die een scherpe waarschijnlijkheid van falen produceert, gesuperviseerd door de foutintervallen.

3. Training en Supervisie

Het model wordt gezamenlijk op beide heads getraind met Binary Cross-Entropy (BCE). Om annotatie te schalen, maakt de auteur gebruik van human-in-the-loop (HIL) interventie-flags uit teleoperatie sessies. Wanneer een operator een falende rollout overneemt, wordt het interval van de interventie behandeld als een foutsegment, wat zorgt voor dichte, goedkope supervisie die handmatige annotaties aanvult.

Belangrijkste Resultaten

De methode werd geëvalueerd op een real-robot bimanuele sandwich-assemblage taak met 1.427 episodes (1.249 expert successen, 178 autonome rollouts).

Labeling Efficacy: Een ablatie-studie die vijf labelingvormen vergeleek, toonde aan dat het voorgestelde "MC-smooth" (success-then-decay) schema de andere alternatieven (outcome-scaled, cliff, linear mix, late-diverge) significant overtrof. Het behaalde de laagste validatie BCE loss en rollout MAE, terwijl het "outcome leakage" (het voorspellen van falen bij $t=0$ op basis van de uiteindelijke uitkomst) voorkwam dat werd gezien bij andere schema's.
Kwalitatieve Signaturen: ValueFormer reproduceerde succesvol vier canonieke rollout-signaturen op hold-out data:
1. Vloeiend stijgende curves voor schone successen.
2. Dips en herstel voor successen met retries.
3. Rise-then-drop patronen voor vroege instortingen.
4. Flat-low profielen voor vastgelopen/krabbende episodes.
Foutdetectie: Door handmatige annotaties te combineren met interventie-afgeleide segmenten, bereikte de binaire head een Average Precision (AP) van 0,82 op hold-out foutdetectie (vergeleken met 0,38 met enkel handmatige labels), waarbij 95% van de fouten werd gedetecteerd voordat de operator ingreep.
+++
Policy Improvement (A/B Test): In een on-robot experiment verbeterde het gebruik van de critic om per-frame training weights voor de VLA policy de taakvoltooiing van 70% naar 85% (binnen statistische ruis bij $n=20$ ) en elimineerde het een specifieke "repeat-pick" foutmodus die standhield onder een flag-only baseline.
Deployment Efficiëntie: Door middel van gebatchte encoding en BF16 autocast op de bevroren encoder, werd de live serving cost met 3–5 $\times$ verminderd, waardoor de critic met 2 Hz naast de policy op een enkele GPU kon draaien zonder de control loop te vertragen.

Betekenis en Claims

Het artikel betoogt dat het label, en niet de architectuur, de kritieke bottleneck is bij het leren van value functies voor behavior cloning. De primaire bijdrage is de demonstratie dat een dicht, correct gevormd, stage-aware label essentieel is voor het leren van een nuttig value signaal.

Supervisie Dichtheid: Het overstappen van een terminaal bit naar een per-frame target is noodzakelijk maar onvoldoende; de vorm van dat target bepaalt het succes. Een dicht label met de verkeerde vorm (bijv. een platte nul voor alle fouten) is slechter dan helemaal geen label, omdat het model het getrouw probeert te fitten, waardoor het onjuiste associaties leert.
Policy Agnosticisme: ValueFormer werkt naast een bevroren VLA en vereist geen wijziging aan de training loop of input formaat van de policy, wat het een plug-and-play module maakt voor de $\pi_0$ -familie.
Dual-Target Design: De scheiding tussen een vloeiende waarde (voor progressie-inschatting) en een scherp binair signaal (voor veiligheidsafbrekingen) stelt een enkel model in staat om zowel aan de behoefte van de operator voor een "progress bar" als aan de behoefte van het systeem voor een directe "abort" trigger te voldoen.

De auteurs concluderen dat hoewel de specifieke toepassing sandwich-assemblage was, het ontwerppatroon—een kleine, dual-output value head met engineered targets die een backbone delen—een generaliseerbaar pad biedt naar semi-autonome robots die hun eigen fouten kunnen detecteren voordat menselijke interventie vereist is.