💻 computer science

ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

ValueFormer affronta il fallimento silenzioso delle policy Vision-Language-Action basate sull'apprendimento per imitazione introducendo un transformer causale compatto che genera etichette di valore densamente distribuite e sensibili alle fasi per consentire un efficace rilevamento degli errori online e la stima dell'advantage, migliorando così significativamente i tassi di completamento dei task in compiti di manipolazione su robot reali senza richiedere un costoso apprendimento per rinforzo.

Autori originali: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Pubblicato 2026-08-05

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i robot imparano a svolgere le faccende domestiche non essendo programmati con regole rigide, ma osservando gli esseri umani e copiandoli, proprio come un bambino che impara ad allacciarsi le scarpe guardando un genitore. Questo campo è chiamato Vision-Language-Action (VLA), dove un robot usa i suoi "occhi" (telecamere) e il suo "cervello" (modelli linguistici) per decidere cosa fare dopo. Il grande problema di questo approccio è che il robot spesso impara solo da esempi riusciti. È come cercare di imparare ad andare in bicicletta guardando solo video di persone che non sono mai cadute. Se il robot inizia a barcollare o a lasciare il manubrio, non sa di stare fallendo finché tutto non si schianta. Non ha un "senso interiore" per dirgli: "Ehi, stai andando alla grande!" o "Fermo! Stai per far cadere quel panino!".

Questo articolo affronta questo mancante "senso interiore". I ricercatori volevano costruire un secondo, più piccolo cervello per il robot che agisca come una barra di avanzamento. Invece di limitarsi ad aspettare che il robot completi un compito per poi dire "Bravo" o "Fallito", questo nuovo sistema osserva il robot in tempo reale, fotogramma per fotogramma. Cerca di rispondere: "Quanto siamo vicini al traguardo in questo momento?" e "Abbiamo appena commesso un errore?". L'obiettivo è rendere i robot semi-autonomi più sicuri e utili, in modo che un operatore umano non debba fissare uno schermo aspettando che accada un disastro.

La "Barra di Avanzamento" del Robot che Sa Quando Sei Bloccato

Incontrate ValueFormer, un nuovo strumento progettato per dare ai robot un senso di progresso. Pensate a un robot che cerca di fare un sandwich. Deve mettere giù il pane inferiore, aggiungere un hamburger, formaggio, pomodoro, lattuga e infine il pane superiore. Se il robot si blocca sulla lattuga, un robot standard addestrato solo su storie di successo potrebbe continuare a cercare di afferrare la lattuga per sempre, o peggio, saltarla e mettere il pane superiore su un hamburger nudo, pensando che tutto sia a posto. Non ha idea di essere nei guai.

Gli autori di questo articolo si sono resi conto che l'ostacolo principale non era costruire un nuovo e sofisticato cervello robotico; era capire come insegnare al robot cosa significa "stare andando bene" in ogni singolo secondo.

Il Problema delle Etichette "Tutto o Niente"

Immaginate di correggere il compito di matematica di uno studente. Se date un voto solo alla fine, non saprete quando si è bloccato. Ha fallito la prima domanda o l'ultima?

Il Vecchio Modo: La maggior parte dei robot viene addestrata con un semplice interruttore "Successo/Fallimento" alla fine del compito. Se il sandwich è fatto, è un 1. Se è un disastro, è uno 0.
Il Difetto: Questo è troppo rado (sparse). Se un robot commette un errore a metà strada ma continua ad andare avanti, lo "0" alla fine non dice al robot quale parte è stata sbagliata. È come dire a un corridore: "Hai perso la gara", senza dirgli che è inciampato al miglio 2.

I ricercatori hanno provato un approccio diverso. Volevano un'etichetta densa, un punteggio che si aggiorna ogni frazione di secondo, mostrando esattamente quanto il robot è vicino all'obiettivo. Ma ecco la parte complicata: se dite semplicemente al robot "Hai fallito, quindi il tuo punteggio è 0" per l'intero tentativo fallito, il robot si confonde. Vede i primi secondi (dove stava andando bene) e pensa: "Aspetta, stavo andando alla grande, ma dici che sto fallendo? Devo essere in difficoltà fin dall'inizio!". Questo confonde il robot e lo fa performare male anche negli tentativi buoni.

La Soluzione "Success-Then-Decay" (Successo e poi Decadimento)

La principale scoperta del paper è un modo intelligente di etichettare gli errori chiamato "Stage-Aware, Success-Then-Decay".

Immaginate che il robot stia scalando una montagna (facendo un sandwich).

La Scalata: Mentre scala, il suo "punteggio di progresso" sale fluidamente.
Lo Scivolone: Se scivola e cade (commette un errore), il punteggio non scende istantaneamente a zero. Invece, rimane alto per le parti che ha fatto bene (il pane inferiore e l'hamburger) e poi decade lentamente man mano che si rende conto di essere nei guai.
Il Risultato: Questo insegna al robot che la prima metà del tentativo era in realtà buona, ma la fine è stata cattiva. Preserva il "credito parziale" per il lavoro svolto prima dell'errore.

Gli autori hanno testato questo metodo contro altri quattro modi di etichettare gli errori (come azzerare istantaneamente il punteggio o scalare l'intero punteggio). Hanno scoperto che il loro metodo di "decadimento fluido" era l'unico che non confondeva il robot. Ha permesso al robot di imparare che un tentativo fallito aveva comunque valore all'inizio, impedendo il "collasso" delle sue previsioni sugli tentativi di successo successivi.

Due Teste, Un Cervello

ValueFormer è un modello piccolo ed efficiente che gira accanto al cervello principale del robot. Ha un design unico a "doppia testa", come un robot con due tipi diversi di occhi:

L'Occhio Fluido ( $V_{mc}$ ): Fornisce un punteggio di progresso continuo e dolce (da 0 a 1). Dice all'operatore: "Siamo al 60% della finezza" o "Ci stiamo incagliando". È ottimo per monitorare il progresso complessivo.
L'Occhio Affilato ( $V_{bin}$ ): È un allarme binario. Scatta su "Pericolo!" nel momento in cui avviene un errore. È progettato per catturare gli errori rapidamente, come quando il robot fa cadere la lattuga, in modo che un essere umano possa intervenire prima che l'intero sandwich venga rovinato.

Il paper mostra che addestrando il sistema su 1.427 episodi reali di robot che preparano sandwich, esso ha imparato a riconoscere quattro schemi distinti:

Successo Pulito: Il punteggio sale costantemente verso l'alto.
Successo con Riprova: Il punteggio scende quando il robot combina un pasticcio (come far cadere un hamburger) ma risale una volta che lo sistema.
Collasso Anticipato: Il punteggio sale, poi scende e resta basso perché il robot ha sbagliato presto.
Stuck-Scratching (Girare a vuoto): Il punteggio resta basso perché il robot sta solo girando a vuoto.

Risultati nel Mondo Reale

Quando i ricercatori hanno usato questa "barra di avanzamento" per aiutare il robot a imparare, i risultati sono stati promettenti. Usando il "senso interiore" del robot per pesare i suoi dati di addestramento (dicendogli di prestare più attenzione alle parti in cui stava incontrando difficoltà), hanno migliorato il tasso di successo del robot dal 70% all'85% in un compito di preparazione del sandwich. Sono anche riusciti a eliminare un'abitudine errata specifica in cui il robot continuava a provare a prendere un ingrediente che aveva già posizionato con successo (un errore di "ripetizione prelievo").

Tuttavia, gli autori sottolineano con cautela che, sebbene il miglioramento sia reale, il campione (20 sandwich nel test finale) è piccolo, quindi i risultati sono "suggestivi" piuttosto che un problema risolto in modo definitivo. Hanno anche scoperto che il sistema ha bisogno di un po' di tempo per reagire, circa 5-10 secondi, perché analizza una breve cronologia di ciò che è accaduto prima di prendere una decisione.

Renderlo Abbastanza Veloce da Funzionare

Infine, il team ha dovuto assicurarsi che questa nuova "barra di avanzamento" non rallentasse il robot. Far girare due cervelli su un unico chip è difficile. Hanno scoperto che il costo principale non era la parte del "pensiero", ma la parte del "vedere" (l'elaborazione delle immagini della telecamera). Ottimizzando il modo in cui le immagini venivano elaborate (usando una tecnica chiamata "batching" e un formato matematico specifico chiamato "bf16"), hanno ridotto il tempo necessario per controllare il progresso di 3-5 volte. Ciò ha permesso al sistema di girare fluidamente a 2 Hz (due volte al secondo) sullo stesso chip del computer del robot, senza causare ritardi.

In breve, ValueFormer dà ai robot un modo per dire: "Sto andando bene, ma ho appena fatto cadere il formaggio e ho bisogno di aiuto", invece di fallire silenziosamente alla fine. Trasforma un'imitazione cieca in un partner semi-autonomo che sa quando è nei guai.

Sintesi Tecnica: ValueFormer

Problema

Le policy Vision-Language-Action (VLA) addestrate tramite behavior cloning (ad esempio, la famiglia $\pi_0$ ) spesso falliscono silenziosamente. Poiché l'apprendimento per imitazione non fornisce una nozione intrinseca di progresso, un robot che compie progressi puliti e uno che si è bloccato o è fallito possono produrre flussi di azioni e output visivi identici. Sebbene il Reinforcement Learning (RL) potrebbe teoricamente fornire un segnale di valore, esso risulta impraticabile per compiti robotici con oggetti deformabili (come il cibo) a causa dell'alto costo della raccolta dati e dell'incapacità degli attuali simulatori di riprodurre fedelmente le interazioni fisiche.

Le alternative esistenti, come i bit terminali di successo/fallimento, soffrono di un'estrema scarsità. Un singolo bit alla fine di un episodio di due minuti non può informare un operatore su quando si è verificato un errore, né può fornire il segnale denso richiesto per la stima dell'advantage o per il filtraggio della sicurezza online. Inoltre, gli schemi di etichettatura densa semplici (ad esempio, assegnare un valore di 0 a tutti i frame di un episodio fallito) sono attivamente dannosi; insegnano al modello che le osservazioni nelle fasi iniziali di un rollout fallito sono intrinsecamente "cattive", causando al modello di predire il fallimento anche durante successi puliti durante il deployment.

Metodologia

Il paper propone ValueFormer, un transformer causale compatto e agnostico rispetto alla policy, che emette due segnali per frame da un singolo passaggio in avanti: un valore Monte Carlo fluido ( $V_{mc}$ ) per il monitoraggio del progresso e un valore binario netto ( $V_{bin}$ ) per il rilevamento degli errori.

1. Etichettatura Stage-Aware, Success-Then-Decay

Il contributo tecnico centrale è uno schema di etichettatura innovativo per gli episodi falliti che affronta il problema del "label con forma errata":

Pre-Failure: I frame che precedono il fallimento in un episodio fallito sono etichettati in modo identico agli episodi di successo, seguendo una curva Monte Carlo crescente ( $V \approx \gamma^{N-1-k}$ ). Ciò preserva il credito parziale per le fasi completate prima dell'errore.
Post-Failure: Inveve di un calo netto a zero (un "cliff"), l'etichetta decade fluidamente dal valore al punto di fallimento ( $V_{fail} = V_{succ}(k_{fail}) \cdot \gamma^{k-k_{fail}}$ ). Questo codifica l'intuizione secondo cui un robot che fallisce tardi in un compito merita comunque più credito di uno che fallisce precocemente.
Rilevamento Binario: Un secondo target, $V_{bin}$ , è generato da intervalli di errore basati su segmenti $(t_{start}, t_{end})$ piuttosto che su un singolo punto di fallimento. Ciò consente al modello di apprendere da errori transitori in rollout altrimenti riusciti (ad esempio, una presa fallita che viene recuperata).

2. Architettura

ValueFormer è un lightweight causal transformer (circa 3,5 milioni di parametri addestrabili) costruito su un backbone DINOv3 ViT-L/16 congelato.

Input: Elabora una finestra temporale breve e fissa (8 secondi, 16 frame) di sei viste: tre immagini da telecamera complete e tre ritagli ROI (regioni di interesse) per gripper e polso. Ingestisce anche stati articolari e feature temporali.
Design Causale: Il transformer utilizza una maschera causale, garantendo che il valore al tempo $t$ dipenda solo dai frame passati e presenti, rendendolo valido per l'inferenza online.
Dual-Head Output:
- Testa $V_{mc}$ : Un MLP a 3 strati che produce un valore fluido in $[0, 1]$ , supervisionato dagli etichette Monte Carlo stage-aware.
- Testa $V_{bin}$ : Un MLP a 2 strati che produce una probabilità netta di fallimento, supervisionata dagli intervalli di errore.

3. Addestramento e Supervisione

Il modello è addestrato congiuntamente su entrambe le teste utilizzando la Binary Cross-Entropy (BCE). Per scalare l'annotazione, gli autori utilizzano i flag di intervento human-in-the-loop (HIL) dalle sessioni di teleoperazione. Quando un operatore prende il controllo di un rollout fallito, l'intervallo di intervento viene trattato come un segmento di errore, fornendo una supervisione densa e a basso costo che aumenta le annotazioni manuali.

Risultati Chiave

Il metodo è stato valutato su un compito di assemblaggio di un sandwich bimanuale con robot reale su 1.427 episodi (1.249 successi esperti, 178 rollout autonomi).

Efficacia dell'Etichettatura: Uno studio di ablazione confrontando cinque forme di etichettatura ha dimostrato che lo schema proposto "MC-smooth" (success-then-decay) ha superato significativamente le alternative (outcome-scaled, cliff, linear mix, late-diverge). Ha raggiunto il più basso valore di validazione BCE loss e l'errore MAE di rollout, evitando l' "outcome leakage" (predire il fallimento a $t=0$ basandosi sul risultato finale) osservato in altri schemi.
Firme Qualitative: ValueFormer ha riprodotto con successo quattro firme canoniche di rollout su dati non visti:
1. Curve in salita fluida per successi puliti.
2. Cali e recuperi per successi con tentativi (retries).
3. Pattern di ascesa-e-caduta per collassi precoci.
4. Profili piatti-bassi per episodi di stallo o movimenti ripetitivi (scratching).
Rilevamento del Fallimento: Combinando le annotazioni manuali con i segmenti derivati dall'intervento, la testa binaria ha raggiunto un Average Precision (AP) di 0,82 sul rilevamento dei fallimenti su dati non visti (rispetto a 0,38 con sole etichette manuali), rilevando il 95% degli errori prima dell'intervento dell'operatore.
Miglioramento della Policy (A/B Test): In un esperimento su robot reale, l'uso del critic per derivare pesi di addestramento per frame per la policy VLA ha migliorato il completamento del compito dal 70% all'85% (entro il rumore statistico con $n=20$ ) ed eliminato un modo di fallimento specifico di "ripetizione della presa" (repeat-pick) che persisteva con la baseline a flag singolo.
Efficienza di Deployment: Attraverso l'encoding a lotti (batched encoding) e l'autocast BF16 sul encoder congelato, il costo di serving live è stato ridotto di 3–5 $\times$ , permettendo al critic di girare a 2 Hz insieme alla policy su una singola GPU senza bloccare il loop di controllo.

Significato e Claim

Il paper sostiene che l'etichetta, e non l'architettura, è il collo di bottiglia critico nell'apprendimento di funzioni di valore per il behavior cloning. Il contributo primario è la dimostrazione che un'etichetta densa, con la forma corretta e stage-aware, è essenziale per apprendere un segnale di valore utile.

Densità di Supervisione: Passare da un bit terminale a un target per frame è necessario ma insufficiente; la forma di quel target determina il successo. Un'etichetta densa con la forma errata (ad esempio, uno zero piatto per tutti i fallimenti) è peggiore di nessuna etichetta, perché il modello la adatta fedelmente, apprendendo associazioni errate.
Agnosticismo della Policy: ValueFormer opera accanto a una VLA congelata, richiedendo alcuna modifica al loop di addestramento o al formato di input della policy, rendendolo un modulo plug-and-play per la famiglia $\pi_0$ .
Design a Doppio Target: La separazione tra un valore fluido (per la stima del progresso) e un segnale binario netto (per gli aborti di sicurezza) permette a un singolo modello di servire sia la necessità dell'operatore di una "barra di progresso" sia la necessità del sistema di un "abort" immediato.

Gli autori concludono che, sebbene l'applicazione specifica fosse l'assemblaggio di un sandwich, il pattern di design — un piccolo head di valore a doppio output con target ingegnerizzati che condividono un backbone — offre una via generalizzabile verso robot semi-autonomi capaci di rilevare i propri fallimenti prima che sia richiesto l'intervento umano.