🤖 machine learning

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

RynnValue è un modello di fondazione per il valore robotico open-source che scala a milioni di clip condizionate da istruzioni utilizzando la distanza temporale come obiettivo di supervisione, superando i metodi basati sulla preferenza nella valutazione e aumentando significativamente il successo delle policy nel mondo reale senza richiedere annotazioni esplicite di ricompensa o progresso.

Autori originali: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Pubblicato 2026-08-11

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come cucinare un pasto, ma invece di dargli una ricetta, gli dici solo: "Fallo bene!" e speri che capisca il resto. Questo è il mondo dell'apprendimento robotico (robot learning), un ramo della scienza in cui gli ingegneri cercano di insegnare alle macchine come muoversi e interagire con il mondo fisico. L'ostacolo principale non è solitamente il cervello del robot (la sua capacità di muoversi), ma la ricompensa (reward). Nel mondo dell'IA, una "ricompensa" è come un tabellone dei punteggi o un "cinque" che dice al robot: "Bravo!" o "Riprova". Il problema è che fornire a un robot un punteggio perfetto per ogni singola mossa è incredibilmente difficile. Se il punteggio è troppo vago, il robot si confonde. Se è troppo specifico per un singolo compito, il robot non può imparare nulla di nuovo. Gli scienziati hanno cercato di costruire un punteggio "universale" che funzioni per qualsiasi robot che svolga qualsiasi compito, ma sono rimasti bloccati su come crearlo senza che un essere umano debba valutare manualmente ogni singolo tentativo.

È qui che entra in gioco una nuova idea chiamata RynnValue. Pensatela come un nuovo modo per valutare le prestazioni di un robot. Invece di chiedere: "Quanto sei vicino al traguardo?" (il che è difficile da misurare se il traguardo appare diverso per ogni compito), RynnValue chiede: "Quanto tempo manca alla fine?". Tratta il viaggio del robot come un timer per il conto alla rovescia. Se il robot è lontano dall'obiettivo, il timer è alto. Se è vicino, il timer è basso. La magia di questo articolo è che dimostra che non serve un essere umano che prema un pulsante per dire "Bravo" per creare questo timer. Si può semplicemente guardare l'orologio. Se un video di un robot che cucina inizia alle 10 minuti e finisce a 0, il computer può capire automaticamente che al segno dei 5 minuti, al robot restavano 5 minuti. Questo semplice trucco permette al robot di imparare da migliaia di ore di video senza che qualcuno debba valutarli manualmente.

Il Problema: La Trappola del "Progresso"

Per molto tempo, gli scienziati hanno cercato di insegnare ai robot misurando il "progresso". Immaginate un robot che cerca di impilare dei blocchi. Un modello di progresso cercherebbe di indovinare se il robot ha completato il 10%, il 50% o il 90% del lavoro. Ma ecco l'inghippo: "50% completato" appare totalmente diverso per l'impilamento di blocchi rispetto al versare dell'acqua. Un robot potrebbe essere a metà strada per l'altezza, mentre un altro potrebbe esserlo per il tempo. Questo rende molto difficile addestrare un robot che possa fare molte cose diverse, perché la definizione di "progresso" cambia ogni volta che cambia il compito. È come cercare di insegnare la matematica a uno studente dicendo "Sei a metà strada!" senza mai dirgli quale sia la risposta finale.

Gli autori di questo articolo sostengono che questo approccio basato sul "progresso" sia una strada senza uscita. Dicono che dobbiamo smettere di cercare di indovinare quanto sia avanti un robot e iniziare a contare il tempo rimanente fino alla fine del lavoro. Lo chiamano distanza temporale (temporal distance). È il "costo per andare" (cost-to-go), o semplicemente, "quanto tempo mi resta?".

La Soluzione: RynnValue e l'Orologio Magico

Il team della DAMO Academy di Alibaba e dell'Hupan Lab ha costruito un modello chiamato RynnValue. Inveve di cercare di indovinare una percentuale di progresso, RynnValue guarda un video di un robot e un'istruzione testuale (come "metti la tazza sul tavolo") e predice esattamente quanti secondi mancano alla fine del compito.

Ecco la parte intelligente: non hanno avuto bisogno di esseri umani che scrivessero "5 secondi rimasti" per ogni video. Hanno semplicemente usato i timestamp già presenti nei file video. Se un video inizia a 0:00 e il robot finisce a 0:10, il computer sa che a 0:05, al robot restavano 5 secondi. Questo significa che potevano addestrare il modello su una massiccia libreria di oltre 7.000 ore di video di robot — circa 3 milioni di clip — senza la necessità che un singolo essere umano li valutasse manualmente. È come insegnare a uno studente a leggere lasciandogli guardare migliaia di film con i sottotitoli, piuttosto che avere un insegnante che valuta ogni singola frase che legge.

I Trucchi Furbi (e come li hanno fermati)

Potreste pensare: "Se il robot impara solo a guardare l'orologio, non sta sfruttando una scorciatoia?". Gli scienziati erano preoccupati anche per questo. Sapevano che se avessero solo mostrato i video in ordine, il robot avrebbe potuto imparare una scorciatoia: "Oh, il terzo fotogramma del video è sempre a metà percorso!" oppure "Se il video dura 10 secondi, la metà è sempre a 5 secondi!". Il robot smetterebbe di guardare le braccia del robot e inizierebbe solo a indovinare in base alla posizione nel video.

Per impedire questo, hanno aggiunto del "caos" all'addestramento:

Campionamento Casuale (Random Sampling): Non hanno mostrato il video in linea retta. Hanno scelto momenti casuali dal video, in modo che il robot non potesse indovinare il tempo in base all'ordine dei fotogrammi.
Mescolamento (Shuffling): A volte hanno mostrato il video al contrario o in un ordine disordinato. Se il robot vedeva uno stato "finito" prima di uno stato "iniziale", doveva capire che lo stato "finito" era in realtà più lontano nel tempo, costringendolo a guardare davvero l'immagine del robot, non solo l'ordine delle immagini.
Isolamento: Si sono assicurati che il robot non potesse sbirciare le risposte per il fotogramma successivo mentre cercava di indovinare quello attuale. Doveva risolvere ogni momento autonomamente.

I Risultati: Funziona?

Il team ha testato RynnValue su un sacco di robot e compiti diversi che non aveva mai visto prima. I risultati sono stati sorprendenti.

Compiti di Classifica (Ranking Tasks): Quando gli è stato chiesto di classificare diversi tentativi del robot da "migliore" a "peggiore", RynnValue ha ottenuto un punteggio di 0,675. È stato migliore dei precedenti modelli migliori che si affidavano a umani per valutare manualmente i video (che avevano ottenuto 0,655).
Robot nel Mondo Reale: Hanno preso il modello e lo hanno usato per insegnare a veri robot a fare compiti complicati, come mettere il pane in un cestino o spostare una bistecca con una spatola.
- Con RynnValue, i robot hanno avuto successo nel 72,5% dei casi durante l'apprendimento online (mentre si muovevano).
- Senza di esso, usando i vecchi metodi migliori, avevano successo solo nel 52,5% dei casi.
- Nell'apprendimento offline (imparare da un database di movimenti passati), RynnValue ha aumentato il successo dal 63,8% all'82,5%.

Perché Questo è Importante

La cosa più eccitante di questo articolo è che suggerisce che non abbiamo bisogno di essere perfetti nel valutare i robot per insegnare loro. Abbiamo solo bisogno di sapere quando hanno finito. Usando il semplice "orologio" del tempo in modo automatico, RynnValue crea un linguaggio universale per le ricompense dei robot. Funziona per un robot con due braccia, un robot con una ruota o un robot con una mano, purché si possa dire quando il lavoro è finito.

Gli autori sottolineano con cautela che questo non è un bastone magico che risolve istantaneamente ogni problema robotico. Hanno scoperto che per compiti molto difficili che richiedono un allineamento preciso (come mettere una scatola in un cassetto), il modello incontrava ancora alcune difficoltà perché gli indizi visivi erano confusi. Ma in generale, hanno dimostrato che la distanza temporale è un modo potente e scalabile per insegnare ai robot. Trasforma il problema disordinato e difficile di "qual è una buona mossa?" nel problema semplice e risolvibile di "quanto tempo manca alla fine?".

In breve, RynnValue è come dare a un robot un cronometro invece di un pagella. Trasforma il mondo caotico dell'apprendimento robotico in un semplice conto alla rovescia, e sembra che stia funzionando meglio dei vecchi metodi.

Sintesi Tecnica: RynnValue – Scalare i Modelli di Fondazione del Valore Robotico con la Distanza Temporale

Problema

Le policy per robot general-purpose vengono sempre più spesso addestrate tramite apprendimento per rinforzo (RL), ma la scalabilità di questo ciclo è limitata dalla supervisione della ricompensa. Le ricompense progettate manualmente non riescono a generalizzare su compiti aperti, mentre i segnali di successo sparsi offrono una guida insufficiente per comportamenti a lungo termine. I modelli di ricompensa general-purpose esistenti si affidano ad ancoraggi interni al compito, come le preferenze umane, le dimostrazioni di riferimento o il progresso normalizzato. Questi approcci legano la supervisione a specifiche traiettorie o set di confronto, rendendoli difficili da trasferire tra fonti di dati, corpi (embodiments) e punti di vista eterogenei. Inoltre, il progresso normalizzato (ad esempio, scale [0, 1]) è una coordinata intra-traiettoria piuttosto che un costo-per-arrivare (cost-to-go) condizionato dall'obiettivo, il che porta a inconsistenze tra diverse durate e strutture dei compiti.

Metodologia: RynnValue

Gli autori introducono RynnValue, un modello di fondazione del valore open-source che riformula il problema della modellazione della ricompensa. Invece di valutare ancoraggi a livello di traiettoria, RynnValue predice la distanza temporale — il costo-per-arrivare diretto e condizionato dall'obiettivo da un'osservazione verso un obiettivo specificato dal linguaggio.

1. Ricetta dei Dati e Etichettatura

RynnValue è addestrato su un mix massiccio ed eterogeneo di oltre 7.000 ore di dati robotici, che comprendono circa 3 milioni di clip di traiettoria condizionate da istruzioni. Questo dataset abbraccia diversi corpi (braccio singolo, doppio braccio, mobile, mani destre), punti di vista e famiglie di compiti (reali, simulati ed egocentrici).

Derivazione delle Etichette: A differenza dei metodi basati sulle preferenze, RynnValue non richiede coppie di preferenza o annotazioni di progresso. Le etichette sono derivate direttamente dai timestamp. Identificando un punto di interruzione del completamento (tramite segmentazione dei sottotitoli e ricollegamento), il modello apprende il tempo rimanente al completamento per qualsiasi osservazione.
Segnale di Supervisione: Il modello predice la distanza temporale assoluta dal completamento del compito e lo spostamento temporale relativo con segno tra osservazioni consecutive.

2. Architettura del Modello

Costruito su RynnBrain, RynnValue è un modello visivo condizionato dal linguaggio che elabora sequenze multimodali intercalate di istruzioni, osservazioni e token di query.

Query Temporali Raggruppate: Per superare i colli di bottiglia informativi, ogni predizione temporale è rappresentata da un gruppo di $N=8$ token di query ripetuti. Questi token interagiscono tramite attenzione bidirezionale prima di essere concatenati per formare una rappresentazione robusta.
Teste Distribuzionali Doppie: Il modello impiega due teste specializzate:
- Testa Assoluta: Predice il tempo rimanente al completamento ( $v_t$ ).
- Testa Relativa: Predice lo spostamento temporale con segno tra osservazioni adiacenti ( $\Delta_t$ ).
- Entrambe le teste utilizzano il binning con spaziatura symlog (256 bin) e target two-hot per gestire l'ampio intervallo dinamico delle distanze temporali, trasformando la regressione in un problema di classificazione stabile.
Ramo del Linguaggio Naturale: Un ramo ausiliario genera descrizioni video, giudizi di corrispondenza istruzione-video e predizioni di successo, fornendo un radicamento semantico senza interferire con le teste del valore temporale.

3. Strategie di Soppressione delle Scorciatoie (Shortcut Suppression)

Per garantire che il modello basi le predizioni su prove visive anziché sfruttare regolarità nei dati, gli autori introducono tre meccanismi chiave:

Campionamento Temporale Casuale: Le osservazioni sono campionate a timestamp irregolari per rompere i pattern aritmetici indotti dal campionamento uniforme.
Rimescolamento dell'Ordine Temporale: L'ordine cronologico delle osservazioni campionate viene rimescolato (con una probabilità di "rewind") durante l'addestramento. Ciò impedisce al modello di inferire il progresso basandosi esclusivamente sulla posizione nella sequenza.
Attenzione di Isolamento del Valore (Value-Isolation Attention): Una strategia di masking in cui i gruppi di query del valore associati a diverse osservazioni non possono prestare attenzione l'uno all'altro. Ciò impedisce al modello di estrapolare valori da query precedenti, costringendo ogni predizione a fare affidamento sul proprio specifico contesto visivo.
Augmentation di Incoerenza dell'Istruzione: Il 10% dei campioni di addestramento utilizza istruzioni errate per insegnare al modello a rilevare incongruenze ed evitare di assumere un progresso fluido verso un obiettivo errato.

4. Interfaccia di Inferenza e Ricompensa

In fase di inferenza, RynnValue emette una stima della distanza temporale $v_t$ . Per servire come segnale di ricompensa, questa viene convertita in una ricompensa basata sul potenziale tramite inversione del segno: $\Phi_t = -v_t$ . Questo crea un'interfaccia di ricompensa densa dove gli stati più vicini al completamento hanno un potenziale più alto (più vicino allo zero), preservando la scala temporale senza normalizzarla a un intervallo [0, 1] specifico per il compito.

Risultati Chiave

Prestazioni nei Benchmark (RBM-EVAL-OOD)

Valutato sulla suite di classificazione delle traiettorie RBM-EVAL-OOD (976 traiettorie su 6 dataset OOD):

RynnValue-8B ha raggiunto un $\tau_a$ di Kendall medio di 0,675, superando lo stato dell'arte basato interamente sulla supervisione delle preferenze (Robometer, 0,655) e più del doppio del corrispondente basato solo sul progresso (0,292).
Anche la variante RynnValue-4B (0,670) ha superato il baseline basato sulle preferenze, suggerendo che i guadagni derivino dalla formulazione della distanza temporale piuttosto che dalla pura scala del modello.
Le varianti di RynnValue hanno ottenuto i migliori risultati su tutti i sei dataset tra i metodi addestrati senza esplicita supervisione delle preferenze a livello di traiettoria.

Allineamento Istruzione-Traiettoria

Nelle analisi della matrice di confusione, RynnValue ha dimostrato la struttura diagonale più chiara (margine diagonale normalizzato di 0,79), superando significativamente i baseline (0,67). Ciò indica che il modello distingue efficacemente le coppie istruzione-traiettoria corrispondenti da quelle errate, radicando le ricompense nell'obiettivo specificato dal linguaggio piuttosto che in un progresso visivo generico.

Apprendimento di Policy nel Mondo Reale

RynnValue è stato impiegato come annotatore di ricompensa zero-shot per RL online e offline su quattro compiti reali impegnativi (Posizionamento del Cesto del Pane, Servizio dello Steak, Scatola nel Cassetto, Trasferimento Bimanuale di una Scatola) senza fine-tuning nel dominio target.

RL Online: RynnValue ha migliorato i tassi di successo dal 52,5% (Robometer) al 72,5%.
RL Offline: RynnValue ha migliorato i tassi di successo dal 63,8% (Robometer) all'82,5%.
Notevolmente, RynnValue ha permesso l'apprendimento RL con successo su compiti (Scatola nel Cassetto, Trasferimento Bimanuale di una Scatola) dove il baseline SFT aveva raggiunto lo 0% di successo.

Analisi della Scalabilità

Gli esperimenti che separano la quantità di dati dalla diversità hanno mostrato che la diversità dei compiti produce una riduzione dell'errore costantemente più ripida rispetto al volume degli episodi. L'aggiunta di più dati degli stessi compiti porta a una saturazione precoce, mentre l'aumento della varietà dei compiti guida un miglioramento continuo della generalizzazione.

Significato e Rivendicazioni

Il documento afferma che la distanza temporale è un obiettivo di supervisione scalabile e privo di preferenze che unifica dati robotici eterogenei sotto un'unica interfaccia. Derivando le etichette direttamente dai timestamp, RynnValue evita la necessità di costose annotazioni di preferenza o normalizzazioni del progresso specifiche per il compito.

Gli autori sostengono che RynnValue stabilisca una via pratica per l'addestramento di policy robotiche generaliste:

Scalabilità: Sfrutta enormi dataset eterogenei senza il collo di bottiglia della etichettatura delle preferenze umane.
Robustezza: Attraverso il rimescolamento dell'ordine temporale e l'attenzione di isolamento del valore, apprende valori radicati nelle prove visive, rendendosi sensibile ai fallimenti e ai regredi.
Utilità: Funge da efficace interfaccia di ricompensa densa che migliora significativamente l'apprendimento delle policy sia online che offline in contesti reali, superando i forti baseline addestrati con la supervisione delle preferenze.

Il lavoro conclude che la distanza temporale offre una via più scalabile per l'apprendimento del valore robotico general-purpose rispetto agli approcci tradizionali basati sulle preferenze o sul progresso normalizzato.