Riepilogo Tecnico: ROBOMETER

Enunciato del Problema

I modelli di ricompensa robotici generici attuali affrontano sfide significative in termini di scalabilità e generalizzazione. Gli approcci esistenti si basano esclusivamente su etichette di progresso assoluto derivate da dimostrazioni esperte (ad esempio, interpolazione lineare del progresso da 0 a 1). Sebbene efficaci per le traiettorie di successo, questo paradigma non scala a grandi dataset eterogenei per due motivi principali:

1. Ambiguità nelle Traiettorie Fallite: I tentativi subottimali o falliti, che sono abbondanti nella raccolta di dati reali, mancano di etichette di progresso assoluto ben definite. Il progresso in questi casi spesso fluttua o regredisce, rendendo la supervisione punto per punto costosa e mal definita.
2. Generalizzazione Limitata: I modelli addestrati esclusivamente sulla supervisione del progresso locale alla traiettoria faticano a generalizzare tra diversi corpi robotici, scene e qualità variabili delle traiettorie. Spesso falliscono nel distinguere tra comportamenti di successo e subottimali quando i punteggi assoluti sono ambigui.

Il documento ipotizza che la cognizione umana si basi su giudizi comparativi piuttosto che su scale assolute isolate per interiorizzare un progresso calibrato. Di conseguenza, i modelli di ricompensa robotici richiedono un segnale di supervisione che sfrutti l'ordinamento relativo tra traiettorie diverse per apprendere funzioni di ricompensa robuste e generalizzabili.

Metodologia

1. Il Framework ROBOMETER

ROBOMETER è un framework di modellazione della ricompensa scalabile che combina supervisione del progresso intra-traiettoria con supervisione delle preferenze inter-traiettoria. Utilizza una ricetta di addestramento a doppio obiettivo:

• Funzione di Perdita per il Progresso a Livello di Frame: Ancora l'entità della ricompresa ai dati esperti prevedendo un progresso denso, per frame (discretizzato in 10 bin su [0, 1]) ed etichette binarie di successo. Ciò garantisce che il modello apprenda la struttura temporale del completamento del compito.
• Funzione di Perdita per le Preferenze di Confronto tra Traiettorie: Impone vincoli di ordinamento globale prevedendo quale delle due traiettorie soddisfa meglio un'istruzione linguistica. Ciò permette al modello di apprendere da confronti relativi senza richiedere punteggi assoluti per le traiettorie fallite.

2. Architettura

ROBOMETER è costruito su una spina dorsale di Modello Linguaggio-Visione (VLM) pre-addestrato, specificamente Qwen3-VL-4B-Instruct.

• Tokenizzazione: Il modello elabora token testuali e visivi intercalati. Per abilitare la stima densa della ricompensa senza interrompere le rappresentazioni pre-addestrate, inserisce token di progresso apprendibili (<|prog token|>) dopo ogni frame della prima traiettoria e un singolo token di preferenza (<|pref token|>) alla fine del prompt.
• Mascheramento Causale: L'architettura utilizza il mascheramento causale per garantire che i token di progresso prestino attenzione solo ai frame correnti e precedenti della prima traiettoria (abilitando l'inferenza online), mentre il token di preferenza presta attenzione a entrambe le traiettorie per compiere un giudizio relativo.
• Teste: Teste MLP leggere sono collegate agli stati nascosti dei token di progresso (per la previsione di progresso e successo) e del token di preferenza (per la classificazione binaria della preferenza).

3. Il Dataset RBM-1M

Per supportare questo addestramento a doppio obiettivo su larga scala, gli autori hanno curato RBM-1M, un dataset di oltre 1 milione di traiettorie che copre 21 corpi robotici (inclusi manipolatori a un braccio, a due bracci e mobili) e scene diverse.

• Composizione: Il dataset aggrega dimostrazioni esperte (ad esempio, Open-X, AGIBotWorld), video umani (Epic-Kitchens), dati di simulazione (LIBERO) e, crucialmente, traiettorie fallite e subottimali non etichettate da roll-out automatizzati e dataset di rilevamento dei fallimenti.
• Strategie di Augmentation: Per costruire coppie di preferenze senza ulteriore annotazione umana, gli autori impiegano tre strategie:
  1. Confronti Basati sul Progresso: Contrapporre dimostrazioni esperte a fallimenti non etichettati o traiettorie subottimali.
  2. Negativi di Istruzione: Accoppiare traiettorie con istruzioni linguistiche distinte per garantire che le ricompense siano radicate nel comando.
  3. Riavvolgimento Video: Generare fallimenti sintetici invertendo segmenti di traiettorie di successo per modellare il "disfare" del progresso.

Contributi Chiave

1. Ricetta di Addestramento a Doppio Obiettivo: Il documento introduce un metodo per addestrare modelli di ricompensa utilizzando sia etichette di progresso assoluto (per i dati di successo) che etichette di preferenza a coppie (per tutti i dati, inclusi i fallimenti). Ciò consente l'utilizzo efficace di dati subottimali precedentemente inutilizzabili.
2. Dataset RBM-1M: Il rilascio di un dataset su larga scala e multi-corpo contenente estesi dati di fallimento, specificamente progettato per addestrare relazioni di preferenza globalmente coerenti.
3. Generalizzazione Scalabile: Il framework dimostra che la supervisione delle preferenze agisce come regolarizzatore, inducendo una rappresentazione interna della ricompensa più strutturata che migliora la capacità del modello di distinguere le traiettorie di successo da quelle subottimali, anche quando addestrato su dati esperti limitati.

Risultati Sperimentali

Valutazione della Ricompensa

ROBOMETER è stato valutato su RBM-EVAL-OOD, un insieme di 976 traiettorie provenienti da 3 istituzioni e 6 corpi robotici (3 dei quali non visti durante l'addestramento).

• Allineamento della Ricompensa: ROBOMETER ha raggiunto una Correlazione dell'Ordine dei Valori (VOC) di 0,94 sui dati OOD, superando le linee di base dello stato dell'arte (ad esempio, RoboReward-8B a 0,88, VLAC-8B a 0,38).
• Classifica delle Traiettorie: Nel distinguere le traiettorie di successo da quelle fallite, ROBOMETER ha raggiunto un Kendall-$\tau_a$ di 0,64 sui dati OOD, superando significativamente RoboReward-8B (0,47) e ReWiND (0,01).
• Rilevamento dei Fallimenti: Nei compiti di rilevamento dei fallimenti zero-shot, ROBOMETER ha raggiunto il più alto F1 score medio (0,81), bilanciando efficacemente i tassi di veri positivi e veri negativi, mentre le linee di base come VLAC soffrivano di alti falsi positivi e le linee di base basate sull'incertezza dei token soffrivano di alti falsi negativi.

Apprendimento delle Politiche a Valle

Il documento dimostra che le ricompense dense e ben calibrate di ROBOMETER migliorano l'apprendimento robotico a valle in quattro scenari:

1. RL Online Automatico: Utilizzando DSRL con ROBOMETER, i tassi di successo sono migliorati dal 20% all'85% su un compito a fase singola e dal 20% al 70% su un compito a più fasi, superando RoboReward di 2,5$\times$.
2. RL Offline: In scenari di competenze miste (esperto + dati rumorosi), ROBOMETER ha permesso alle politiche IQL di ottenere un miglioramento di 2,4$\times$ nei tassi di successo rispetto alla migliore linea di base.
3. Filtraggio e Recupero Dati: Quando utilizzato per recuperare sottotraiettorie rilevanti per il compito per l'apprendimento per imitazione, i dati filtrati da ROBOMETER hanno prodotto un tasso di successo 4,5$\times$ più alto rispetto a linee di base come STRAP e SigLIP.
4. RL Basato su Modello: Integrando ROBOMETER in DreamZero, i tassi di successo sono migliorati dal 20% al 70% in un ambiente affollato.

Studi di Ablazione

• Supervisione delle Preferenze: Aggiungere la perdita di preferenza all'addestramento solo sul progresso ha migliorato costantemente le metriche di classificazione (Kendall-$\tau$) e la separazione successo-fallimento.
• Dati di Fallimento: Incorporare traiettorie di fallimento non etichettate per l'addestramento delle preferenze ha fornito i maggiori guadagni nella discriminazione della ricompensa.
• Spina Dorsale: Sostituire la spina dorsale VLM pre-addestrata con un'architettura più piccola e non pre-addestrata (variante ReWiND) ha portato a un grave degrado delle prestazioni, confermando la necessità di un pre-addestramento multimodale su larga scala.

Significato e Affermazioni

Il documento afferma che ROBOMETER rappresenta un passaggio dalla supervisione del progresso assoluto alla supervisione delle preferenze comparative come meccanismo per scalare l'apprendimento della ricompensa. Sfruttando i confronti relativi, il framework può utilizzare efficacemente le vaste quantità di dati subottimali e falliti che sono ubiqui nella robotica reale ma precedentemente scartati.

Gli autori sottolineano che questo approccio abilita:

• Scalabilità: Apprendimento da dataset contenenti milioni di traiettorie senza la necessità di annotazioni assolute dense su ogni frame.
• Generalizzazione: Prestazioni robuste su corpi robotici, scene e punti di vista della camera non visti.
• Utilità Pratica: Applicabilità immediata nel RL online, RL offline, curazione dei dati per l'apprendimento per imitazione e rilevamento automatizzato dei fallimenti.

Il lavoro conclude che, sebbene i modelli attuali faticino con l'ambiguità del fallimento, un approccio a doppio obiettivo ancorato al progresso esperto ma guidato da preferenze globali permette ai modelli di ricompensa di interiorizzare scale calibrate del progresso del compito, accelerando così l'apprendimento robotico in ambienti reali complessi.