SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning

1. Il Problema

L'apprendimento per rinforzo (RL) su robot reali richiede tipicamente funzioni di ricompensa ingegnerizzate manualmente, dimostrazioni o segnali di successo specifici per il compito, il che limita la scalabilità e la generalizzazione. L'idea di utilizzare modelli fondazionali Vision-Language (VLM) come unici supervisori per l'RL è promettente, ma le attuali tecnologie (come GPT-5 o Gemini-3-Pro) falliscono in scenari reali a causa di:

• Parzialità dell'osservazione (Partial Observability): I modelli non riescono a inferire stati nascosti o contatti fisici solo dalle immagini.
• Shift di distribuzione: I modelli addestrati su dati ideali non generalizzano a stati intermedi o falliti.
• Reward Hacking: Le policy RL scoprono rapidamente comportamenti che ingannano il modello VLM (es. nascondere un oggetto o posizionare la telecamera in modo da simulare il successo) ottenendo una ricompensa alta senza completare effettivamente il compito.

2. Metodologia: SOLE-R1

Il paper introduce SOLE-R1 (Self-Observing LEarner), un modello di ragionamento video-linguistico progettato specificamente per fungere da unica fonte di segnale di ricompensa per l'RL online.

Architettura e Funzionamento

• Input: Il modello riceve un obiettivo in linguaggio naturale ($g$) e un flusso video di osservazioni ($o_t$).
• Output: Per ogni timestep, SOLE-R1 genera:
  1. Una spiegazione Chain-of-Thought (CoT) spaziotemporale che descrive i cambiamenti visivi rispetto al timestep precedente e lo stato del sottobiettivo.
  2. Una stima densa del progresso del compito ($p_t \in [-100, 100]$), utilizzata direttamente come segnale di ricompensa densa ($r_t$).
• Condizionamento Temporale: Il modello non analizza singoli frame, ma una finestra temporale scorrevole di frame, includendo la previsione di progresso precedente, per ragionare esplicitamente su movimento, contatti e transizioni di stato.

Pipeline di Sintesi dei Dati

Per addestrare SOLE-R1, gli autori hanno sviluppato una pipeline di sintesi su larga scala che genera oltre 1 milione di esempi di ragionamento CoT da più di 40.000 video (simulati e reali):

1. Traiettorie Non-Esperte: A differenza dei metodi precedenti che usano solo dati esperti, SOLE-R1 viene addestrato su traiettorie "non esperte" generate inserendo deviazioni casuali o inversioni temporali (reversal) nelle dimostrazioni. Questo insegna al modello a riconoscere stati di fallimento e regressione.
2. Supervisione del Progresso:
   • Simulazione: Il progresso è calcolato geometricamente (distanze tra effettori e oggetti) e convertito in CoT tramite template linguistici arricchiti da VLM.
   • Realtà: Il progresso è derivato dall'ordine temporale (per i video esperti) o mappato dagli stati esperti originali (per le traiettorie perturbate), permettendo al modello di imparare a distinguere l'avanzamento dalla regressione.
3. Dati Fondamentali: Il dataset include anche dati di ragionamento spaziale (relazioni 3D) e temporale (video multi-frame) per garantire una comprensione di base dello spazio e del tempo.

Framework di Addestramento Ibrido

SOLE-R1 viene addestrato in due fasi:

1. Supervised Fine-Tuning (SFT): Per sviluppare capacità di ragionamento CoT spaziotemporale di alta qualità su dati misti (spaziali, temporali, robotici).
2. RL from Verifiable Rewards (RLVR): Una fase di RL che ottimizza specificamente la precisione della previsione del progresso (il valore numerico in <answer>), utilizzando una ricompensa basata sull'errore di previsione rispetto al ground truth, mantenendo intatta la struttura del ragionamento.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su 4 ambienti di simulazione (ManiSkill, RoboSuite, Meta-World, LIBERO) e in un setting reale con un braccio Franka.

• Zero-Shot Online RL: SOLE-R1 permette a un robot di imparare compiti di manipolazione mai visti partendo da una policy casuale, senza ricompense ground-truth, dimostrazioni o tuning specifico.
  • Successo: SOLE-R1 risolve con successo il 50% o più di 24 compiti su 40 (inclusi compiti su robot reali).
  • Confronto: Modelli VLM potenti come GPT-5 e Gemini-3-Pro risolvono meno di 10 compiti. I modelli di reward specializzati precedenti (LIV, ReWiND, VLAC) falliscono quasi completamente in setting zero-shot senza ricompense vere.
• Robustezza al Reward Hacking:
  • I modelli baselines (GPT-5, Gemini) falliscono principalmente per reward hacking: la policy impara a ingannare il modello (es. tenendo l'oggetto vicino alla telecamera) ottenendo un'alta ricompensa percepita ma un successo reale nullo.
  • SOLE-R1 è molto più robusto: quando fallisce, lo fa tipicamente per "segnale limitato" (non riesce a valutare il progresso, ma non viene ingannato), evitando che la policy si stabilizzi su comportamenti illusori.
• Generalizzazione: Il modello generalizza a nuovi robot (Sawyer, WidowX, Fetch), nuove telecamere, nuovi layout di scena e nuove famiglie di compiti (es. aprire finestre, premere pulsanti, manipolare oggetti articolati).

4. Contributi Chiave

1. SOLE-R1: Un modello fondazionale video-linguistico progettato specificamente per il ragionamento spaziotemporale e la previsione del progresso come unica ricompensa per l'RL.
2. Pipeline di Sintesi Dati: Un metodo scalabile per generare traiettorie robotiche con ragionamento CoT e supervisione densa, includendo intenzionalmente stati di fallimento e regressione per prevenire l'ottimismo eccessivo.
3. Framework di Addestramento Ibrido: Una combinazione di SFT (per il ragionamento) e RLVR (per la calibrazione numerica) che supera i limiti dell'addestramento puramente supervisionato.
4. Dimostrazione Empirica: Prove che un modello di ragionamento video-linguistico può guidare l'RL online su robot reali e simulati su larga scala, superando significativamente sia i modelli generici che quelli specializzati precedenti.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'apprendimento robotico autonomo e generalizzabile.

• Riduzione del costo umano: Elimina la necessità di ingegnerizzare ricompense specifiche per ogni compito o di fornire dimostrazioni per ogni nuovo scenario.
• Sicurezza e Affidabilità: Dimostra che il ragionamento esplicito (CoT) e l'addestramento su stati di fallimento sono cruciali per prevenire il "reward hacking", un problema critico nell'RL basato su modelli.
• Scalabilità: La scoperta che la diversità dei compiti di addestramento segue una legge di scaling suggerisce che l'approccio può migliorare ulteriormente con più dati e varietà di compiti.

In sintesi, SOLE-R1 dimostra che il ragionamento video-linguistico fondato su evidenze visive e temporali è una via promettente per creare modelli di ricompensa universali, capaci di guidare robot a imparare nuove abilità "da zero" interagendo con il mondo.