TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance

1. Il Problema

L'apprendimento per rinforzo (RL) è fondamentale per l'acquisizione di abilità robotiche, ma la sua scalabilità è spesso limitata dalla difficoltà di progettare funzioni di ricompensa dense (dense rewards).

• Sfida attuale: Le ricompense dense sono cruciali per guidare l'agente verso la soluzione, ma la loro progettazione manuale richiede un enorme sforzo, expertise di dominio e spesso accesso a informazioni privilegiate (come lo stato esatto dell'ambiente o annotazioni delle azioni).
• Limiti delle alternative: I metodi di apprendimento dall'osservazione (Imitation Learning from Observation - ILfO) esistenti, come l'addestramento di modelli di dinamica inversa o l'apprendimento avversariale, soffrono di costi computazionali elevati, instabilità nell'addestramento o dipendenza da annotazioni delle azioni.
• Obiettivo: Sfruttare video passivi (dimostrazioni di esperti o video umani) privi di etichette di azione per generare automaticamente segnali di ricompensa densi e informativi che guidino l'agente RL.

2. Metodologia: TimeRewarder

TimeRewarder è un framework che stima il progresso del compito modellando le distanze temporali tra coppie di frame in un video, senza richiedere annotazioni delle azioni.

A. Concetto Fondamentale

L'idea centrale è che l'ordine temporale dei frame in una dimostrazione esperta riflette il progresso verso l'obiettivo. Invece di prevedere azioni o allineare traiettorie, TimeRewarder impara a prevedere la distanza temporale normalizzata tra due frame arbitrari $(o_u, o_v)$.

• La distanza temporale $d_{uv}$ è definita come $\frac{v-u}{T-1}$, dove $T$ è la lunghezza della traiettoria.
• Il valore varia tra $-1$e$1$: un valore positivo indica progresso verso l'obiettivo, un valore negativo indica regressione (allontanamento dall'obiettivo).

B. Architettura e Addestramento

Il modello $F_\theta$ (basato su un backbone ViT-B pre-addestrato con CLIP) riceve in input due frame ordinati e predice la loro distanza temporale relativa.

1. Campionamento Negativo Implicito (Implicit Negative Sampling): Il modello è addestrato a gestire sia l'ordine temporale diretto che inverso. Se l'agente esegue un'azione che porta a un regresso (es. afferrare male un oggetto), il modello assegna un reward negativo o basso. Questo permette al modello di generalizzare oltre i dati esperti, penalizzando comportamenti subottimali non visti durante l'addestramento.
2. Campionamento Pesato (Weighted Pair Sampling): Per catturare progressi fini a livello di passo (step-wise), il campionamento delle coppie di frame è biasato verso intervalli temporali brevi ($P(\Delta) \propto 1/\Delta$), pur mantenendo la copertura di orizzonti temporali più lunghi.
3. Discretizzazione Two-Hot: Per garantire stabilità numerica e confini netti nel progresso, la distanza temporale scalare viene discretizzata in $K$ bin (default $K=20$) utilizzando una distribuzione "two-hot" soft, addestrata con una perdita di cross-entropy.

C. Integrazione con RL

Durante la fase di esplorazione RL:

• TimeRewarder calcola la ricompensa densa per ogni transizione $(o_t, o_{t+1})$ come la distanza temporale predetta tra i frame adiacenti: $r_{TR}(o_t, o_{t+1}) = \Phi^{-1}(F_\theta(o_t, o_{t+1}))$.
• Questa ricompensa densa viene combinata con un segnale di successo sparso (binario) fornito dall'ambiente: $r_t = r_{TR} + \alpha \cdot r_{success}$.
• Il risultato è un segnale di ricompensa che guida l'agente imitando implicitamente il progresso temporale delle dimostrazioni, anche in assenza di etichette di azione.

3. Contributi Chiave

1. Metodo Semplice ed Efficace: TimeRewarder evita la complessità dei modelli generativi o avversariali, utilizzando una semplice regressione di distanza temporale per derivare ricompense dense.
2. Generalizzazione ai Comportamenti Subottimali: A differenza di molti metodi basati sul matching di traiettorie, TimeRewarder è intrinsecamente consapevole dei fallimenti grazie al campionamento negativo implicito, assegnando reward negativi a comportamenti che regrediscono rispetto all'obiettivo.
3. Indipendenza dalle Azioni: Funziona esclusivamente su video passivi (RGB), senza bisogno di annotazioni di stato o azione, rendendolo applicabile a dati "in-the-wild" (es. video umani).
4. Validazione Teorica: Il paper fornisce una giustificazione teorica che collega la distanza temporale alla funzione valore ottima in un MDP, dimostrando che la distanza temporale è una trasformazione monotona del progresso verso l'obiettivo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 10 task complessi di manipolazione robotica (Meta-World) e su scenari cross-domain con video umani reali.

• Prestazioni RL: TimeRewarder ha superato tutti i baseline (inclusi VIP, Rank2Reward, PROGRESSOR, e metodi basati su Optimal Transport) in 9 su 10 task.
• Efficienza del Campione: Ha raggiunto un tasso di successo quasi perfetto (9/10 task) con soli 200.000 interazioni per task.
• Superamento delle Ricompense Manuali: In 9 task, TimeRewarder ha superato anche le ricompense dense progettate manualmente dall'ambiente (Environment Reward), spesso considerate un limite superiore. Questo è dovuto alla capacità di TimeRewarder di catturare progressi fini (es. pre-contatto) che le ricompense manuali spesso ignorano.
• Generalizzazione Cross-Domain: Il metodo ha dimostrato di poter apprendere ricompense efficaci combinando poche dimostrazioni robotiche (1 video) con 20 video umani reali (senza etichette), migliorando significativamente le prestazioni rispetto all'uso di dati omogenei.
• Analisi delle Abilità:
  • VOC (Value-Order Correlation): TimeRewarder mostra la massima coerenza temporale, assegnando valori crescenti monotonicamente alle traiettorie di successo.
  • Distinzione Fallimenti: Riesce a distinguere chiaramente tra tentativi parziali di successo e fallimenti (es. afferrare ma non sollevare), mentre altri metodi tendono a sovrastimare il progresso o a saturare.

5. Significato e Impatto

TimeRewarder rappresenta un passo significativo verso l'acquisizione scalabile di abilità robotiche ("watch-to-act").

• Riduzione dell'Ingegneria Manuale: Elimina la necessità di progettare manualmente funzioni di ricompensa complesse, riducendo il carico di lavoro umano.
• Scalabilità: Sfrutta la vasta quantità di video passivi disponibili (dimostrazioni robotiche, video umani, YouTube) per alimentare l'apprendimento per rinforzo.
• Robustezza: La capacità di funzionare con dati eterogenei e privi di etichette lo rende un candidato ideale per l'addestramento di robot in ambienti reali, dove le annotazioni precise sono spesso impossibili da ottenere.

In sintesi, il paper dimostra che la struttura temporale intrinseca nei video passivi è una fonte potente e sottoutilizzata per generare segnali di ricompensa densi, permettendo agli agenti RL di apprendere compiti complessi con efficienza e precisione superiori rispetto ai metodi precedenti.