Riepilogo Tecnico: Rank-Then-Act (RTA)

Definizione del Problema

Apprendere politiche di controllo da osservazioni visive senza ricompense estrinseche dell'ambiente è una sfida fondamentale per gli agenti generalisti. Questo è particolarmente critico in domini come i retrogame, i simulatori con API deboli e la robotica reale, dove la progettazione delle ricompense è fragile, assente o suscettibile di "specification gaming". Gli approcci esistenti affrontano tre ostacoli primari:

1. Scorciatoie Triviali: Gli input cronologici spesso portano i modelli a imparare scorciatoie del tipo "più tardi è meglio", risultando in punteggi di progresso vuoti e monotonicamente crescenti che non riescono a catturare la semantica del compito.
2. Ambiguità di Scala: Le scale di progresso assolute sono ambigue e difficili da calibrare tra diversi compiti ed episodi.
3. Vincoli di Apprendimento Online: L'apprendimento per rinforzo (RL) richiede segnali di ricompensa che siano economici da calcolare, informativi per l'esplorazione e robusti ai cambiamenti di distribuzione.

I metodi attuali, come i modelli di ricompensa basati su video o le teste di ricompensa VLM (Vision-Language Model), richiedono spesso testi di obiettivo ingegnerizzati, tuning per ogni singolo compito, o producono valori scalari non calibrati che sono difficili da riutilizzare. Inoltre, molti metodi di imitazione dall'osservazione richiedono etichette di azione o ricompense dell'ambiente, che non sono disponibili nel contesto "solo video" affrontato da questo lavoro.

Metodologia: Rank-Then-Act (RTA)

RTA è un framework in due fasi che converte la comprensione di un modello dell'ordine dei frame nei video esperti in un segnale di apprendimento limitato e invariante alla scala per il controllo privo di ricompense.

Fase 1: Scorer di Progresso Listwise Offline

La prima fase prevede l'addestramento di un Vision-Language Model (VLM) come "progress scorer" utilizzando il Group Relative Policy Optimization (GRPO).

• Preparazione dei Dati: Le dimostrazioni video degli esperti vengono segmentate in frame. Per prevenire la scorciatoia "piante è meglio", il primo frame viene ancorato come punto di partenza fisso ($s_{anc}$), e i frame rimanenti vengono rimescolati casualmente.
• Obiettivo: Al VLM viene chiesto di generare una traccia di ragionamento e assegnare un rango di progresso previsto ($p_i$) a ciascun frame rimescolato (dove un rango più alto implica un tempo più tardivo nella sequenza originale).
• Segnale di Ricompensa: La ricompensa di addestramento è la correlazione di rango di Spearman ($\rho$) tra i ranghi predetti ($p$) e gli indici temporali reali ($q$).
  $$R = \text{spr}(p, q)$$
  Questo obiettivo costringe il modello a recuperare l'ordine temporale basandosi sulla semantica visiva piuttosto che su indizi di tempo assoluto. Il VLM viene sottoposto a fine-tuning (ad esempio, usando LoRA) e poi congelato per la seconda fase.

Fase 2: Controllo Online tramite Correlazione

Nella seconda fase, lo scorer congelato viene utilizzato per generare ricompense per un agente che interagisce con l'ambiente.

• Meccanismo di Sliding Window: Ad ogni passo di query specifico (ad esempio, ogni $N$ passi), viene costruita una finestra di stati recenti $W_t$. Il frame più vecchio nella finestra funge da ancora.
• Calcolo della Ricompensa: I frame non-ancora nella finestra vengono rimescolati $L$ volte. Il VLM congelato predice i rangi di progresso per queste permutazioni. La ricompensa $r_t$ è la media della correlazione di Spearman tra i rangi predetti e i timestamp reali della finestra.
• Ottimizzazione della Politica: L'agente (usando PPO o DrQv2) viene addestrato per massimizzare questo segnale di correlazione. La ricompensa è limitata in $[-1, 1]$, invariante alla scala e dipende esclusivamente dall'accordo della struttura d'ordine, non dalla magnitudo della ricompensa calibrata. Non vengono utilizzate ricompense estrinseche dell'ambiente.

Contributi Chiave

1. VLM Progress Scorer: Introduzione di uno scorer VLM semplice ed efficace, addestrato offline su clip rimescolate con un obiettivo GRPO per produrre rangi di progresso per frame, mantenuto congelato durante l'apprendimento della politica.
2. Segnale di Ricompensa Basato Solo sulla Correlazione: Proposta di un meccanione di feedback denso, modellato e privo di ricompense basato sulla correlazione di rango di Spearman tra i ranghi di progresso predetti e gli indici temporali su finestre scorrevoli. Questo scinde l'apprendimento della ricompensa dalla calibrazione assoluta.
3. Validazione Empirica: Dimostrazione che questo segnale di ricompensa consente un controllo efficace attraverso benchmark discreti (GameBoy: Catrap, Kirby) e continui (PointMaze, MetaWorld), superando i forti baselines basati su video.
4. Trasferimento Cross-Task: Evidenza che un singolo progress scorer preaddestato può trasferirsi tra compiti e ambienti, suggerendo una forte generalità della supervisione ordinale video.

Risultati

• Controllo Discreto (GameBoy): Sui livelli di Catrap e su Kirby, RTA ha costantemente eguagliato o superato i baselines come Rank2Reward, VLM-RM e le formulazioni GVL non addestrate. Notevolmente, RTA è stato l'unico metodo a raggiungere un tasso di successo non nullo sul compito Kirby senza ricompense dell'ambiente.
• Controllo Continuo: Negli ambienti PointMaze-UMaze e MetaWorld, RTA ha superato Rank2Reward (R2R) in termini di tassi di successo. Mentre R2R richiede l'addestramento di un modello per ogni compito, RTA ha utilizzato un unico scorer condiviso.
• Generalizzazione Cross-Domain: Uno scorer addestrato su diverse fonti (ad esempio, dataset di YouTube, MetaWorld, COIN AssembleSofa) si è trasferito con successo ai compiti GameBoy, raggiungendo prestazioni comparabili o superiori ai baselines addestrati su dati specifici del compito.
• Ablazioni: Gli esperimenti hanno confermato che i guadagni di prestazione sono guidati dal design della ricompensa piuttosto che dallo specifico backbone della politica (MLP vs. VLM). L'analisi delle dimensioni delle finestre ha rivelato che le finestre intermedie forniscono il segnale più stabile, bilanciando la coerenza locale con la rilevazione del progresso globale.

Significato e Assertività

Il paper afferma che la supervisione strutturata sulla correlazione su segnali ordinali derivati da video è sufficiente per l'apprendimento della politica, offrendo un'alternativa scalabile al design esplicito della ricompensa. Affidandosi alla correlazione di rango piuttosto che alla regressione scalare, RTA evita le insidie del reward hacking e dello specification gaming associati a funzioni di ricompensa fragili.

Gli autori posizionano RTA come un passo verso agenti generalisti robusti, capaci di comprendere e agire in ambienti aperti, dinamici e sotto-specificati. Il metodo riduce la necessità di ricompense progettate manualmente e dimostra che un singolo scorer ordinale preaddestato può supportare l'inferenza domain-general attraverso diversi compiti, dai retrogame alla manipolazione robotica. Il lavoro suggerisce che l'apprendimento da video esperti, tramite la coerenza tra progresso e tempo, è una via percorribile per l'agency multimodale in contesti privi di ricompense.