Riepilogo Tecnico: Il Premio come Agente per i Modelli di Mondo Embodied

Definizione del Problema

Sebbene l'Apprendimento per Rinforzo (RL) abbia perfezionato con successo i Large Language Models (LLM) e i Vision-Language Models (VLM) utilizzando segnali di ricompensa affidabili (ad es. l'esecuzione del codice), la sua applicazione ai Modelli di Mondo Embodied rimane limitata. I metodi esistenti si affidano a strategie di rollout conservatrici che rimangono vicine alla distribuzione di addestramento per evitare il reward hacking (sfruttamento improprio della ricompensa).

Nelle attività embodied, le ricompense sono spesso basate su proxy e soggettive. Senza una verifica robusta, l'espansione dell'esplorazione porta a policy che sfruttano i difetti della funzione di ricompensa (ad es. occlusione visiva, degradazione del movimento o invalidazione fisica) anziché raggiungere miglioramenti genuini nel realismo fisico o nel completamento del compito. Il collo di bottiglia principale identificato non è l'esplorazione in sé, ma la mancanza di strategie di verifica affidabili per supportare un'esplorazione più ampia sotto spostamenti di distribuzione.

Metodologia

Il documento propone un framework unificato che combina un sistema di ricompensa robusto con una strategia di esplorazione consapevole della dinamica per consentire l'RL scalabile per i modelli di mondo.

1. Il Premio come Agente

Per mitigare il reward hacking, gli autori hanno riprogettato la funzione di ricompensa da uno scalare statico a un framework di valutazione agentico. Questo sistema tratta la valutazione come un compito multi-stadio eseguito da un agente (costruito su VLM di scala frontier) piuttosto che affidarsi a rilevatori di visione artificiale superficiali o VLM specifici per dominio.

Il framework opera attraverso quattro moduli chiave:

• Pianificazione (Planning): Una valutazione globale della qualità del rollout che inizializza dinamicamente le priorità delle sotto-ricompense prima della punteggiatura dettagliata.
• Ricompensa basata su Curriculum (Curriculum-based Reward): Un ordine di valutazione gerarchico (Qualità Visiva $\to$ Seguire le Istruzioni $\to$ Completamento del Compito $\to$ Conformità Fisica). Le dimensioni di livello inferiore devono soddisfare criteri di soglia prima che le dimensioni di livello superiore vengano valutate, impedendo al modello di ottimizzare ricompense avanzate fallendo i controlli di qualità di base.
• Meccanismo di Votazione (Voting Mechanism): Le dimensioni complesse (ad es. conformità fisica) sono scomposte in componenti granulari (realismo dell'interazione, deformazione, penetrazione) valutate tramite votazione per penalizzare i fallimenti localizzati.
• Riflessione (Reflection): Uno strato di affidabilità in cui l'agente rivaluta i traiettoria basandosi sulle valutazioni precedenti per controllare la coerenza e rivedere conclusioni errate.

Il sistema valuta quattro dimensioni core: Qualità Visiva, Seguire le Istruzioni, Conformità Fisica e Completamento del Compito.

2. Diversificazione del Rollout Consapevole della Dinamica (DynDiff-GRPO)

Per affrontare la scarsa esplorazione degli spazi dinamici nell'RL conservativo, gli autori introducono DynDiff-GRPO. A differenza del normale Group Relative Policy Optimization (GRPO) che sopprime uniformemente la stocasticità, questo metodo rialloca selettivamente la stocasticità verso le regioni dinamicamente salienti preservando al contempo la coerenza della scena.

• Meccanismo: Il metodo stima i residui sensibili alla dinamica dalle variazioni temporali dei campioni puliti previsti per generare una mappa di intensità dinamica ($D$) e un prior di regione dinamica sparsa ($B$).
• Rumore Adattivo (Adaptive Noise): Queste mappe vengono combinate per creare una maschera di rollout ($M_t$) che modula la scala del rumore ($\sigma_{noise}$). Le regioni ad alta dinamica ricevono un'esplorazione più forte, mentre le regioni a bassa dinamica mantengono la stabilità.
• Ottimizzazione: L'approccio utilizza una stima della verosimiglianza Gaussiana completa consapevole delle feature piuttosto che collassare a una varianza scalare. Utilizza una regolarizzazione KL periodica priva di riferimento (usando i parametri della distribuzione memorizzati nel buffer di rollout) per vincolare la deriva della policy senza l'overhead di memoria di un modello di riferimento congelato.

Contributi Chiave

1. Framework Reward-as-an-Agent: Un sistema di valutazione strutturato e multi-stadio che sostituisce le metriche statiche con una verifica adattiva basata su agente. Mitiga efficacemente il reward hacking allineando gli obiettivi proxy con i veri obiettivi embodied attraverso pianificazione, curriculum, votazione e riflessione.
2. Rollout Consapevole della Dinamica (DynDiff-GRPO): Una strategia di rollout stocastica che espande la diversità delle traiettorie nelle regioni dinamiche senza sacrificare l'integrità strutturale o la fedeltà visiva, andando oltre le traiettorie conservative di tipo ODE.
3. Evidenza di RL Scalabile: L'unificazione di questi componenti dimostra che lo scaling dell'RL nei modelli di mondo può andare oltre i regimi conservativi, producendo guadagni significativi di accuratezza quando ancorato a una verifica robusta.

Risultati Sperimentali

Il metodo è stato valutato sul subset robotica di PAI-Bench utilizzando due modelli base: Cosmos-Predict2.5 (2B) e Kairos-3.0-Robot (4B).

• Guadagni di Performance: DynDiff-GRPO ha ottenuto miglioramenti significativi nei Domain Scores (ragionamento e allineamento dell'azione) e negli Overall Scores.
  • Per Cosmos-Predict2.5, l'Overall Score è migliorato di +1.33 (da 79.42 a 80.75).
  • Per Kairos-3.0-Robot, l'Overall Score è migliorato di +1.53 (da 80.35 a 81.88), con un guadagno notevole di +3.08 nel Domain Score.
• Accuratezza del Sistema di Ricompensa: Valutato sul dataset AgiBotWorld-Beta, il sistema "Reward as an Agent" ha raggiunto il 91.0% di allineamento complessivo con i giudizi umani. La precisione della pianificazione è stata la più alta al 98%, mentre la Conformità Fisica (la dimensione più difficile) ha raggiunto l'82%.
• Studi di Ablazione:
  • Diversità del Rollout: DynDiff-GRPO ha mantenuto una maggiore diversità di traiettoria (misurata tramite la distanza coseno di DINOv3) rispetto ai baseline conservativi come CPS.
  • Configurazione: Lo studio ha rilevato che la regolarizzazione KL nello spazio della distribuzione (sullo spazio log-prob) e la riduzione del clipping dell'advantage (2.5 vs 5) hanno migliorato la stabilità. Il Classifier-Free Guidance (CFG) ha migliorato le prestazioni ma con un costo computazionale; disabilitarlo ad alte risoluzioni ha mantenuto prestazioni competitive migliorando il throughput.

Significato e Rivendicazioni

Il documento afferma che il limite fondamentale nell'applicazione dell'RL ai modelli di mondo non è il meccanismo di esplorazione, ma il gap di verifica. Introducendo un sistema di ricompensa robusto, basato su agenti, capace di verificare i comportamenti sotto spostamenti di distribuzione, gli autori dimostrano che un'esplorazione più ampia è possibile e necessaria per far avanzare i modelli di mondo embodied.

Il lavoro stabilisce che l'esplorazione e la verifica devono scalare in tandem. Quando l'esplorazione è ancorata a una verifica affidabile e multidimensionale (Reward as an Agent) e guidata da un campionamento consapevole della dinamica (DynDiff-GRPO), l'RL può ottimizzare con successo i modelli di mondo per dinamiche fisiche complesse, andando oltre le traiettorie ristrette e favorite dalla ricompensa dei regimi conservativi. Ciò fornisce una via verso il successo dello scaling dell'RL visto nei modelli di fondazione, ora applicato al dominio dell'IA embodied.