Sintesi Tecnica: SARM2 – Modellazione del Reward Multi-Task e Sensibile alle Fasi per l'Auto-Miglioramento della Manipolazione Robotica

1. Definizione del Problema

I modelli Vision-Language-Action (VLA) hanno stabilito l'apprendimento di policy end-to-end come un paradigma dominante nella manipolazione robotica. Tuttavia, questi modelli tipicamente faticano con compiti a lungo orizzonte (long-horizon) senza un esteso fine-tuning su dati in-domain. Il Supervised Fine-Tuning (SFT) si basa su dimostrazioni umane di alta qualità e costose, rimanendo incline a fallimenti fuori distribuzione (OOD). Sebbene il Reinforcement Learning (RL) offra una via per l'auto-miglioramento, esso affronta due colli di bottiglia critici:

1. Reward Sparsi: Gli esistenti metodi RL online spesso si affidano a reward terminali sparsi, che non forniscono la supervisione densa a livello di step necessaria per compiti a lungo orizzonte e ricchi di contatto.
2. Limitazioni del Modello di Reward: Gli attuali approcci di modellazione del reward rientrano in due categorie subottimali:
   • Modelli Specifici per il Task: Accurati ma richiedono annotazioni e ri-addestramento per ogni nuovo compito (es. SARM), limitando la scalabilità.
   • Modelli VLM Generici: Ampiamente applicabili ma producono predizioni grossolane e rumorose a livello di step, rendendoli inadatti come segnali di supervisione densi per il progresso fine-grained della manipolazione.

Il paper sostiene che per scalare la VLA-RL sia necessario un modello di reward che sia simultaneamente denso (per-step), accurato (fedele al progresso del task) e generico (applicabile a diversi task senza ri-addestramento).

2. Metodologia

Gli autori propongono SARM2 (Multi-Task Stage Aware Reward Modeling) e SPIRAL (Self-Policy Improvement via Reward-Aligned Learning).

3.1 SARM2: Modello di Reward Multi-Task e Sensibile alle Fasi

SARM2 affronta il compromesso tra generalizzazione e accuratezza combinando un estimatore di fase agnostico rispetto al task con una testa di valore specializzata.

• Estimatore di Fase delle Primitive d'Azione:

  • Invece di annotazioni di fase specifiche per il task, il modello utilizza un vocabolario condiviso di primitive d'azione (es. "Pick", "Place", "Rotate", "Erase") come rappresentazione intermedia.
  • Sulla base di un'analisi di oltre 10.000 ore di dati di manipolazione, gli autori hanno identificato K=21 primitive d'azione che coprono >90% della durata dei task, più una classe "null" per l'incertezza.
  • L'estimatore è un Transformer causale a 4 strati che riceve in input immagini multi-view (polso-sinistro, polso-destro, top-down) e stati propriocettivi. Classifica il segmento corrente in una delle K+1=22 classi di primitive.
  • Questo estimatore è addestrato su un dataset bilanciato di 66 ore di segmenti che spaziano su 100 task, permettendogli di generalizzare attraverso diversi domini.

• Testa di Valore Multi-Gate Mixture-of-Experts (MMoE):

  • Per produrre stime di valore dense (specificamente, i passi rimanenti normalizzati alla conclusione), SARM2 impiega un decoder MMoE.
  • Architettura: Il modello di valore utilizza un backbone Transformer causale a 6 strati separato. Riceve gli stessi input visivi/propriocettivi dell'estimatore di fase, più l'embedding del task e l'embedding della primitiva predetta dall'estimatore di fase.
  • Meccanismo di Routing: La primitiva predetta seleziona un gate specifico nell'MMoE. Ogni gate instrada i token verso un pool condiviso di esperti (MLP a 3 strati). Questo design permette al modello di specializzarsi nelle dinamiche visive e nelle firme di progresso di specifici gruppi di primitive, condividendo al contempo la capacità tra i task.
  • Obiettivo: Il modello predice un reward denso $r_t \in [-1, 0]$ che rappresenta il progresso rimanente. La funzione di perdita combina l'Errore Quadratico Medio (MSE) sulla distanza dall'obiettivo con perdite ausiliarie per il bilanciamento dei gate e l'entropia per prevenire il collasso del router.

3.2 SPIRAL: Framework di Auto-Miglioramento della Policy

SPIRAL è un framework on-policy, guidato dal reward, progettato per creare un "volano di dati robotici" utilizzando i reward densi di SARM2.

• Substrato di RL Residuo: SPIRAL si basa sul framework DICE-RL, utilizzando un approccio di apprendimento residuo dove una policy residua corregge gli output di una base policy VLA.
• Obiettivo Ibrido:
  • Componente Densa: Utilizza TD3 con reward densi per-step forniti da SARM2.
  • Componente Sparsa: Combina questo con un obiettivo Monte Carlo (MC) guidato da reward a livello di episodio sparsi per garantire l'allineamento con l'obiettivo finale del task.
• Ciclo Autonomo: Il framework opera in un ciclo chiuso:
  1. Inizializzazione: Fine-tuning di una base policy VLA tramite Behavior Cloning (BC).
  2. Adattamento Una Tantum: Un piccolo set di rollout annotati da umani adatta il modello di reward alla distribuzione di rollout della policy.
  3. Auto-Miglioramento: Il sistema raccoglie autonomamente i rollout, li etichetta nuovamente con l'SARM2 adattato e aggiorna la policy tramite residual RL. Questo ciclo si ripete senza ulteriore intervento umano.

3. Contributi Chiave

1. SARM2: Un modello di reward multi-task sensibile alle fasi che accoppia un estimatore di fase basato su primitive d'azione generalizzabili con una testa di valore MMoE multi-gate. Questa architettura produce reward densi accurati attraverso diversi task a lungo orizzonte all'interno di un singolo modello, eliminando la necessità di ri-addestramento per ogni task.
2. SPIRAL: Un framework di residual RL on-policy allineato al reward che sfrutta i reward densi di SARM2 per abilitare il raffinamento continuo della policy tramite economici rollout autonomi, chiudendo un volano di dati robotici autonomo.
3. Validazione Empirica: Dimostrazione che i reward densi di alta qualità sono critici per un auto-miglioramento stabile, mostrando guadagni sostanziali rispetto ai baseline a reward sparso e basati su VLM su task reali.

4. Risultati Sperimentali

Gli autori hanno valutato SARM2 e SPIRAL su un benchmark di 10 task e due specifici task a lungo orizzonte nel mondo reale: Folding Shorts (Piegare i Pantaloncini) e Cleaning Whiteboard (Pulire la Lavagna Bianca).

Prestazioni del Modello di Reward

• Accuratezza: SARM2 ha ridotto l'Errore Quadratico Medio (MSE) sulle dimostrazioni tenute in prova (held-out) dell'80% rispetto ai più forti baseline (ReWiND, TOPReward, Robometer).
• Generalizzazione: Nel task "Cleaning Whiteboard" (T2), SARM2 ha raggiunto una correlazione di classificazione dei rollout ($\rho$) di 0.667, superando significativamente i modelli basati su VLM generici (che spesso producevano correlazioni negative a causa dell'ottimismo eccessivo).
• Ablazioni: Rimuovere l'estimatore di fase ha aumentato la perdita delle dimostrazioni di circa il 70%; rimuovere il design multi-gate ha aumentato la perdita del 30%. Ciò conferma che sia la consapevolezza della fase che il routing MMoE sono sinergici.
• Salute del Router: Il routing MMoE è rimasto bilanciato (Score di Densità ~0.10), mentre le varianti a gate singolo hanno subito un collasso del router (Densità > 0.80).

Prestazioni di Apprendimento della Policy (SPIRAL)

• Folding Shorts:
  • Flat (Piegatura piatta): Il tasso di successo è migliorato dal 58% (iniziale BC/RL-Dense) al 100% dopo 3 round di SPIRAL con SARM2.
  • Crumpled (Accartocciato - Più difficile): Il tasso di successo è migliorato dal 33% al 67%. Notevolmente, i baseline a reward sparso hanno degradato le prestazioni su questo task (scendendo al 17%), evidenziando la necessità di reward densi.
• Cleaning Whiteboard:
  • Il tasso di successo è migliorato dal 50% al 90%.
  • Il punteggio medio di progresso è aumentato da 0.813 a 0.975.
• Confronto: SPIRAL con SARM2 ha costantemente superato tutti i baseline, inclusi i modelli di reward VLM con fine-tuning LoRA (Robometer-FT) e il RL a reward sparso. I risultati indicano che sebbene la densità sia necessaria, la qualità e la consapevolezza delle fasi del reward sono i veri colli di bottiglia per un efficace auto-miglioramento.

5. Significato e Rivendicazioni

Il paper rivendica che SARM2 e SPIRAL dimostrano che i reward densi di alta qualità sono il "fattore portante" per un volano di dati robotici autosostenibile. Il lavoro sfida l'idea che i VLM general-purpose siano sufficienti per il controllo robotico fine-grained, mostrando invece che è richiesto un approccio strutturato basato sulle primitive per una stima accurata del progresso.

Gli autori sottolineano che il loro metodo consente il raffinamento continuo della policy su compiti a lungo orizzonte con un minimo intervento umano dopo una fase iniziale di adattamento. Decoupling (decoupling) l'estimazione della fase (primitive generalizzabili) dalla stima del valore (esperti specializzati), ottengono un modello che è sia scalabile tra i task che preciso quanto basta per guidare la RL on-policy.

Limitazioni riconosciute dagli autori:

• Ambito di Embodiment: Il vocabolario delle primitive d'azione è derivato da dati bimanuali da tavolo; estenderlo alla manipolazione mobile richiede la ricostruzione del set di primitive.
• Limite del RL Residuo: Il framework affina le policy tramite apprendimento residuo piuttosto che aggiornare i pesi della VLA, il che significa che non può correggere errori a livello di intenzione o di decomposizione del task ad alto livello.
• Efficienza di Campionamento: Sebbene autonomo, la raccolta dei rollout on-policy richiede ancora operatori umani per i reset di routine tra gli episodi.