Riepilogo Tecnico: CLIFT – Trasformare Gemini Robotics On-Device in Specialisti Umanoidi tramite il Fine-Tuning Iterativo a Ciclo Chiuso Non Invasivo

1. Definizione del Problema

La comunità della robotica affronta una tensione fondamentale: i modelli foundation Vision-Language-Action (VLA) più capaci sono tipicamente addestrati su dati proprietari e rimangono a codice chiuso, limitando la capacità degli utenti a valle di adattarli. Sebbene un paradigma emergente offra API di Managed Supervised Fine-Tuning (SFT) (ad es. Gemini Robotics On-Device o GROD) che consentono agli utenti di inviare dati e ricevere policy ottimizzate senza accedere a pesi o gradienti, questo regime presenta limitazioni significative per la manipolazione umanoidi agile e ricca di contatti.

L'attuale adattamento basato su API si affida principalmente al SFT basato solo su dimostrazioni. Questo approccio raggiunge un limite di prestazioni perché:

1. Discrepanza della Distribuzione: Si addestra su una distribuzione fissa di dati di teleoperazione umana, mentre l'implementazione avviene sotto la distribuzione di osservazione a ciclo chiuso della stessa policy.
2. Qualità dell'Esecuzione: Il completamento del compito da solo non garantisce il successo; fattori come fluidità, qualità del contatto e sicurezza sono critici.
3. Accoppiamento del Controller: Le policy VLA sono strettamente accoppiate con i controller whole-body a valle. Lo stesso chunk di azioni può produrre esiti fisici diversi a causa di latenza, compliance e dinamiche di inseguimento, creando un divario tra l'output della policy e il comportamento implementato.

I metodi esistenti di miglioramento a ciclo chiuso (ad es. PPO, RL residuo) richiedono l'accesso a segnali interni come gradienti, verosimiglianze o reti critic, che non sono disponibili nei regimi con accesso limitato alle API. La domanda centrale è: Quanto è efficace il regime di API gestite per l'adattamento umanoido, e come può essere realizzato il miglioramento a ciclo chiuso all'interno di esso per raggiungere la maestria del compito?

2. Metodologia: CLIFT

Gli autori propongono CLIFT (Closed-Loop Iterative Fine-Tuning), una pipeline non invasiva che colma il divario tra interfacce SFT gestite e il miglioramento della policy a ciclo chiuso. CLIFT opera come un "volano" che converte il feedback della ricompensa in fase di implementazione in dati supervisionati compatibili con le API, senza mai toccare i pesi o le perdite interne del modello.

La pipeline consiste in tre passaggi iterativi:

A. Modellazione della Ricompensa Densa Calibrata sulle Preferenze

Per valutare le esecuzioni (rollout) durante l'implementazione, CLIFT impiega un processo di generazione della ricompensa a due stadi:

1. Generazione di Candidati: Un VLM zero-shot genera molteplici sequenze di ricompensa per singolo step candidate per un dato rollout.
2. Selezione Umana e Distillazione: Gli operatori umani forniscono preferenze a coppie sulla qualità del rollout. I candidati le cui classifiche di ritorno cumulativo meglio corrispondono alle preferenze umane vengono selezionati. Queste sequenze selezionate vengono poi distillate in un modello di ricompensa generativo ($R_\theta$). Questo modello fornisce ricompense dense e calibrate sulle preferenze che catturano la qualità dell'esecuzione oltre il semplice progresso del compito.

B. Condizionamento dell'Advantage Basato sul Recupero

Invece di scartare i rollout falliti o trattare gli episodi come successo/fallimento binario, CLIFT esegue un assegnazione del credito a livello di chunk:

1. Recupero (Retrieval): Per ogni chunk di azione che inizia nello stato $o_t$, il sistema recupera un set di chunk di confronto da altri rollout che iniziano da stati visivamente simili.
2. Valutazione (Scoring): Il chunk viene valutato in base al suo ritorno scontato su una finestra di look-ahead utilizzando il modello di ricompensa $R_\theta$.
3. Etichettatura: Il chunk viene etichettato con un Token di Advantage binario ($I \in \{positivo, negativo\}$). Se il ritorno del chunk si trova nel top 30% del set recuperato (auto-calibrandosi sulla difficoltà dello stato), riceve un'etichetta positiva; altrimenti, è negativa.
4. Conversione dei Dati: Ogni chunk di rollout viene convertito in una tupla SFT: (osservazione, istruzione, chunk di azione, token di advantage).

C. Miglioramento Iterativo (Self-Improvement)

Il ciclo procede come segue:

1. Implementazione (Deployment): La policy corrente $\pi_k$ viene implementata sul robot per raccogliere rollout a ciclo chiuso.
2. Riel labeling: I rollout vengono valutati da $R_\theta$ e i chunk vengono etichettati con i token di advantage.
3. Costruzione del Dataset: Un dataset cumulativo $D_k$ viene formato combinando le originali dimostrazioni umane (sempre etichettate come positive) e i nuovi chunk di rollout rietichettati.
4. Fine-Tuning: Il modello base viene sottoposto a fine-tuning da zero su $D_k$ tramite l'API SFT gestita per produrre $\pi_{k+1}$.
5. Inferenza: Durante l'implementazione, la policy è condizionata sul token di advantage positivo per guidare il comportamento verso azioni di alta qualità.

3. Configurazione Sperimentale

• Piattaforma: Robot umanoide Unitree G1 con braccia doppie, mani destre e telecamere RGB montate sulla testa.
• Controllo: Controllo whole-body gerarchico dove la VLA emette angoli articolari della parte superiore del corpo e velocità della parte inferiore, tracciati da un controller appreso tramite RL.
• Compiti: Tre compiti di manipolazione ricchi di contatti e agili:
  1. Box Packing: Presa e posizionamento precisi.
  2. Cup Insertion: Coordinazione bimanuale asimmetrica (stabilizzazione di un supporto mentre si inserisce una bottiglia).
  3. Bimanual Plate Handover: Trasferimento coordinato tra le mani.
• Modelli Confrontati:
  • GROD: Modello a pesi chiusi tramite API SFT gestita.
  • $\pi_{0.5}$: VLA a pesi aperti (Physical Intelligence) con accesso diretto ai pesi.
• Protocollo: Entrambi i modelli sono stati inizializzati con 2 ore di dimostrazioni teleoperate ed entrambi sono stati sottoposti a due cicli di CLIFT.

4. Risultati Chiave

Guadagni di Prestazione

• GROD (Pesi Chiusi): CLIFT ha portato con successo GROD verso una maestria quasi perfetta dopo due cicli di volano, nonostante l'accesso solo tramite API.
  • Box Packing: 93% $\to$ 100%
  • Cup Insertion: 70% $\to$ 98%
  • Bimanual Plate Handover: 53% $\to$ 96%
• $\pi_{0.5}$ (Pesi Aperti): CLIFT ha migliorato anche il modello a pesi aperti, ma questo ha raggiunto un plateau a un livello significativamente inferiore (ad es. 5% $\to$ 30% su Bimanual Plate Handover).
• Confronto: Il direct SFT su GROD ha già superato $\pi_{0.5}$ addestrato sugli stessi dati. Anche quando a $\pi_{0.5}$ è stato concesso un adattamento "invasivo" (condizionamento stile FiLM per iniettare segnali di preferenza direttamente nella rete), è rimasto indietro rispetto alla GROD adattata via API.

Dense vs. Episode Selection

Gli autori hanno confrontato due varianti di CLIFT:

1. Dense Advantage-Conditioned: Etichetta ogni chunk in ogni rollout (positivo o negativo).
2. High-Return Episode Selection: Conserva solo il top 30% degli episodi di successo (stile standard DAgger).

• Risultato: Su compiti facili, entrambi si sono comportati in modo simile. Sul compito più difficile (Bimanual Plate Handover), la variante Dense ha superato significativamente la selezione degli episodi (96% vs ~84%). Ciò dimostra che mantenere i rollout falliti e rietichettare i chunk ben eseguiti come esempi positivi (e quelli poveri come negativi) è cruciale per imparare dal fallimento.

Comportamenti Emergenti

CLIFT ha permesso alla policy di acquisire comportamenti non presenti nelle dimostrazioni originali:

• Pre-manipolazione: Riorientare una scatola con dita/polso per facilitare la presa.
• Recupero: Tentare una seconda inserzione dopo un primo tentativo fallito, invece di bloccarsi.

5. Significato e Rivendicazioni

L'articolo afferma che CLIFT dimostra che le API SFT gestite possono servire non solo come interfacce di personalizzazione, ma come meccanismi pratici per il miglioramento della policy a ciclo chiuso.

• Maestria Non Invasiva: È possibile portare un modello foundation a pesi chiusi verso una maestria quasi perfetta su compiti complessi e ricchi di contatti senza "aprire la scatola del modello" (accedendo a pesi, gradienti o perdite).
• Importanza del Modello Foundation: La scelta del modello base è critica. Un modello foundation a pesi chiusi più forte (GROD) adattato tramite una stretta interfaccia API supera un modello a pesi aperti più debole ($\pi_{0.5}$) anche quando quest'ultimo riceve pieno accesso interno. Ciò suggerisce che per l'adattamento a ciclo chiuso, la forza del prior pre-addestrato possa contare più del livello di accesso all'addestramento.
• Efficienza dei Dati: Convertendo i fallimenti di implementazione in segnali densi a livello di chunk, CLIFT estrae il massimo valore dai rollout su robot reali, trasformando il fallimento in un segnale di apprendimento anziché scartarlo.

Gli autori concludono che, sebbene i rollout su robot reali siano costosi, questo approccio offre una via percorribile verso la maestria dei compiti per i robot umanoidi nell'era dei modelli foundation proprietari.