Sintesi Tecnica: Robot Critici che si Curano dei Piccoli Dettagli

Definizione del Problema

I Large Vision-Language Models (VLM) possiedono estesi priori sul mondo fisico, il che li rende candidati promettenti per agire come "critici" per guidare le policy robotiche durante l'inferenza. Tuttavia, esiste un divario critico nella ragionamento visivo fine-grained (a grana fine). Sebbene i VLM pronti all'uso e gli esistenti metodi di rilevamento del progresso possano distinguere tra stati iniziali e finali del compito o identificare sub-task di alto livello, essi faticano a discriminare tra differenze visive sottili che separano il successo dal fallimento.

Ad esempio, un disallineamento della pinza di soli 1 mm può apparire visivamente simile a una presa riuscita, ma determina il fallimento del compito. Gli attuali metodi falliscono in questo "regime fine-grained" dove l'intervallo temporale tra i frame è molto stretto. Negli esperimenti, i modelli baseline come Gemini 3 hanno ottenuto solo il 54,7% di accuratezza nel distinguere il successo dal fallimento, mentre i metodi specializzati di rilevamento del progresso (ROVER, ProgressLM) hanno ottenuto rispettivamente il 72,1% e il 61,0%, superando appena la probabilità casuale (50%) in questi scenari sottili. Questa limitazione impedisce ai VLM di guidare efficacemente le policy robotiche stocastiche lontano dai modi di fallimento durante l'esecuzione in loop chiuso.

Metodologia

Gli autori propongono un framework per fine-tunnare i VLM specificamente per la discriminazione di coppia tra progresso e fallimento, integrandoli in una policy robotica a loop chiuso tramite un modello video condizionato dall'azione.

1. Addestramento dei Critici VLM

L'innovazione principale è la costruzione di un dataset di supervisione di progresso a coppie derivato dalle esecuzioni (rollout) del robot.

• Costruzione dei Dati: Il sistema genera traiettorie accoppiate dalle stesse condizioni iniziali: una di successo ($S_s$) e una di fallimento ($S_f$).
• Coppie Successo-Successo: Frame consecutivi di una traiettoria di successo vengono accoppiati per insegnare al modello il progresso graduale verso l'avanti (etichettando il frame successivo come avente maggiore progresso).
• Coppie Successo-Fallimento: Frame di una traiettoria di fallimento vengono accoppiati con frame di una traiettoria di successo allo stesso istante temporale. Il frame di successo viene etichettato come avente maggiore progresso. Questo è fondamentale per insegnare al critico a riconoscere modi di fallimento specifici della policy (ad esempio, modi specifici in cui il robot fallisce data la sua attuale policy) piuttosto che semplici fallimenti generici del compito.
• Fine-Tuning: Un VLM (specificamente Qwen2.5-VL-7B) viene sottoposto a fine-tuning supervisionato per predire una decisione discreta $c(v_i, v_j) \in \{+1, -1\}$ che indica quale frame mostra un maggiore progresso verso l'obiettivo, minimizzando la perdita di cross-entropy.

2. Guida della Policy in Loop (In-the-Loop)

Il critico fine-tunnato è integrato nel loop di esecuzione del robot per migliorare le prestazioni durante il test:

1. Sampling: Dato un'osservazione $x_t$, la policy stocastica di base (ad esempio, Diffusion Policy o GR00T N1.5) campiona $N$ sequenze di azioni candidate.
2. Pruning della Diversità: Una strategia di campionamento greedy farthest-point sampling (FPS) seleziona un sottoinsieme diversificato di $K$ candidati.
3. Sintesi Futura: Un modello video condizionato dall'azione (HunyuanVideo 1.5, un Diffusion Transformer) sintetizza lo stato visivo terminale $x_{t+H}$ per ogni sequenza di azioni candidata.
4. Selezione del Critico: Il critico esegue tutti i confronti a coppie tra i $K$ stati terminali generati. Il candidato il cui stato terminale accumula più "voti" (indicando un maggiore progresso) viene selezionato per l'esecuzione.
5. Re-planning: L'azione selezionata viene eseguita, e il processo si ripete fino al completamento del compito.

Contributi Chiave

• Addestramento del Critico Fine-Grained: Un metodo per fine-tunnare i VLM utilizzando coppie di traiettorie di successo e fallimento, consentendo loro di rilevare differenze visive sottili (ad esempio, disallineamenti su scala millimetrica) che i VLM standard perdono.
• Apprendimento del Fallimento Specifico della Policy: Dimostrare che l'addestramento su dati di fallimento specifici per la policy implementata è essenziale. I critici addestrati solo su dimostrazioni di successo non riescono a riconoscere i modi di fallimento specifici della policy, portando a un calo significativo dell'accuratezza nel distinguere successo e fallimento.
• Integrazione in Closed-Loop: Un pipeline completa che combina il campionamento di una policy stocastica, la predizione video generativa e il confronto a coppie basato su VLM per guidare le azioni del robot in tempo reale.
• Generalizzazione: L'approccio si generalizza a oggetti out-of-distribution (OOD) e task non visti, suggerendo una strategia di pre-training percorribile per il futuro apprendimento di task.

Risultati Sperimentali

Gli autori hanno valutato il metodo sia su hardware nel mondo reale che in ambienti di simulazione.

Benchmark di Accuratezza

• RoboCasa (Simulazione): Il critico fine-tunnato ha raggiunto un'accuratezza media del 93,6% sui task in-distribution e il 91,4% sui task out-of-distribution, superando significativamente i baseline come Gemini 3 (54,7%) e ROVER (72,1%).
• LBM (Mondo Reale): Sul dataset LBM, il metodo ha raggiunto un'accuratezza media del 90,0%, rispetto al 62,9% di ROVER e al 55,4% di Gemini 3.
• Regime Fine-Grained: Man mano che l'intervallo temporale tra i frame confrontati diminuiva (rendendo le differenze visive più sottili), le prestazioni del baseline scendevano dal 73% al 56%. Il metodo proposto ha mantenuto alte prestazioni con una riduzione di solo il 2%, dimostrando robustezza nella discriminazione fine-grained.

Miglioramento delle Prestazioni della Policy

• Task nel Mondo Reale: L'uso del critico in loop ha migliorato il tasso di successo della Diffusion Policy di base di una media di +11%. I guadagni specifici includevano un aumento del 18% nei task di "Stacking" (impilamento) e un miglioramento di 2,3 volte nella mIoU media per i task "Push-Bowl" (spingere la ciotola).
• Task di Simulazione (RoboCasa365): Il metodo ha migliorato il tasso di successo della policy GR00T N1.5 dal 43,6% al 49,5%, un guadagno medio di +5,9%. Sono stati osservati miglioramenti significativi in task che richiedono la manipolazione precisa di pulsanti, porte e leve.

Significato e Rivendicazioni

Il paper sostiene che, sebbene i VLM forniscano preziosi priori semantici, la loro utilità nella robotica è limitata dalla loro incapacità di ragionare sul progresso visivo fine-grained e sui fallimenti specifici della policy. Addestrando esplicitamente i critici sulle sfumature delle traiettorie di successo e fallimento, gli autori dimostrano che i VLM possono essere trasformati in efficaci "curatori dei piccoli dettagli" (sweaters of the small stuff).

Il significato risiede nella capacità di migliorare le policy stocastiche al test-time senza ri-addestrare la policy stessa. Il metodo agisce come un filtro, selezionando i candidati d'azione più promettenti da una distribuzione di possibilità. Gli autori sottolineano che riconoscere il fallimento è importante quanto riconoscere il progresso; senza i dati di fallimento, i critici non possono guidare efficacemente le policy lontano dal "ago nel pagliaio" delle azioni di successo nascoste tra molti modi di fallimento. Questo approccio colma il divario tra il ragionamento di alto livello dei modelli fondazionali e la precisione di basso livello richiesta per una manipolazione robotica di successo.