Riepilogo Tecnico: ProcVLM

Enunciato del Problema

La manipolazione robotica a lungo orizzonte richiede segnali di feedback densi che riflettano accuratamente l'avanzamento del compito attraverso le fasi procedurali, piuttosto che affidarsi esclusivamente a esiti binari di successo/fallimento a livello di traiettoria. I modelli di ricompensa esistenti spesso dipendono da etichette terminali sparse o da interpolazione basata sul tempo. Gli autori sostengono che questi approcci non riescono a catturare stati critici come passaggi incompleti, stallo e recupero dal fallimento, poiché il tempo trascorso non è necessariamente correlato al vero progresso del compito in compiti di manipolazione complessi. Inoltre, la maggior parte dei dataset robotici su larga scala manca di annotazioni esplicite della struttura procedurale (ad esempio, confini di sottocompiti e azioni rimanenti), costringendo i modelli di ricompensa a fare affidamento su supervisione indiretta che confonde proxy temporali con progresso semantico.

Metodologia

1. Sintesi della Supervisione Procedurale (ProcCorpus-60M)

Per affrontare la mancanza di supervisione procedurale densa, gli autori hanno sviluppato una pipeline scalabile per sintetizzare annotazioni a livello di fotogramma a partire da traiettorie robotiche grezze.

• Annotazione Gerarchica: Utilizzando grandi Modelli Vision-Language (VLM) come annotatori, la pipeline inferisce prima piani di alto livello e intervalli temporali di sottocompiti dall'intero video. Successivamente, espande questi segmenti in assegnazioni fotogramma per fotogramma, generando indizi di ragionamento (ragionamento sullo stato, stato di completamento, azioni rimanenti) su fotogrammi chiave visivamente deduplicati.
• Costruzione del Dataset: Questa pipeline è stata applicata a 30 dataset incarnati (inclusi DROID, BridgeData V2, Fractal e benchmark di simulazione), dando origine a ProcCorpus-60M, contenente oltre 400K traiettorie e 60M fotogrammi annotati.
• Etichettatura del Progresso: Gli obiettivi di progresso continui sono derivati combinando la struttura a livello di sottocompito con il movimento visivo intra-sottocompito. Viene assegnato un budget di progresso a ciascun sottocompito in base alla sua durata relativa, e questo budget viene distribuito nel tempo in base ai cambiamenti visivi locali ($\|\dot{\phi}(\tau)\|$), evitando una semplice interpolazione temporale lineare.

2. ProcVQA e Paradigma di Addestramento

Le annotazioni sono convertite in ProcVQA, un corpus di addestramento da 20B token centrato sulla stima del progresso del compito. L'addestramento segue un paradigma "ragionamento prima della stima", in cui il modello deve prima inferire la fase di esecuzione corrente e le azioni atomiche rimanenti prima di prevedere un punteggio di progresso continuo.

• Famiglie di Compiti:
  • Previsione del progresso strutturato per sottocompiti: Il modello outputta i sottocompiti atomici rimanenti seguiti da una percentuale di completamento continua racchiusa in tag <progress>.
  • Segmentazione delle azioni: Previsione dei confini temporali delle azioni atomiche.
  • Pianificazione futura: Previsione della sequenza di azioni rimanenti necessarie per completare il compito.
• Architettura: ProcVLM è costruito su una base Qwen3-VL-2B-Instruct. Utilizza un head standard di modellazione linguistica autoregressiva per la generazione di testo e un progress value head dedicato (un MLP a 3 livelli) per la regressione continua.
• Obiettivi di Addestramento: Una funzione di perdita congiunta combina la perdita di modellazione linguistica ($L_{LM}$) con una perdita di regressione ($L_{value}$) per il punteggio di progresso. Un meccanismo di gating attiva l'head dei valori solo quando è presente supervisione sul progresso.
• Addestramento in Due Fasi:
  1. Pre-addestramento: Addestramento su larga scala sull'intero dataset ProcVQA (~20B token) per apprendere rappresentazioni procedurali generali.
  2. Raffinamento: Fine-tuning su un subset curato e di alta qualità (~2.8B token) per affinare l'allineamento dei sottocompiti e la stima del progresso.

Contributi Chiave

1. ProcVLM: Un VLM incarnato consapevole del progresso che prevede ricompense dense e fondate sulla procedura. Collega la stima del progresso continuo alla semantica dei sottocompiti, alle azioni rimanenti e all'avanzamento all'interno della fase tramite un paradigma di ragionamento prima della stima.
2. Pipeline di Supervisione Scalabile: Un metodo per convertire traiettorie di manipolazione grezze in annotazioni a livello di fotogramma strutturate per sottocompiti, producendo ProcCorpus-60M e il benchmark ProcVQA.
3. Valutazione Sistematica: Valutazione completa su comprensione consapevole della procedura, modellazione della ricompensa, adattamento cross-task e ottimizzazione della politica a valle.

Risultati Sperimentali

Comprensione Procedurale Incarnata (ProcVQA)

Valutato su split in-distribution (ID) e out-of-distribution (OOD), ProcVLM ha superato i VLM mainstream (inclusi GPT-5.4, Gemini 3.1 Pro e Qwen3.5) nella segmentazione delle azioni, nella pianificazione futura e nella stima del progresso del compito. Ha ottenuto i punteggi più alti in BF1@5, Successo, VOC (Correlazione Valore-Ordine) ed EPR@50 (Risoluzione del Progresso Efficace).

Valutazione della Ricompensa di Progresso Generalizzabile

• Confronto Zero-Shot: Sul sottoinsieme ProcVQA-OOD, ProcVLM ha ottenuto il miglior VOC, indicando un ordinamento interno del progresso della traiettoria superiore rispetto a baseline come Robometer e RoboDopamine.
• Adattamento One-Shot: Sul benchmark RoboFAC (analisi dei fallimenti su robot reali), aggiungendo una singola dimostrazione di successo, il VOC di ProcVLM è migliorato dell'85,7% e l'MCC del 18,8%. Al contrario, baseline come Robometer hanno mostrato miglioramenti minimi, suggerendo che la supervisione delle preferenze sparse è meno efficace per l'adattamento a una singola dimostrazione.
• Studi di Ablazione: La rimozione del pre-addestramento consapevole della procedura ha causato un degrado severo (ad esempio, -88,8% in MAE per la localizzazione dei guasti), confermando che il pre-addestramento su larga scala è essenziale per una percezione del progresso trasferibile. Anche la rimozione della supervisione formattata per il ragionamento ha portato a cali costanti, evidenziando l'importanza della struttura esplicita dei sottocompiti.

Ottimizzazione della Politica a Valle

Negli esperimenti di fine-tuning guidato dalla ricompensa (RFT) utilizzando il framework Evo-RL:

• Simulazione (LIBERO-10): L'RFT con ricompense ProcVLM ha prodotto guadagni moderati (+0,4 a +1,2 punti percentuali) rispetto al fine-tuning supervisionato (SFT).
• Robot Reale (Stack Bowls): L'RFT ha dimostrato miglioramenti significativi, aumentando i tassi di successo del +25,0% a 5k step e del +12,5% a 10k step rispetto all'SFT. Gli autori attribuiscono ciò alla capacità di ProcVLM di soppesare verso il basso segmenti rumorosi (ad esempio, ripetuti tentativi di presa) nei dati teleoperati, stabilizzando l'ottimizzazione della politica.

Significato e Affermazioni

Il documento afferma che la stima del progresso fondata sulla procedura è un abilitatore critico per la modellazione della ricompensa trasferibile nella robotica. Fondando il progresso sulla struttura procedurale piuttosto che su proxy temporali, ProcVLM fornisce feedback discriminativo che supporta un miglioramento stabile della politica, in particolare in scenari che coinvolgono dati rumorosi di robot reali e compiti a lungo orizzonte. Il lavoro suggerisce che il pre-addestramento su larga scala consapevole della procedura è una strada promettente per sviluppare modelli di ricompensa in grado di generalizzare attraverso compiti e modalità di fallimento, facilitando l'ottimizzazione della politica guidata dalla ricompensa oltre le dimostrazioni offline.

Gli autori riconoscono le limitazioni, notando che le stime dipendono dalla qualità della decomposizione dei sottocompiti e che il lavoro attuale si concentra su un insieme specifico di impostazioni di ottimizzazione guidata dalla ricompensa, piuttosto che coprire esaustivamente tutte le integrazioni basate su gradienti di politica o preferenze.