🤖 machine learning

VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation

VLCP introduce una politica di manipolazione robotica senza addestramento che mantiene congelato un modello vision-language e abilita il controllo a ciclo chiuso facendo sì che esso riscriva dinamicamente il proprio codice di controllo Python ogni $K$ passi sulla base di osservazioni multi-vista, ottenendo un miglioramento del tasso di successo di dieci volte rispetto ai baseline a ciclo aperto attraverso il recupero dai fallimenti durante l'episodio.

Autori originali: Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Pubblicato 2026-08-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo della robotica, esiste un divario persistente tra ciò che un computer può comprendere e ciò che può effettivamente fare. Per anni, gli scienziati hanno cercato di colmare questo vuoto insegnando ai robot a parlare il linguaggio del movimento, costringendo potenti modelli di intelligenza artificiale a imparare un nuovo vocabolario specializzato di comandi motori. Questo approccio richiede enormi quantità di dati di addestramento e spesso priva il robot della sua capacità di ragionamento, lasciandolo a memorizzare azioni specifiche invece di comprendere la situazione. Un'idea più recente suggerisce che, invece di insegnare a un robot un nuovo linguaggio, dovremmo lasciargli parlare quello che già conosce meglio: il codice informatico. Chiedendo a un'IA di scrivere un breve programma che indichi al robot come muoversi, i ricercatori possono mantenere intatto il ragionamento dell'IA. Tuttavia, un grande difetto di questo metodo è stato che il programma viene scritto una sola volta, prima che il robot inizi a muoversi. Se il robot manca una presa o urta qualcosa, il programma continua a girare ciecamente, portando quell'errore fino alla fine del compito senza modo di correggerlo.

Un nuovo studio introduce un sistema chiamato VLCP, che cambia le regole permettendo al robot di riscrivere le proprie istruzioni mentre è ancora al lavoro. I ricercatori hanno costruito un framework in cui un modello di intelligenza artificiale pre-addestrato e congelato agisce come supervisore. Invece di inviare un singolo set di comandi all'inizio, il sistema si mette in pausa ogni cinquanta passi per osservare la situazione attuale del robot attraverso telecamere e sensori. Successivamente, chiede all'IA di scrivere una nuova, breve funzione Python per gestire i successivi cinquanta passi basandosi su ciò che ha appena visto. Se il robot non è riuscito a raccogliere un oggetto nella fase precedente, l'IA nota il fallimento attraverso le immagini, scrive un nuovo pezzo di codice per correggere l'approccio e riprova, tutto all'interno dello stesso tentativo. Questo crea un ciclo chiuso in cui il software di controllo stesso viene modificato in tempo reale, piuttosto che essere solo il movimento del robot ad essere regolato.

I ricercatori hanno testato questo sistema in un ambiente simulato contenente cinquantasette diversi compiti, che vanno dal semplice prelievo di oggetti a sequenze complesse in ambienti di cucina e soggiorno. Hanno confrontato il loro metodo con una versione dello stesso sistema che scriveva il codice una sola volta all'inizio e non guardava mai indietro. La differenza era netta. Il sistema che riscriveva il proprio codice durante l'esecuzione aveva successo nel trentacinque percento dei compiti, mentre quello che si atteneva al piano originale aveva successo solo nel tre percento. Questo miglioramento di dieci volte si è mantenuto costante in ogni tipo di scena testata. La chiave di questo successo non era solo che il robot potesse vedere i propri errori, ma che potesse cambiare le istruzioni stesse che li avevano causati. In quasi il trenta percento dei casi in cui il robot aveva inizialmente fallito nel raccogliere un oggetto, il sistema ha rilevato l'errore, ha riscritto l'approccio ed è riuscito a sollevare l'articolo più tardi nello stesso tentativo. Senza questa capacità di modificare il codice a metà compito, quei fallimenti sarebbero stati permanenti.

Per garantire che questo processo fosse pratico, il team ha misurato quanta potenza di calcolo fosse necessaria. Poiché l'IA riutilizzava gran parte delle stesse informazioni di base per ogni controllo, il sistema aveva bisogno di elaborare solo una piccola quantità di nuovi dati ogni volta. Ciò ha permesso al robot di mettersi in pausa, riflettere e riscrivere le proprie istruzioni circa dieci volte durante un singolo compito senza diventare troppo lento o costoso da gestire. Lo studio ha anche dimostrato che questo metodo non dipendeva dalla memorizzazione di frasi o istruzioni specifiche. Quando i ricercatori hanno cambiato la formulazione delle descrizioni dei compiti, le prestazioni del sistema sono rimaste stabili, mentre altri modelli che si basavano sui dati di addestramento hanno avuto difficoltà significative quando il linguaggio cambiava leggermente. Ciò suggerisce che il sistema stia realmente comprendendo l'obiettivo invece di limitarsi a far corrispondere degli schemi.

I ricercatori sono stati attenti a sottolineare che i loro risultati provengono da una simulazione al computer, non da un robot fisico in una stanza reale. Il sistema attualmente si affida a informazioni digitali perfette sulla posizione degli oggetti, cosa che le telecamere del mondo reale non sempre possono fornire con tale certezza. Inoltre, il tempo necessario all'IA per generare un nuovo pezzo di codice significa che questo approccio è più adatto a compiti che non richiedono reazioni istantanee. Nonostante queste limitazioni, lo studio dimostra un percorso chiaro da seguire: mantenendo l'IA nel linguaggio del codice e permettendole di correggere i propri errori mentre accadono, i robot possono diventare molto più capaci senza dover essere riaddestrati su migliaia di dimostrazioni umane. Il lavoro suggerisce che il futuro del controllo robotico potrebbe non risiedere nell'insegnare alle macchine nuovi modi di muoversi, ma nel dare loro la libertà di modificare i propri piani mentre imparano.

Sintesi Tecnica: VLCP (Vision Language Control Policy)

Problematica
Gli approcci attuali per l'implementazione di modelli Vision-Language (VLM) di frontiera nella robotica si affidano tipicamente a modelli Vision-Language-Action (VLA). Questi richiedono l'affinamento (fine-tuning) di VLM pre-addestrati per emettere token di azione a basso livello (ad esempio, posizioni articolari o token motori specializzati) che il modello non ha mai incontrato durante il pre-addestramento. Questa adattamento rischia di scartare le capacità di ragionamento intrinseche del modello e richiede grandi dataset di dimostrazioni. Inoltre, gli esistenti metodi "Code-as-Policy" generano il codice di controllo una sola volta prima dell'inizio dell'esecuzione. Se si verifica un fallimento durante l'esecuzione (ad esempio, una presa mancata), questi sistemi a ciclo aperto (open-loop) non possono recuperare perché la policy è fissa. Al contrario, i metodi a ciclo chiuso (closed-loop) esistenti che reagiscono alle osservazioni operano spesso a livello di task o di linguaggio (selezionando nuovamente sottotask o riprovando policy fisse) piuttosto che riscrivere il codice di controllo sottostante che ha causato il fallimento.

Metodologia
VLCP propone un framework a ciclo chiuso privo di addestramento (training-free) che mantiene il VLM congelato e lo utilizza per generare una funzione di controllo Python a breve orizzonte. L'innovazione principale è la chiusura del ciclo a livello del codice di controllo stesso all'interno di un singolo episodio.

Rappresentazione Code-as-Policy: Invece di emettere token motori, il VLM congelato scrive una funzione Python control(obs, J) che riceve come input osservazioni RGB multi-view, stato propriocettivo e il Jacobiano dell'end-effector. Questa funzione restituisce un dizionario di target di posizione articolare per il controllore PD del simulatore.
Replanning a Ciclo Chiuso: L'episodio è diviso in blocchi di $K$ $K$ passi (default $K=50$ $K = 50$ ). All'inizio di ogni blocco, il VLM viene interrogato per generare una nuova funzione di controllo basata sullo stato corrente.
- Osservazione: Il VLM riceve immagini RGB multi-view sincronizzate, stato numerico (pose dell'end-effector, posizioni articolari, pose degli oggetti) e un delta di stato esplicito.
- Riscrittura: Se il blocco precedente è fallito (ad esempio, un tentativo di presa è andato a vuoto), il VLM osserva la firma del fallimento nelle nuove immagini e riscrive la funzione di controllo per correggere l'approccio per il blocco successivo. Ciò consente il recupero durante l'episodio, non solo tra i tentativi.
Libreria di Skill: I moduli di supporto (skill) scritti durante qualsiasi replanning vengono salvati in una directory condivisa su disco. Questi vengono reiniettati testualmente nella prompt del sistema dei replanning successivi (sia all'interno dello stesso episodio che tra episodi diversi), permettendo alla policy di accumulare e riutilizzare le skill senza fine-tuning.
Prompt Engineering: La prompt è strutturata per massimizzare il caching dei token. Include un prefisso statico (documentazione, API, esempi), una libreria di skill dinamica e un "goal pin" (descrizione del task) che sopravvive alla troncatura del contesto. Le immagini sono incluse solo nel turno utente live per evitare l'intasamento del contesto.

Contributi Chiave

Framework VLCP: Un sistema di manipolazione a ciclo chiuso privo di addestramento che interroga nuovamente un VLM congelato ogni $K$ passi per riscrivere la funzione di controllo basandosi su osservazioni live e delta di stato.
Libreria di Skill Cross-Episodio: Un meccanismo in cui i moduli di supporto generati durante il replanning vengono persistiti e reiniettati in future prompt, consentendo l'accumulo di skill senza riaddestramento.
Ablazione Controllata (Il Loop): Un confronto rigoroso contro un caso degenero a ciclo aperto ( $K=T$ , dove il VLM viene interrogato una sola volta per episodio). Questo isola il contributo del loop di replanning intra-episodio, mantenendo costanti il simulatore, l'API, il modello e l'insieme dei task.
Recupero Quantificato: Misurazione diretta del recupero intra-episodio, dimostrando che il sistema può rilevare e correggere prese fallite a metà episodio.
Analisi di Fattibilità: Una dimostrazione che l'approccio è computazionalmente accessibile tramite il caching della prompt, richiedendo solo circa 10 chiamate al VLM per episodio con alti tassi di hit del cache.

Risultati
Valutato su una scansione di 57 task attraverso tre famiglie di scene (Object Picks, Kitchen Scenes, Living-Room Scenes) in MuJoCo/RoboVerse:

Success Rate: Il VLCP a ciclo chiuso ( $K=50$ ) ha ottenuto un tasso di successo aggregato del 35,1%. Al contrario, lo stesso sistema in modalità a ciclo aperto ( $K=T$ ) ha ottenuto solo il 3,5%. Ciò rappresenta un miglioramento di dieci volte con intervalli di confidenza al 95% non sovrapponibili in tutte le famiglie di scene.
Meccanismo di Recupero: L'analisi delle tracce registrate ha rivelato che il 27,3% delle prese fallite è stato recuperato con successo da un successivo replanning. La variante a ciclo aperto aveva un tasso di recupero dello 0% per costruzione.
Generalizzazione: Sotto riframing delle istruzioni (cambiando la formulazione delle istruzioni del task), VLCP ha mantenuto prestazioni stabili (40,0% sia nelle condizioni originali che in quelle modificate), mentre un baseline VLA sottoposto a fine-tuning (VLA-0) ha mostrato un significativo crollo delle prestazioni su task specifici quando le istruzioni venivano riformulate.
Efficienza: Il sistema ha raggiunto un tasso mediano di hit del cache dei token di input dell'84%. Un episodio ha richiesto un numero mediano di 10 chiamate di replanning, con una latenza mediana di 18,8 secondi per replanning. Tutti i 778 blocchi di controllo generati sono stati analizzati (parsed) e compilati con successo (validità al 100%).

Significatività e Rivendicazioni
Il paper sostiene che VLCP dimostra che chiudere il loop a livello del codice di controllo è una frontiera distinta ed efficace per la manipolazione robotica.

Preservazione del Ragionamento: Mantenendo il VLM congelato e usandolo per scrivere codice (un linguaggio in cui è fluente) invece di sottoporlo a fine-tuning per le azioni, il metodo preserva le capacità di ragionamento del modello pre-addestrato.
Il Luogo della Correzione: Gli autori sostengono che i metodi precedenti falliscono perché riprovano policy fisse o scalano verso planner senza correggere la causa radice (il codice di controllo). VLCP è tra i pochi metodi che riscrivono l'artefatto fallito a metà episodio.
Viabilità Senza Addestramento: I risultati suggeriscono che un approccio a zero dimostrazioni e senza addestramento può raggiungere una forte performance assoluta (35,1%) su compiti di manipolazione complessi, a patto che il sistema possa autocorreggersi tramite la riscrittura del codice.
Substrato di Apprendimento Continuo: La libreria di skill cross-episodio offre una naturale via per l'apprendimento continuo, dove la competenza si accumula tra gli episodi senza riaddestramento.

Gli autori riconoscono i limiti, notando che l'implementazione attuale si affida alle pose degli oggetti fornite dal simulatore (bypassando il rumore percettivo) ed è limitata dalla latenza di inferenza del VLM, rendendola adatta a compiti di manipolazione più lenti piuttosto che a un controllo reattivo ad alta frequenza. Essi enfatizzano che il contributo è il loop stesso, non un particolare programma generato.

Sintesi Tecnica: VLCP (Vision Language Control Policy)

Articoli simili