🤖 machine learning

Contrastive Representation Regularization for Vision-Language-Action Models

Questo articolo introduce la Robot State-aware Contrastive Loss (RS-CL), una tecnica di regolarizzazione delle rappresentazioni leggera che allinea le rappresentazioni dei modelli Vision-Language-Action agli stati propriocettivi robotici, migliorando significativamente le prestazioni sia sui benchmark di manipolazione simulati che su quelli del mondo reale.

Autori originali: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Il "Cervello Intelligente" contro le "Mani Goffe"

Immagina di aver costruito un robot con un cervello incredibilmente intelligente riguardo al mondo. Ha letto milioni di libri e visto miliardi di foto. Sa com'è fatta una "porta dell'armadio", cosa significa "aprire" e come descriverlo in un inglese perfetto. Questo è il Modello Vision-Language (VLM).

Tuttavia, quando chiedi a questo robot di aprire effettivamente l'armadio, fatica. Perché? Perché mentre il suo cervello comprende il concetto di una porta, non ha idea di come si sentano le sue stesse braccia quando si muovono. Non comprende la "propriocezione"—il senso interno di dove si trovano le sue articolazioni, quanta forza sta usando o esattamente dove si trova la sua mano nello spazio.

Il documento sostiene che i robot attuali sono come un chef brillante che non ha mai toccato un coltello. Sanno come dovrebbe apparire un'insalata, ma non riescono a tagliare le verdure perché manca loro il "senso fisico" dell'azione.

Il Problema: La "Trappola Visiva"

I ricercatori hanno scoperto che quando questi robot cercano di imparare, si lasciano distrarre dallo scenario.

Il Vecchio Metodo: Se mostri al robot un video di apertura di un armadio in una cucina con un muro rosso e un altro video di apertura di un armadio in una cucina con un muro blu, il cervello del robot pensa: "Questi sono due compiti totalmente diversi!". Li raggruppa in base al colore dello sfondo o allo stile dei mobili.
La Realtà: Il movimento del braccio del robot è quasi identico in entrambi i casi. La "sensazione" del braccio che si alza e afferra la maniglia è la stessa, anche se il colore del muro cambia.

Poiché il cervello del robot è focalizzato sui dettagli visivi (il muro rosso contro il muro blu) piuttosto che sullo stato fisico (la posizione del braccio), commette errori goffi, specialmente quando deve essere preciso, come nel raccogliere una tazza senza farla cadere.

La Soluzione: "Perdita Contrastiva Consapevole dello Stato del Robot" (RS-CL)

Gli autori introducono un nuovo trucco di addestramento chiamato RS-CL. Pensate a questo come a un "controllo di realtà fisica" per il cervello del robot.

1. L'Analogia della "Supervisione Morbida"

Immagina di insegnare a uno studente a disegnare un cerchio.

Metodo Vecchio: Gli dici semplicemente: "Disegna un cerchio". Lo studente guarda un'immagine di un cerchio su un manifesto e cerca di copiare l'inchiostro.
Metodo RS-CL: Prendi la mano dello studente e dici: "Senti come si muove il tuo polso? Quando la tua mano è qui, il cerchio è piccolo. Quando la tua mano è là, il cerchio è grande".

RS-CL fa questo digitalmente. Guarda i sensori interni del robot (il suo "stato propriocezionale") e dice al cervello: "Se il braccio del robot è in posizione A, e un'altra volta è in posizione B, e quelle posizioni sono molto simili, allora la mappa interna del tuo cervello dovrebbe trattare questi due momenti come simili, anche se lo sfondo sembra totalmente diverso".

Utilizza un sistema di pesi "morbido". Se il braccio del robot è quasi nello stesso punto, il cervello riceve una leggera spinta per trattare le immagini come simili. Se il braccio è lontano, riceve una spinta per trattarli come diversi. Questo costringe il cervello a preoccuparsi del movimento più che dello scenario.

2. Il Trucco del "Taglio della Vista"

I robot spesso hanno più telecamere (come una telecamera al polso e una telecamera nella stanza).

Il Problema: Se addestri il robot mostrandogli la vista completa, potrebbe fare troppo affidamento sulla telecamera al polso e ignorare la stanza, o viceversa.
La Soluzione: I ricercatori hanno inventato un metodo chiamato Taglio della Vista (View Cutoff). Immagina di studiare una mappa, ma di coprire metà di essa con la mano. Costringi il tuo cervello a comprendere l'immagine intera usando solo la metà visibile.
Come funziona: Il computer "maschera" (nasconde) casualmente una delle viste della telecamera durante l'addestramento. Questo costringe il cervello del robot a imparare una rappresentazione che funziona anche se una telecamera è bloccata o se l'angolo cambia. Rende la comprensione del robot "invariante alla vista" (non importa da quale angolo la vedi; l'azione è la stessa).

I Risultati: Da "Goffo" a "Preciso"

Il documento ha testato questo metodo su una cucina simulata (RoboCasa-Kitchen) e su un braccio robotico reale.

La Simulazione: Prima di questa correzione, i migliori robot avevano successo circa il 65,7% delle volte. Con RS-CL, sono passati al 69,7%.
La Vittoria "Prendi-e-Metti": Il miglioramento più grande è stato nei compiti che richiedono precisione, come raccogliere un piccolo oggetto e metterlo in una ciotola. I tassi di successo sono passati dal 30,3% al 41,5%. È come passare da un robot che lascia cadere la tazza metà delle volte a uno che quasi sempre la fa giusta.
Il Robot Reale: Su un braccio robotico fisico reale, il tasso di successo per compiti difficili è passato dal 45,0% al 58,3%.

Perché Questo È Importante (Secondo il Documento)

Il documento afferma che questo metodo è leggero e facile da aggiungere. Non è necessario ricostruire il cervello del robot da zero o nutrirlo con milioni di nuovi video di robot in movimento. Basta aggiungere questo "controllo di realtà fisica" (RS-CL) al processo di addestramento esistente.

Colma il divario tra "sapere cosa è una porta" (Vision-Language) e "sapere come muovere il braccio per aprirla" (Action). Costringendo il cervello del robot ad allineare i suoi pensieri con le sue sensazioni fisiche, il robot diventa molto migliore nel lavoro effettivo di spostare le cose.

Riassunto in Una Frase

Il documento insegna ai robot a smettere di guardare lo scenario di sfondo e iniziare a prestare attenzione a come si muovono i loro stessi corpi, risultando in azioni fisiche molto più fluide e accurate.

Riepilogo Tecnico: Regolarizzazione delle Rappresentazioni Contrastive per Modelli Vision-Language-Action

Enunciato del Problema

I modelli Vision-Language-Action (VLA) hanno dimostrato un potenziale significativo nella manipolazione robotica sfruttando rappresentazioni semantiche ricche provenienti da Modelli Vision-Language (VLM) pre-addestrati. Tuttavia, persiste una limitazione critica: le rappresentazioni derivate da VLM generici sono spesso subottimali per il controllo robotico. Sebbene i VLM siano addestrati su dataset di istruzioni visive su larga scala, mancano di un'esposizione esplicita alle modalità robotiche, in particolare alle azioni di controllo di basso livello e alle informazioni propriocettive (ad esempio, posizioni delle giunture, stati dell'end-effector).

Di conseguenza, quando i modelli VLA sono condizionati su rappresentazioni VLM congelate, gli embedding tendono a essere dominati dall'aspetto visivo (ad esempio, layout della scena, texture di sfondo) piuttosto che da fattori rilevanti per il controllo. Questo disallineamento comporta rappresentazioni che non riescono a catturare lo stato fisico del robot o i segnali necessari per una previsione precisa delle azioni, portando a prestazioni subottimali in compiti che richiedono un posizionamento accurato.

Metodologia: Loss Contrastiva Consapevole dello Stato del Robot (RS-CL)

Per affrontare il disallineamento tra le rappresentazioni VLM e i segnali robotici, gli autori propongono la Loss Contrastiva Consapevole dello Stato del Robot (RS-CL). Questa è una tecnica di regolarizzazione delle rappresentazioni semplice ed efficace, progettata per colmare il divario tra gli embedding VLM e gli stati propriocettivi del robot senza richiedere fasi di addestramento aggiuntive o dataset curati.

Componenti Principali

Augmentation a Livello di Rappresentazione (Taglio della Vista):
Invece di eseguire costose augmentation a livello di dati che richiedono molteplici passaggi in avanti attraverso il VLM, gli autori introducono il "taglio della vista". Questa operazione maschera casualmente la fetta di caratteristiche corrispondente a una singola vista di osservazione dall'output del VLM. Ciò crea embedding alternativi a livello di rappresentazione con un minimo sovraccarico computazionale, consentendo la costruzione efficiente di coppie contrastive diversificate.
Token di Sintesi Apprendibile:
Per gestire l'alto costo computazionale dell'applicazione dell'apprendimento contrastivo su intere sequenze VLM (che sono tipicamente lunghe), un token di sintesi apprendibile viene aggiunto all'output del VLM. L'adattatore elabora questo token per produrre un embedding rappresentativo compatto ( $z$ ) utilizzato per l'apprendimento contrastivo, mentre gli embedding originali ( $h$ ) rimangono disponibili per il decoder delle azioni.
Obiettivo Contrastivo a Pesi Soft:
RS-CL utilizza un framework di apprendimento contrastivo supervisionato basato sulla loss InfoNCE. A differenza delle loss contrastive standard che trattano tutte le coppie negative allo stesso modo, RS-CL assegna pesi soft ai punteggi di similarità in base alla distanza euclidea tra gli stati propriocettivi del robot ( $q_i, q_j$ ).
- Meccanismo: Le coppie di stati con piccole distanze propriocettive (stati fisici simili) ricevono pesi più alti, incoraggiando il modello ad avvicinare i loro embedding nello spazio delle rappresentazioni. Le coppie con grandi distanze ricevono pesi più bassi.
- Formula: La loss è definita come una variante ponderata di InfoNCE:
  $\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$
  dove $w_{ij}$ è calcolata dalla distanza relativa tra gli stati propriocettivi.
Integrazione nell'Addestramento:
RS-CL opera come obiettivo ausiliario accanto alla loss standard di previsione delle azioni (ad esempio, loss di flow-matching). L'obiettivo totale è $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$ . Il coefficiente di ponderazione $\lambda$ decade durante l'addestramento, enfatizzando il raffinamento delle rappresentazioni nelle fasi iniziali e la previsione accurata delle azioni nelle fasi successive. Ciò consente un addestramento end-to-end in una singola fase, compatibile con le pipeline VLA esistenti.

Contributi Chiave

Obiettivo Innovativo: Introduzione di RS-CL, che allinea esplicitamente le rappresentazioni VLM con gli stati propriocettivi del robot utilizzando una supervisione soft continua basata sulla distanza.
Design Efficiente: Sviluppo di una strategia di augmentation a livello di rappresentazione ("taglio della vista") che consente un apprendimento contrastivo leggero e stabile senza passaggi in avanti aggiuntivi del VLM.
Compatibilità: Dimostrazione che RS-CL è pienamente compatibile con le pipeline di addestramento VLA standard, non richiedendo curatela aggiuntiva dei dati o processi di addestramento multi-fase.

Risultati Sperimentali

Gli autori hanno valutato RS-CL su benchmark di simulazione e esperimenti su robot reali.

Benchmark di Simulazione

RoboCasa-Kitchen: RS-CL ha raggiunto un tasso di successo stato dell'arte del 69,7% (utilizzando 300 dimostrazioni), superando la baseline GR00T N1.5 (65,7%) e altre baseline solide come $\pi_0$ (62,5%). In particolare, ha prodotto guadagni sostanziali nei compiti di presa e posizionamento, migliorando i tassi di successo dal 30,3% al 41,5% (+11,2%), una categoria che richiede un posizionamento preciso.
LIBERO: RS-CL ha migliorato il tasso di successo medio dal 95,7% al 96,4%, dimostrando robustezza attraverso diverse suite di multitasking.
Efficienza: Rispetto alle Time-Contrastive Networks (TCN), RS-CL ha raggiunto tassi di successo più alti con un sovraccarico computazionale significativamente inferiore (2,91 $\times 10^{12}$ FLOPs contro 7,53 $\times 10^{12}$ per TCN), poiché evita il data mining strutturato temporalmente e passaggi in avanti aggiuntivi.

Esperimenti su Robot Reali

Configurazione: Gli esperimenti sono stati condotti su un braccio Franka Research 3 con una pinza Robotiq 2F-85.
Prestazioni: Su compiti di manipolazione impegnativi, RS-CL ha migliorato il tasso di successo dal 45,0% al 58,3% (+13,3%).
Generalizzazione: Il metodo ha dimostrato una robustezza migliorata alle variazioni visive, ai cambiamenti delle proprietà fisiche (oggetti non visti), alle condizioni di illuminazione e al grounding linguistico. Ha inoltre mostrato prestazioni migliori in compiti con parziale occlusione (ad esempio, chiudere un coperchio), attribuito a rappresentazioni invarianti alla vista.

Addestramento da Zero

Quando si addestrano modelli VLA da zero su varie backbones VLM pre-addestrate (Qwen2.5-VL, SigLIP2, GR00T N1.5), RS-CL ha migliorato costantemente le prestazioni su tutte le architetture. Ha superato le baselines che si basavano sull'ulteriore addestramento dei VLM su dataset robotici (ad esempio, RoboBrain, VeBrain), suggerendo che l'allineamento esplicito tramite RS-CL è più efficace della sola adattamento di dominio generale.

Significato e Affermazioni

Il documento afferma che RS-CL affronta efficacemente il "divario di modalità" tra i VLM generici e le esigenze specifiche del controllo robotico. Allineando esplicitamente le rappresentazioni con gli stati propriocettivi, il metodo rimodella lo spazio degli embedding per catturare segnali rilevanti per il controllo (come il progresso del compito e la posa del robot) piuttosto che il semplice aspetto visivo.

Gli autori sottolineano che questo approccio è leggero e senza soluzione di continuità, evitando la necessità di complessi addestramenti multi-fase o dataset robotici su larga scala curati. I risultati suggeriscono che incorporare segnali di stato del robot direttamente nel processo di apprendimento delle rappresentazioni è cruciale per una previsione accurata delle azioni, in particolare in compiti che richiedono un posizionamento preciso. Il lavoro incoraggia ricerche future sull'integrazione di altri segnali sensoriali (ad esempio, posa degli oggetti, feedback tattile) per avanzare ulteriormente le capacità VLA.