💻 computer science

LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

Il documento introduce LIBERO-PRO, un benchmark robusto che rivela la grave dipendenza dei modelli Vision-Language-Action attuali dalla memorizzazione mnemonica, dimostrando il loro completo crollo delle prestazioni quando valutati sotto perturbazioni generalizzate di oggetti, stati, istruzioni e ambienti, sollecitando di conseguenza la comunità ad adottare standard di valutazione più equi.

Autori originali: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun

Pubblicato 2026-05-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di addestrare un robot chef a preparare un'insalata. Gli mostri un video di qualcuno che prende una bottiglia di condimento per insalata e la mette in un cestino. Il robot osserva, impara e poi, quando gli chiedi di fare la stessa cosa, lo fa perfettamente. Gli dai un punteggio alto: 95%! Pensi: "Wow, questo robot è un genio nel seguire le istruzioni".

Ma ecco il colpo di scena: il robot non sta davvero pensando. Sta solo agendo come un pappagallo che ha memorizzato una sceneggiatura specifica.

Questa è la storia centrale del documento LIBERO-PRO. Gli autori sostengono che il modo attuale in cui testiamo questi robot "Vision-Language-Action" (VLA) è difettoso. È come dare a uno studente un test di matematica in cui le domande sono identiche a quelle che ha esercitato, con i numeri spostati solo di un millimetro. Lo studente prende il 100%, ma se cambi leggermente i numeri, fallisce completamente.

Ecco una panoramica di ciò che il documento ha scoperto, utilizzando analogie semplici:

1. La trappola della "memorizzazione meccanica"

Il test standard attuale (chiamato LIBERO) è troppo facile. I robot vengono addestrati su un insieme di compiti e poi testati sugli stessi identici compiti, con solo minuscole, quasi invisibili modifiche (come spostare una ciotola di un pollice a sinistra).

Il Risultato: I robot ottengono punteggi superiori al 90%.
La Realtà: Non stanno comprendendo il compito; stanno semplicemente riproducendo un filmato memorizzato di ciò che hanno visto durante l'addestramento. Stanno "barando" memorizzando la disposizione della stanza e la sequenza di movimenti, invece di comprendere effettivamente cosa siano un "cestino" o un "condimento per insalata".

2. Il test di stress "LIBERO-PRO"

Per risolvere questo problema, gli autori hanno creato LIBERO-PRO. Pensateci come a un "quiz a sorpresa" progettato per catturare i barattatori. Hanno sistematicamente alterato quattro cose per vedere se il robot poteva effettivamente adattarsi:

Lo scambio di oggetti (l'"impostore"):
- Il Test: Dici al robot: "Prendi il condimento per insalata". Ma nella scena non c'è condimento per insalata. Invece, c'è una lattina di zuppa di lettere.
- La Reazione del Robot: Ignora la zuppa, guarda lo spazio vuoto dove il condimento di solito si trova e cerca di afferrare aria sottile. È così bloccato sulla sua memoria che non si accosta nemmeno che l'oggetto manca o è diverso.
L'istruzione "assurda":
- Il Test: Dici al robot: "Prendi il condimento per insalata", ma poi sostituisci le parole con nonsense come "fdsgfdsgsd".
- La Reazione del Robot: Non si ferma e non dice: "Non capisco". Afferra comunque il condimento per insalata. Dimostra che il robot non sta davvero ascoltando le tue parole; sta solo indovinando in base a ciò che vede.
Il "bersaglio mobile" (spostamento di posizione):
- Il Test: Sposti l'oggetto appena un po' lontano da dove si trovava nei video di addestramento.
- La Reazione del Robot: Si allunga verso il vecchio punto e manca completamente l'oggetto. Non ha alcun concetto di "dove" si trova l'oggetto in questo momento; sa solo "dove avrebbe dovuto essere".
Il compito "combinato":
- Il Test: Chiedi al robot di fare due cose semplici che sa fare separatamente (prendere una ciotola, poi accendere il fornello) ma combinate in un'unica nuova istruzione.
- La Reazione del Robot: Fallisce. Non riesce a unire due azioni apprese per creare un nuovo piano. È come un musicista che sa suonare una scala e un accordo, ma se gli chiedi di suonare una canzone, si blocca.

3. La grande rivelazione

Quando gli autori hanno eseguito questi "test di stress" sui robot migliori (come OpenVLA e Pi0), i risultati sono stati scioccanti.

Punteggio del test standard: 90%+ (Sembra incredibile).
Punteggio LIBERO-PRO: 0% (Fallimento totale).

I robot sono crollati istantaneamente. Non sono riusciti a gestire un oggetto diverso, un oggetto spostato, un'istruzione strana o una nuova combinazione di compiti.

La conclusione

Il documento conclude che l'attuale "standard aureo" per testare i robot è fuorviante. È come giudicare l'abilità di un conducente solo da quanto bene riesce a guidare un'auto su un tracciato perfettamente dritto e vuoto che ha percorso migliaia di volte.

Gli autori stanno chiedendo alla comunità scientifica di smettere di usare i vecchi test facili. Vogliono che tutti utilizzino LIBERO-PRO invece, il quale costringe i robot a dimostrare di poter effettivamente vedere, comprendere e adattarsi al mondo reale disordinato e imprevedibile, invece di limitarsi a recitare una sceneggiatura memorizzata.

In sintesi: I robot non sono ancora intelligenti; sono solo molto bravi a memorizzare. LIBERO-PRO è il test che finalmente espone la differenza.

Riepilogo Tecnico: LIBERO-PRO

Enunciato del Problema

I modelli Vision-Language-Action (VLA) sono diventati un paradigma centrale per l'IA incarnata, tuttavia la loro valutazione dipende fortemente dal benchmark LIBERO. Gli autori identificano un difetto critico nella configurazione attuale di addestramento e valutazione di LIBERO: i compiti di test sono quasi identici ai compiti di addestramento, differendo solo per perturbazioni marginali, spesso impercettibili a livello visivo, negli stati iniziali degli oggetti.

Questa configurazione porta a stime delle prestazioni gonfiate. I modelli che raggiungono oltre il 90% di successo sul LIBERO standard si rivelano basati sulla memorizzazione mnemonica di sequenze di azioni e layout ambientali piuttosto che su una reale comprensione del compito o sulla percezione ambientale. L'analisi qualitativa rivela modalità di fallimento sistematiche, tra cui:

Allucinazioni Visive: Esecuzione di prese su oggetti non correlati o "presa dell'aria" quando gli oggetti target vengono rimossi.
Insensibilità alle Istruzioni: Ignorare istruzioni prive di significato o corrotte e procedere con traiettorie memorizzate.
Fragilità Spaziale: Fallimento immediato quando le posizioni degli oggetti si spostano leggermente rispetto alle distribuzioni di addestramento.
Mancanza di Compositività: Incapacità di combinare sottocompiti appresi in comportamenti coerenti multi-step.

Di conseguenza, l'attuale protocollo di valutazione non riesce a valutare rigorosamente il ragionamento, la compositività e la capacità di generalizzazione delle moderne architetture VLA.

Metodologia: LIBERO-PRO

Per affrontare queste limitazioni, gli autori introducono LIBERO-PRO, un benchmark esteso e plug-and-play progettato per valutare sistematicamente le prestazioni del modello sotto perturbazioni ragionevoli. Il framework formalizza un compito VLA $T = (l, e, G)$ e introduce variazioni controllate lungo quattro dimensioni ortogonali:

Oggetti Manipolati (Perturbazione degli Attributi dell'Oggetto): Modifica di attributi visivi non essenziali (colore, texture, dimensione) preservando l'equivalenza semantica, o sostituzione degli oggetti con elementi non correlati.
Stati Iniziali (Perturbazione della Configurazione Spaziale): Alterazione delle posizioni assolute e relative degli oggetti entro limiti fisicamente plausibili.
Istruzioni del Compito (Perturbazione delle Istruzioni): Introduzione di variazioni semantiche (parafrasi) e strutturali, inclusa l'iniezione di token privi di senso per testare l'ancoraggio linguistico.
Ambienti (Perturbazione dell'Ambiente): Modifica del contesto visivo come sfondi, illuminazione e texture.

Inoltre, il framework include Perturbazioni del Compito (modifica degli oggetti target o delle azioni all'interno della distribuzione di addestramento) e supporta combinazioni randomizzate multidimensionali di queste perturbazioni, escludendo solo le perturbazioni a livello di compito dalle combinazioni di tipo incrociato per garantire la fattibilità.

La valutazione impone vincoli per garantire che i compiti perturbati rimangano semanticamente coerenti ed eseguibili, variando l'entità della perturbazione ( $\delta_k$ ) per caratterizzare la sensibilità della politica.

Contributi Chiave

Il paper apporta tre contributi principali:

Dimostrazione Empirica dell'Overfitting: Gli autori forniscono prove che i punteggi LIBERO elevati derivano dalla memorizzazione delle configurazioni di addestramento piuttosto che da un ragionamento trasferibile, esponendo gravi difetti nelle attuali pratiche di valutazione.
Introduzione di LIBERO-PRO: Una nuova suite di benchmark che integra perturbazioni progettate sistematicamente attraverso attributi degli oggetti, stati iniziali, istruzioni del compito e ambienti per supportare una valutazione rigorosa, singola e multidimensionale.
Benchmarking Completo: La valutazione di modelli all'avanguardia (OpenVLA, Pi0, Pi0.5) su LIBERO-PRO, che rivela un significativo degrado delle prestazioni, sottolineando i limiti del protocollo originale.

Risultati Sperimentali

Gli autori hanno valutato i principali modelli VLA (OpenVLA, Pi0, Pi0.5) sulla suite LIBERO-PRO. I risultati indicano un crollo quasi completo delle prestazioni in impostazioni generalizzate:

Prestazioni Standard vs. Generalizzate: Mentre i modelli raggiungono un'accuratezza >90% su LIBERO standard, le loro prestazioni crollano allo 0,0% nell'impostazione generalizzata LIBERO-PRO.
Sensibilità alle Perturbazioni:
- Spostamenti di Posizione: I tassi di successo per OpenVLA e Pi0 scendono a zero non appena lo spostamento degli oggetti supera 0,2 unità. Anche il più robusto Pi0.5 degrada a zero oltre 0,4 unità.
- Sostituzione degli Oggetti: I modelli non riescono ad adattarsi quando gli oggetti target vengono sostituiti con elementi non correlati, eseguendo spesso prese sugli oggetti sbagliati.
- Corruzione delle Istruzioni: I modelli eseguono azioni nonostante ricevano istruzioni prive di significato (ad es. "fdsgfdsgsd"), indicando una mancanza di ancoraggio linguistico.
- Composizione del Compito: I modelli non riescono a combinare sottocompiti semplici in istruzioni complesse multi-step, affidandosi invece a frammenti di traiettoria spurii.
Differenze tra Modelli: Sebbene la maggior parte dei modelli fallisca gravemente, Pi0.5 ha mostrato una resilienza leggermente migliore in compiti specifici (ad es. tasso di successo 0,38 in libero-goal sotto cambiamenti di posizione contro 0 per gli altri), evidenziando differenze di capacità sottili mascherate dai benchmark standard.

Significato e Affermazioni

Il paper afferma che l'attuale "moneta corrente" della valutazione VLA (LIBERO) è fondamentalmente difettosa perché premia la memorizzazione piuttosto che la generalizzazione. Gli autori sostengono che le accuratezze riportate superiori al 90% non riflettono un reale ancoraggio percettivo o un ragionamento a livello di compito.

Il significato di LIBERO-PRO risiede nella sua capacità di fornire uno standard di valutazione più equo, fedele e riproducibile. Esponendo la dipendenza dei modelli attuali da correlazioni scorciatoia tra caratteristiche e azioni (ad es. layout canonici della scena e posizioni ricorrenti degli oggetti), gli autori invitano la comunità ad abbandonare metodologie fuorvianti. Promuovono protocolli di valutazione che incorporino perturbazioni strutturate per garantire che i progressi riportati siano allineati con i requisiti di un'intelligenza incarnata robusta e generalizzabile.