Riepilogo Tecnico: Il VLA Conosce Persino le Basi? Misurare la Ritenzione del Senso Comune e della Conoscenza del Mondo nei Modelli Vision-Language-Action

Definizione del Problema

I modelli Embodied Vision–Language–Action (VLA) sono tipicamente costruiti effettuando il fine-tuning di potenti Vision-Language Models (VLM) pre-addestrati su dati robotici. Sebbene questi modelli vengano spesso pubblicizzati come generalizzabili in mondi aperti, rimane poco chiaro quanta conoscenza del senso comune e fattuale essi mantengano dopo l'adattamento ai compiti di controllo. I paradigmi di valutazione attuali sono prevalentemente "centrati sulla manipolazione", focalizzandosi sui tassi di successo dei task nella navigazione o nella manipolazione di oggetti (ad es., LIBERO, CALVIN). Questi benchmark confondono i deficit di conoscenza con fallimenti nel controllo motorio di basso livello, nella percezione o nella pianificazione a lungo termine. Di conseguenza, non esiste un metodo rigoroso per determinare se un VLA abbia subito una perdita catastrofica della conoscenza del mondo presente nel suo VLM di origine, o se i fallimenti in task sensibili alla conoscenza siano semplicemente dovuti a una scarsa generalizzazione delle policy di controllo.

Metodologia: Act2Answer

Per affrontare l'ambiguità tra perdita di conoscenza e fallimento del controllo, gli autori introducono Act2Answer, un protocollo di valutazione leggero che adatta i benchmark di conoscenza dei VLM per i modelli VLA, richiedendo agli agenti di rispondere attraverso l'azione anziché tramite la generazione di testo.

Protocollo Core

• Selezione Basata sull'Azione: Invece di generare testo, ogni domanda viene convertita in un breve episodio simulato su un tavolo. L'agente riceve un'istruzione in linguaggio naturale e deve eseguire un'unica, semplice azione di posizionamento di un oggetto (spostare un cubo) per selezionare la risposta corretta tra immagini candidate disposte su un tavolo.
• Riduzione dei Confondimenti: Limitando il task a un singolo compito a breve orizzonte, il protocollo minimizza l'influenza del controllo motorio complesso, della pianificazione a lungo termine e della dinamica ambientale, isolando la capacità dell'agente di utilizzare la conoscenza per il processo decisionale.
• Soft Success Rate (SR): Le prestazioni sono misurate utilizzando un "Soft Success Rate", che tiene conto di una regione di tolleranza attorno alla risposta target. Questo metric distingue tra:
  1. Fallimento dell'Istruzione/Percezione: L'agente posiziona l'oggetto fuori dai limiti o sceglie costantemente l'opzione errata (SR < 0.5 - $\Delta$).
  2. Assenza di Conoscenza Utilizzabile Affidabile: L'agente ancora l'azione ma non riesce a selezionare l'opzione corretta, performando vicino al caso casuale (0.5 - $\Delta$ $\le$ SR $\le$ 0.5 + $\Delta$).
  3. Evidenza di Conoscenza Utilizzabile: L'agente riesce a sfruttare la conoscenza interna per orientare la selezione dell'azione verso il target corretto (SR > 0.5 + $\Delta$).

Curatela dei Dati

Gli autori hanno curato una suite di test di 1.720 domande binarie uniche suddivise in 12 categorie di conoscenza, derivate da esistenti benchmark per VLM (MLLM-CompBench, IconQA, MMBench, OK-VQA, VL-Think). Queste categorie sono raggruppate in sette ampi domini:

• Fisico: Attributi, stati, colore, forma, simmetria.
• Temporale: Tempo, conteggio.
• Quantitativo: Conteggio, magnitudo.
• Biologico: Distinzioni del mondo vivente.
• Sociale: Emozione, intenzione.
• Normativo: Regole del traffico, informazioni pubbliche.
• Culturale: Riconoscimento di celebrità.

Probing dell'Intento per Livello (Layerwise Intent Probing)

Per investigare dove la conoscenza viene mantenuta o persa all'interno dell'architettura del modello, gli autori impiegano il layerwise intent probing. Classificatori lineari vengono addestrati sugli stati nascosti di ogni layer del transformer (sia nel backbone VLM che nell'Action Expert) per predire la risposta corretta. Ciò consente di quantificare come l'informazione rilevante per la risposta sia distribuita e se si attenui mentre passa dalla rappresentazione semantica alla generazione dell'azione.

Contributi Chiave

1. Suite di Benchmark Act2Answer: Un protocollo controllato che converte i task di conoscenza dei VLM in episodi di selezione d'azione incarnati, consentendo il probing diretto del comportamento sensibile alla conoscenza senza dipendere dalla decodifica del testo.
2. Tassonomia Sistematica della Conoscenza: Un dataset curato che copre 12 categorie attraverso 7 domini, facilitando un'analisi granulare degli errori di senso comune e di conoscenza del mondo negli agenti incarnati.
3. Studio Empirico su Larga Scala: Una valutazione di 7 moderni modelli VLA (inclusi $\pi_0$, OpenVLA, Magma, SpatialVLA) rispetto a 9 forti baseline VLM, classificando sistematicamente le prestazioni attraverso i domini di conoscenza.
4. Analisi Architetturale: Introduzione del layerwise intent probing per localizzare l'informazione rilevante per la risposta, rivelando la dinamica interna della ritenzione della conoscenza rispetto alla generazione dell'azione.

Risultati

Lo studio rivela una disparità significativa tra le capacità dei VLM e quelle dei loro corrispettivi VLA:

• Gap Percettivo vs Semantico: I modelli VLA performano bene su categorie percettive semplici (es. Colore, Forma) ma mostrano cali di prestazione sostanziali su categorie semantiche più ricche (es. Emozione, Stato, Conteggio, Simmetria). Molti modelli VLA operano al livello o vicino al caso casuale in questi compiti complessi.
• Il Gap VLM-VLA: Confrontati con i loro VLM di origine in un contesto privo di azione, i modelli VLA mostrano un calo di prestazioni di circa 20–40 punti percentuali nella maggior parte dei domini di conoscenza. Ciò suggerisce che il fine-tuning per il controllo degrada significativamente l'accessibilità della conoscenza del mondo.
• Ruolo del Co-training VQA: I modelli addestrati con supervisione congiunta visione-linguaggio e robotica (es. Magma, Xiaomi-Robotics-R0) dimostrano una migliore ritenzione della conoscenza e prestazioni superiori nei task sensibili alla conoscenza rispetto ai modelli addestrati principalmente su dati robotici (es. OpenVLA, $\pi_0$).
• Collo di Bottiglia della Rappresentazione Interna: I risultati del probing indicano che l'informazione rilevante per la risposta è spesso presente nei layer intermedi del backbone VLM, ma si attenua significativamente nei layer superiori e nell'Action Expert. Ciò suggerisce un collo di bottiglia in cui il modello mantiene internamente l'informazione semantica ma non riesce a tradurla nella corretta selezione dell'azione.
• Impatto del Fine-tuning: Il fine-tuning successivo (SFT o RL) su dataset di pick-and-place non ha migliorato costantemente le prestazioni sensibili alla conoscenza e, in alcuni casi (es. Stato, Colore), ha portato a un ulteriore degrado, indicando un bias verso l'ottimizzazione specifica del task a scapito della conoscenza generale.

Significato e Assertività

L'articolo sostiene che l'attuale paradigma di semplice fine-tuning dei VLM su dati di robotica è insufficiente per creare agenti incarnati veramente general-purpose. Sebbene questi modelli mantengano la capacità di agire su segnali percettivi superficiali, spesso perdono la capacità di distinguere tra stati semantici complessi (es. una tazza "sporca" vs "pulita", o un essere umano "triste" vs "neutro").

Gli autori affermano che Act2Answer fornisce uno strumento diagnostico necessario per misurare questa "erosione della conoscenza". I risultati suggeriscono che le future architetture e gli obiettivi di addestramento devono dare esplicitamente priorità all'allineamento della comprensione semantica del backbone con le policy motorie apprese. Senza tale allineamento, gli agenti incarnati rimarranno limitati nella loro utilità in ambienti quotidiani dove l'azione corretta dipende da un ricco senso comune e dalla conoscenza del mondo, non solo dal controllo di basso livello. L'articolo conclude che prevenire l'erosione della conoscenza del mondo rimane una sfida aperta, che richiede strategie come il multi-task learning, la preservazione della rappresentazione o il decoupling architettonico tra conoscenza e componenti di controllo.