Same Weights, Different Robot: A Deployment Safety View of VLA Policies

Sintesi Tecnica: Stessi Pesi, Robot Diverso

Definizione del Problema
Gli attuali modelli di deployment per le policy Vision-Language-Action (VLA) trattano il checkpoint della rete neurale (pesi, tokenizer, prompt) come l'unica unità di identità e di revisione della sicurezza della policy. Questo articolo sostiene che tale assunzione crei un critico "gap di sicurezza nel deployment". In pratica, un modello VLA produce coordinate di azione normalizzate, che devono essere trasformate in comandi per il controllore fisico tramite un passaggio di denormalizzazione dell'azione (action unnormalization). Questo passaggio si basa su metadati (ad esempio, statistiche di quantile specifiche per il dataset) per mappare i valori normalizzati nuovamente in unità fisiche.

Il problema centrale è che pesi identici possono istanziare diverse policy robotiche eseguibili se i metadati utilizzati per la denormalizzazione sono errati. Ad esempio, sostituire una chiave di metadati apparentemente plausibile (ad esempio, statistiche provenienti da una suite di task differente) risulta in una legge d'azione fisica differente, anche se l'output interno del modello rimane invariato. Ciò costituisce un "fallimento silenzioso dell'interfaccia" in cui gli audit di sicurezza certificano il checkpoint ma ignorano la reale policy eseguibile che raggiunge il controllore del robot.

Metodologia
Gli autori formalizzano la policy VLA non come un modello, ma come una tupla eseguibile $\Pi_{exec} = (f_\theta, I, Z, U_k, C)$, dove:

• $f_\theta$: Il modello appreso.
• $I$: Processori di immagini e linguaggio.
• $Z$: Rappresentazione dell'azione normalizzata.
• $U_k$: Il denormalizzatore dell'azione selezionato tramite la chiave di metadati $k$.
• $C$: Convenzioni del controllore (semantica della pinza, frequenza di controllo, ecc.).

Due deployment sono definiti eseguibilmente equivalenti solo se inducono la stessa legge d'azione fisica sotto tutte le storie ammissibili. L'articolo dimostra che cambiare $k$ (mantenendo costanti $f_\theta, I, Z, C$) rompe questa equivalenza.

Per rilevare ciò, gli autori derivano un trasformo di mismatch dei metadati a forma chiusa per i denormalizzatori di tipo quantile. Se un deployment utilizza una chiave prevista $k_c$ ma una chiave sostituita $k_w$, lo spostamento fisico dell'azione $\Delta_i$ per un'azione normalizzata $z$ sulla dimensione $i$ è:
$$\Delta_i(z; k_c, k_w) = (q^{(w)}_{01,i} - q^{(c)}_{01,i}) + z_i [ (q^{(w)}_{99,i} - q^{(w)}_{01,i}) - (q^{(c)}_{99,i} - q^{(c)}_{01,i}) ]$$
Questo trasforma è deterministico e indipendente dall'inferenza del modello. Sulla base di ciò, propongono ExecSpec, un certificato pre-rollout che misura la deriva semantica dello spazio d'azione (spostamento medio, spostamento della coda, attribuzione dell'asse) su un set di calibrazione senza richiedere inferenza del modello o rollout in simulazione.

Contributi Chiave

1. Criterio di Identità della Policy Eseguibile: L'articolo definisce un'identità di policy che include i metadati dello spazio d'azione, dimostrando che l'uguaglianza del checkpoint è insufficiente per l'uguaglianza della policy fisica.
2. Certificato a Forma Chiusa: Deriva un certificato esatto e indipendente dal modello per i mismatch di denormalizzazione di tipo quantile, consentendo il rilevamento della deriva semantica prima di qualsiasi movimento del robot.
3. Testimoni Empirici: Gli autori forniscono ampie prove di riproduzione attraverso quattro suite LIBERO (Goal, Spatial, Object, Long), dimostrando che le sostituzioni plausibili dei metadati sono sufficienti a invertire i tassi di successo dei task.

Risultati
Gli autori hanno condotto esperimenti utilizzando traiettorie normalizzate riprodotte (fissando l'output del modello e lo stato iniziale) per isolare l'effetto della sostituzione dei metadati.

• LIBERO-Goal: Utilizzando la chiave prevista GOAL-B, la sostituzione con LONG-V2 ha prodotto una deriva media di 0.199 su sei dimensioni non relative alla pinza. Ciò ha ridotto il successo del task da 28/28 (previsto) a 2/28 (sostituito). Una curva dose-risposta ha mostrato il successo scendere monotonicamente man mano che la chiave dei metadati interpolava dal valore corretto a quello errato.
• LIBERO-Spatial: La sostituzione di LONG-V2 per SPATIAL-V2 ha ridotto il successo da 26/26 a 0/26.
• LIBERO-Object & Long: Tutte le sostituzioni plausibili tra "sibling" hanno ridotto il successo a 0/28 (Object) o 0/23 (Long) in caso di sostituzione completa.
• Controlli: L'articolo esclude spiegazioni più semplici come il filtraggio no-op, artefatti di riproduzione raw vs corretti, mismatch delle convenzioni della pinza o corruzioni sintetiche. I fallimenti sono stati guidati specificamente dalle dimensioni d'azione non legate alla pinza dove le statistiche dei metadati differivano.

Significatività e Rivendicazioni
L'articolo rivendica una visione della sicurezza del deployment più ristretta: i metadati dello spazio d'azione sono una componente portante della policy eseguibile e devono essere versionati e controllati insieme ai pesi del modello.

• Non è un reclamo di fallimento generale: Gli autori dichiarano esplicitamente di non sostenere che tutti i deployment VLA falliscano sotto mismatch di metadati, né che la normalizzazione sia l'unico pericolo nascosto.
• Non è una garanzia di sicurezza hardware: I risultati si basano sulla riproduzione in simulazione e non certificano la sicurezza in loop chiuso o hardware. Non predicono i tassi di guasto dell'hardware.
• Insight Centrale: La significatività risiede nell'identificazione di uno strato semantico nascosto dello spazio d'azione. Se un deployment cambia il denormalizzatore mantenendo fisso il modello, cambia la policy eseguibile. Questo mismatch può essere rilevato tramite un certificato statico prima del rollout, impedendo il deployment di una policy che è semanticamente diversa da quella sottoposta ad audit.

L'articolo conclude che i manifest di deployment devono includere chiavi di denormalizzazione dell'azione, hash delle statistiche e convenzioni del controllore per garantire la riproducibilità e la sicurezza, trattando questi campi come parte integrante dell'oggetto policy piuttosto che come semplici dettagli di configurazione.