Riepilogo Tecnico: GuardVLA – Verso la Verifica della Proprietà Basata su Backdoor per Modelli Vision-Language-Action

1. Enunciato del Problema

I modelli Vision-Language-Action (VLA) abilitano il controllo robotico generalista mappando input multi-modali (linguaggio e visione) su azioni robotiche continue. Man mano che questi modelli diventano asset di proprietà intellettuale preziosi, richiedendo investimenti significativi in architettura, affinamento (fine-tuning) e dati, il loro rilascio aperto li espone a riutilizzo non autorizzato, modifica e distribuzione commerciale.

I metodi esistenti di verifica della proprietà dei modelli affrontano limitazioni critiche quando applicati ai VLA:

• Scarsa Separabilità delle Risposte: A differenza dei modelli visione-linguaggio standard che producono output semantici, i VLA generano azioni continue eseguibili. Politiche diverse spesso esibiscono comportamenti di successo altamente simili sullo stesso compito, rendendo difficile distinguere la proprietà basandosi su discrepanze a livello di risposta.
• Vincoli di Sicurezza: I metodi tradizionali basati su backdoor o le perturbazioni avversarie che inducono output anomali sono inadatti alla robotica, poiché potrebbero innescare comportamenti pericolosi durante la distribuzione.
• Robustezza: I meccanismi di verifica devono rimanere efficaci anche dopo che il modello ha subito affinamento o adattamento a valle.

La sfida principale è progettare un framework di verifica che fornisca prove di proprietà distinguibili senza compromettere le prestazioni normali del compito o indurre comportamenti robotici pericolosi.

2. Metodologia: GuardVLA

Gli autori propongono GuardVLA, il primo framework di verifica della proprietà basato su backdoor specificamente progettato per i VLA. Il framework opera su un meccanismo "swap-and-detect" (scambio e rilevamento), disaccoppiando l'esecuzione benigna dalla verifica in modalità trigger.

2.1. Incorporamento del Filigrana (Affinamento Sicuro)

Durante la fase di addestramento, GuardVLA incorpora un filigrana backdoor stealth e innocuo nel modello protetto:

• Iniezione Steganografica: Un messaggio segreto fisso ($m_s$) viene incorporato nelle osservazioni visive incarnate ($x_{ob}$) utilizzando un incorporatore di steganografia delle immagini pre-addestrato ($E_\phi$), creando un'osservazione filigranata $x_s = x_{ob} + \delta_s$.
• Affinamento Sicuro: Il modello protetto ($M_w$) viene affinato su queste osservazioni filigranate utilizzando la perdita (loss) del compito standard. Questo incorpora il pattern backdoor nei parametri del modello senza alterarne il comportamento su input puliti.
• Modelli Ausiliari: Per supportare il rilevamento, vengono addestrati due modelli ausiliari:
  • Un Modello Pulito ($M_c$) affinato su dati originali e non modificati.
  • Un Modello Rumoroso ($M_r$) affinato su dati con messaggi segreti casuali e non target ($m_r$).

2.2. Co-addestramento del Proiettore Trigger e del Classificatore

Per abilitare il rilevamento senza alterare il comportamento benigno del modello distribuito, GuardVLA addestra moduli esterni:

• Proiettore Trigger ($P_t$): Sostituisce il proiettore standard durante la verifica. Mappa le caratteristiche visive su token sensibili al filigrana incorporato.
• Testa del Classificatore ($H_c$): Sostituisce l'esperto di azione standard durante la verifica per outputare le probabilità di proprietà.
• Obiettivo di Addestramento: Questi moduli sono addestrati utilizzando una Triplet Loss per strutturare lo spazio delle rappresentazioni (avvicinando le rappresentazioni pulite e rumorose mentre spinge via la rappresentazione filigranata) e una Binary Cross-Entropy Loss per classificare il modello filigranato come positivo e gli altri come negativi.

2.3. Protocollo di Verifica Swap-and-Detect

La verifica della proprietà avviene in due modalità distinte:

1. Modalità Benigna (Test delle Prestazioni): Il modello utilizza i suoi componenti originali ($P_b, H_a$) per eseguire i compiti. Viene misurato il Tasso di Successo (SR) per garantire che il modello non si sia bloccato o degradato significativamente.
2. Modalità Trigger (Rilevamento Filigrana): Se il modello supera il test delle prestazioni, il proiettore interno e la testa di azione vengono scambiati con il Proiettore Trigger addestrato ($P_t$) e la Testa del Classificatore ($H_c$). Il modello elabora gli stessi input e il classificatore outputa una Confidenza di Identificazione del Filigrana (WIC).
   • Se $WIC \ge \tau_{wic}$, il modello è identificato come una copia del modello protetto.
   • Se $WIC < \tau_{wic}$, il modello è considerato non filigranato.

3. Contributi Chiave

1. Framework GuardVLA: Il primo framework di verifica della proprietà basato su backdoor su misura per i VLA, che incorpora un filigrana innocuo durante l'addestramento che rimane inattivo durante la distribuzione standard.
2. Meccanismo Swap-and-Detect: Una strategia di verifica innovativa che disaccoppia esplicitamente l'esecuzione benigna dalla verifica in modalità trigger. Ciò garantisce che le prove di proprietà vengano attivate solo durante l'audit, prevenendo comportamenti pericolosi durante il normale funzionamento robotico.
3. Robustezza e Fedeltà: Esperimenti estensivi dimostrano che GuardVLA preserva le prestazioni del compito a valle (fedeltà) mantenendo un'alta rilevabilità del filigrana anche dopo l'adattamento del modello post-rilascio (affinamento) e sotto vari attacchi di soppressione.

4. Risultati Sperimentali

Gli autori hanno valutato GuardVLA su tre architetture VLA rappresentative (OpenVLA-OFT, VLA-Adapter e $\pi_{0.5}$) utilizzando la suite di benchmark LIBERO.

• Fedeltà del Modello: GuardVLA ha preservato o leggermente migliorato i tassi di successo del compito (SR) rispetto ai modelli puliti. Ad esempio, OpenVLA-OFT filigranato ha raggiunto il 99,4% di SR sulla suite Object (contro il 98,2% pulito), e VLA-Adapter è migliorato dall'89,8% al 93,4% su LIBERO-10.
• Rilevabilità del Filigrana: In modalità trigger, i modelli filigranati hanno costantemente ottenuto punteggi WIC superiori al 99,8%, mentre i modelli puliti e rumorosi sono rimasti sotto lo 0,1%. Ciò indica una chiara separazione tra modelli protetti e non protetti.
• Robustezza all'Adattamento:
  • Affinamento Cross-Dataset: Quando un modello filigranato addestrato su LIBERO-10 è stato affinato su LIBERO-Spatial, il WIC è rimasto vicino al 100% per tutto il processo di adattamento.
  • Affinamento Cross-Method: Anche quando affinato con input visivi ridotti (vista singola vs. vista doppia), il filigrana è rimasto rilevabile.
• Resistenza alla Soppressione: Il framework ha resistito alla quantizzazione dei pesi (INT4), alla distillazione della conoscenza e ad attacchi adattivi invarianti al proiettore. In tutti i casi, il WIC è rimasto vicino al 100%, mentre gli attacchi hanno spesso degradato le prestazioni del compito (SR), suggerendo che la rimozione del filigrana compromette l'utilità.
• Estensione a Livello di Comportamento: Gli autori hanno dimostrato che la proprietà può essere verificata anche tramite pattern distintivi di movimento dell'effettore finale indotti dal trigger, fornendo un segnale di verifica interpretabile a livello di comportamento.

5. Significato e Affermazioni

Il documento afferma che GuardVLA colma una lacuna critica nella distribuzione dei VLA open-source fornendo un metodo affidabile, sicuro e robusto per la verifica della proprietà.

• Sicurezza Prima di Tutto: A differenza dei precedenti metodi backdoor che potrebbero indurre azioni errate, GuardVLA garantisce che il filigrana sia dormiente durante il normale funzionamento, preservando la sicurezza e l'utilità della politica robotica.
• Persistenza: Il filigrana è progettato per persistere attraverso l'affinamento a valle, uno scenario comune nell'adattamento VLA, garantendo che le rivendicazioni di proprietà rimangano valide anche dopo che il modello è stato adattato a nuovi compiti o ambienti.
• Praticità: Il framework opera sotto un modello di minaccia realistico in cui il verificatore ha accesso limitato (basato su interfaccia) piuttosto che ai pesi completi del modello, e il processo di verifica non richiede l'esposizione di dati di addestramento privati.

Gli autori concludono che GuardVLA abilita una condivisione responsabile dei modelli consentendo agli sviluppatori di tracciare l'uso non autorizzato senza ostacolare la ricerca e l'adattamento benigni, sostenendo così un ecosistema sostenibile per l'intelligenza incarnata.