Sintesi Tecnica: Un Watermark per i Modelli Vision-Language-Action e World Action

Definizione del Problema

I modelli Vision-Language-Action (VLA) e i World-Action Models (WAMs) vengono sempre più impiegati come servizi black-box dove i pesi del modello rimangono privati, ma la policy viene eseguita tramite un'API o un pacchetto on-site. Questi modelli rappresentano una significativa proprietà intellettuale (IP) a causa dei dati proprietari e delle risorse computazionali necessarie per il loro addestramento. Una sfida critica sorge quando un partner o un avversario tenta di rivendere o ridistribuire una policy protetta senza il permesso del proprietario.

Le soluzioni di watermarking esistenti per le policy robotiche affrontano due limitazioni primarie:

1. Watermark basati su backdoor: Richiedono la modifica dei pesi del modello per attivare azioni specifiche. Sono difficili da estendere a scenari di identificazione multi-utente e possono essere indeboliti da successivi fine-tuning o behavior cloning.
2. Watermark basati sulla perturbazione dell'output: Incorporano segnali nel rumore di esplorazione dello stream di azioni. Tuttavia, poiché il segnale è concentrato in una stretta banda di frequenza dell'output, è facilmente rilevabile dagli avversari che possono applicare analisi spettrali e filtri stretti per rimuovere il watermark con un impatto minimo sulle prestazioni del compito.

Il problema centrale è progettare un meccanismo di watermarking che protegga la proprietà in un contesto black-box, supporti l'identificazione multi-key e rimanga robusto contro gli attacchi di rimozione sul lato output, senza degradare le prestazioni del compito.

Metodologia: Verifica della Provenienza Latente con Chiave (Keyed Latent-Provenance Verification)

Gli autori propongono la Verifica della Provenienza Latente con Chiave, un metodo in due fasi che incorpora l'evidenza di proprietà nel seed del rumore latente piuttosto che nell'output finale dell'azione.

1. Iniezione del Fingerprint

L'iniezione avviene prima che il modello generi un chunk di azione.

• Meccanismo: Il proprietario del modello sostituisce il seed del rumore gaussiano standard ($z_c$) estratto dal sampler con un seed "fingerprinted" ($z^{fp}_c$).
• Perturbazione con Chiave: Il seed fingerprinted è una combinazione lineare del rumore originale e di un vettore di riferimento con chiave ($r_c$):
  $$z^{fp}_c = \sqrt{1-\beta^2} z_c + \beta r_c$$
  dove $\beta$ controlla l'intensità dell'iniezione. Il vettore di riferimento $r_c$ è generato utilizzando un generatore di numeri pseudo-casuali avviato da una chiave segreta $k^*$, un nonce $\nu_e$ e l'indice del chunk.
• Invarianza Statistica: Fondamentalmente, il risultante $z^{fp}_c$ mantiene esattamente la stessa distribuzione Gaussiana ($N(0, I)$) del rumore originale. Ciò garantisce che lo stream di azioni non presenti un segnale additivo esplicito che un avversario potrebbe facilmente filtrare. La correlazione tra il seed e la chiave è nascosta all'interno del processo di generazione non lineare del modello.
• Iniezione Selettiva: Non tutti i chunk di azione vengono marcati. Un selettore con chiave determina quali chunk sono perturbati per limitare il disturbo del compito e prevenire che gli avversari identifichino chunk specifici "marcati" per una rimozione mirata.

2. Verifica del Fingerprint

La verifica è eseguita da un proprietario autorizzato che ha accesso alle azioni eseguite dal robot sospetto (che possono essere parziali o post-elaborate).

• Recupero MAP del Latente: Poiché il verificatore non può vedere il seed interno, deve recuperarlo dalle azioni osservate ($y_c$). Gli autori formulano questo problema come un'ottimizzazione Maximum A Posteriori (MAP). Il verificatore cerca un seed latente $\hat{z}$ che minimizzi l'errore tra l'azione predetta (generata da $\hat{z}$) e l'azione osservata, penalizzando al contempo le deviazioni dal prior Gaussiano. Questo approccio evita la necessità di indovinare canali di azione non osservati, un punto di fallimento dei metodi reverse-ODE usati nel watermarking delle immagini.
• Scoring Condizionato alla Chiave: Il seed recuperato viene confrontato con i riferimenti con chiave candidati utilizzando un filtro adattato (prodotto interno).
• Calibrazione e Aggregazione: Per gestire la variabilità tra compiti ed episodi, il verificatore valuta il sospetto rispetto a un database di chiavi "esca" (decoy) per normalizzare i punteggi (Z-score). L'evidenza da molteplici rollout (aggregazione di gruppo) viene sommata per prendere una decisione binaria finale sulla proprietà o per identificare la specifica chiave tra molteplità di candidati.

Contributi Chiave

1. Verifica della Provenienza Latente con Chiave: Un framework innovativo che marca le implementazioni di VLA e WAM modificando il seed del rumore latente, preservando la legge del rumore Gaussiano ed evitando segnali visibili sul lato output.
2. Design del Verificatore Black-Box: Un sistema di verifica capace di recuperare i seed latenti da comandi di azione parziali e post-elaborati tramite ottimizzazione MAP, supportando sia la verifica della proprietà binaria che l'identificazione multi-chiave.
3. Valutazione Esaustiva: Esperimenti estesi su due famiglie di policy ($\pi0.5$ e LingBot-VA) e due suite robotiche (LIBERO-10 e RoboTwin), valutando la robustezza contro attacchi sul lato output (clipping, smoothing, jitter, delay), varianti lato proprietario (LoRA, pruning, quantizzazione) e attacchi di fine-tuning adattivo.

Risultati Sperimentali

Il metodo è stato valutato su quattro combinazioni modello-robot. Le scoperte principali includono:

• Prestazioni del Compito: L'iniezione del watermark ha comportato cambiamenti trascurabili nei tassi di successo del compito (tipicamente entro pochi punti percentuali) e nella lunghezza degli episodi.
• Accuratezza della Rilevazione: In assenza di attacchi, il metodo ha ottenuto una rilevazione perfetta (TPR 1.00 a un tasso di Falsi Positivi dell'1%) in tutte le combinazioni aggregando 16 rollout.
• Robustezza agli Attacchi di Output: Il watermark è rimasto rilevabile sotto varie tipologie di attacchi di rimozione sul lato output. Sebbene uno smoothing o uno jitter aggressivo sulla combinazione $\pi0.5$/LIBERO-10 abbia ridotto i tassi di rilevamento, il metodo ha generalmente mantenuto un'alta robustezza. Gli autori notano che attacchi sufficientemente forti da rimuovere il watermark spesso degradavano significativamente le prestazioni del compito.
• Robustezza alle Varianti del Proprietario: Il fingerprint è sopravvissuto al fine-tuning LoRA, al pruning e alla quantizzazione. Nei casi in cui la compressione ha danneggiato il backbone del modello (riducendo il successo del compito), il fingerprint era comunque recuperabile dopo l'aggregazione.
• Identificazione: Il sistema ha identificato con successo la specifica chiave assegnata a una policy sospetta tra 33 candidati, raggiungendo un'alta accuratezza rank-1 dopo l'aggregazione.
• Analisi di Sicurezza:
  • Rischio di Chiave Falsa: La probabilità che una chiave casuale o indipendente superi la soglia è estremamente bassa (stimata empiricamente tra $10^{-3}$ e $10^{-9}$ a seconda della soglia).
  • Rimozione Adattiva: Gli attacchi white-box in cui un avversario effettua il fine-tuning della policy per minimizzare il punteggio del watermark hanno fallito nel rimuovere il fingerprint senza degradare severamente le prestazioni del compito.
  • Distillazione: Il behavior cloning (addestramento di uno studente sui dati di output del docente) ha rimosso con successo il watermark, poiché lo studente apprende la distribuzione delle azioni ma non l'invarianza della legge del rumore specifica del sampler del docente. Gli autori inquadrano questo come il confine dove il costo dell'evasione (addestrare un nuovo modello) diventa proibitivo.

Significato e Rivendicazioni

Il paper sostiene che la verifica della provenienza latente con chiave offre un meccanismo pratico e robusto per proteggere le policy generative robotiche private. Incorporando il watermark nel seed latente invece che nell'output, il metodo evita la vulnerabilità di "rimozione economica" tipica dei watermark basati sulla frequenza.

Gli autori sottolineano che le loro garanzie sono punti operativi empirici piuttosto che prove criptografiche. Il metodo è progettato per audit autorizzati e post-hoc dove il proprietario ha accesso al servizio sospetto. Il significato risiede nel permettere ai proprietari di rilevare la ridistribuzione non autorizzata delle loro policy anche quando i pesi sono nascosti e l'output è soggetto a standard processi di post-elaborazione dell'implementazione. Il lavoro evidenzia un compromesso: sebbene il watermark sia robusto contro la manipolazione dell'output e l'editing del modello, è vulnerabile alla distillazione, suggerendo che il costo dell'evasione si sposta dal semplice filtraggio all'oneroso processo di ri-addestramento di una nuova policy.