Riepilogo Tecnico: Marcatura a Livello Dinamico di Modelli di Flow Matching con Codici Casuali

1. Enunciato del Problema

Il documento affronta la necessità di una protezione della proprietà robusta e verificabile per i modelli generativi, in particolare i modelli Flow Matching. I paradigmi di marcatura esistenti soffrono di limitazioni specifiche:

• I metodi a livello di output incorporano segnali nei campioni generati ma possono essere rimossi tramite post-elaborazione e non dimostrano la proprietà del modello stesso.
• I metodi a livello di pesi incorporano bit nei parametri ma richiedono accesso in modalità white-box e sono fragili rispetto al fine-tuning o al pruning.
• I metodi a livello di comportamento (backdoor) supportano la verifica in modalità black-box ma spesso introducono artefatti visibili, irregolarità statistiche o mancano di una crittografia forte basata su chiavi (una volta trovato il trigger, la verifica è banale).

Inoltre, nessun lavoro precedente ha incorporato filigrane direttamente nelle dinamiche continue apprese (il campo di velocità) di un processo generativo. Gli autori pongono la domanda fondamentale: È possibile incorporare un messaggio multi-bit verificabile e basato su chiave direttamente nel campo di velocità di un modello di flow matching in modo che il rilevamento richieda solo accesso black-box, la qualità della generazione sia preservata e il recupero sia impossibile senza una chiave segreta?

2. Metodologia

Concetto Chiave: Codifica Casuale sulle Dinamiche di Trasporto

Gli autori formulano la marcatura come codifica casuale su un canale continuo. Invece di modificare pesi o output, trattano il campo di velocità appreso $v_\theta(x, t)$ come un canale continuo ad alta dimensionalità. Un messaggio viene incorporato aggiungendo una perturbazione dipendente dalla chiave a questo campo di velocità.

Costruzione del Segnale di Marcatura

Il segnale di marcatura $s_{K,m}(x, t)$ è costruito per soddisfare tre condizioni: media nulla nel tempo (per preservare la qualità), ortogonalità approssimata (per la separazione dei messaggi) e normalizzazione dell'energia.

• Chiave ($K$): È composta da una matrice di proiezione semi-ortogonale $P \in \mathbb{R}^{D \times k}$ e da un dizionario $C = \{c_m\}$ di vettori unitari in $\mathbb{R}^k$.
• Definizione del Segnale: Per un messaggio $m$, il segnale è definito come:
  $$s_{K,m}(x, t) = \sin(2\pi t) \cdot P c_m$$
  Qui, $P c_m$ incorpora la parola codice nello spazio delle velocità, mentre $\sin(2\pi t)$ agisce come un vettore portante temporale.
• Proprietà di Media Nulla: L'integrale di $\sin(2\pi t)$ su $t \in [0, 1]$ è zero. Di conseguenza, la perturbazione si integra a zero lungo qualsiasi traiettoria generativa, preservando teoricamente la distribuzione terminale dei campioni generati.

Procedura di Addestramento (Incorporamento)

Durante l'addestramento del Flow Matching, il modello è ottimizzato per minimizzare una funzione di perdita combinata:

1. Perdita di Velocità ($L_{vel}$): Regredisce la velocità del modello $v_\theta$ contro un target marcato $\tilde{v} = u + \epsilon_0 s_{K,m}$, dove $u$ è la velocità condizionale standard.
2. Perdita di Marcatura ($L_{wm}$): Un termine di regolarizzazione che premia il modello per la produzione di vettori di velocità la cui proiezione demodulata ($\sin(2\pi t) P^T v_\theta$) si allinea con la parola codice target $c_m$.

L'analisi teorica mostra che il predittore ottimale sotto questo obiettivo include una forza di marcatura effettiva di $\epsilon_0 + \lambda/2$.

Procedura di Rilevamento (Black-Box)

Il rilevamento richiede solo l'accesso tramite query al campo di velocità del modello.

1. Query: Il rilevatore campiona $N$ punti casuali $(x_i, t_i)$ e interroga il modello per le velocità $v(x_i, t_i)$.
2. Demodulazione Sincrona: Il rilevatore proietta le velocità nello spazio del codice latente ($P^T v$) e le moltiplica per il vettore portante temporale $\sin(2\pi t_i)$.
3. Media: I risultati sono mediati per stimare la firma $\hat{s}$.
4. Decodifica: Il messaggio viene recuperato trovando la parola codice $c_m$ nel dizionario che massimizza la correlazione con $\hat{s}$.

Sicurezza e Capacità

• Sicurezza: Senza la chiave segreta ($P$ e $C$), un attaccante si trova di fronte a un problema di ricerca in sottospazio sulla varietà di Grassmann $Gr(k, D)$ e a un problema di non identificabilità riguardo alla base del sottospazio. Sperimentalmente, il rilevamento con una chiave errata produce un'accuratezza al livello del caso.
• Capacità: La capacità del canale scala linearmente con la dimensione della proiezione $k$ e logaritmicamente con il numero di query $N$.

3. Contributi Chiave

1. Incorporamento a Livello Dinamico: Primo lavoro a incorporare filigrane direttamente nel campo di velocità continuo dei modelli di flow matching, anziché nei pesi o negli output.
2. Preservazione della Qualità: Progettazione di una perturbazione che si integra a zero lungo le traiettorie, garantendo che la distribuzione generata rimanga statisticamente indistinguibile dalla versione non marcata.
3. Sicurezza Basata su Chiave: Implementazione di uno schema in cui il rilevamento e il recupero del messaggio richiedono strettamente una chiave segreta (matrice di proiezione e dizionario); senza di essa, l'accuratezza scende a un indovino casuale.
4. Capacità Multi-bit: Utilizzo di una costruzione del dizionario per supportare messaggi multi-bit (oltre alla verifica binaria), abilitando applicazioni come l'identificazione del proprietario e il tracciamento dei traditori.
5. Validazione Sperimentale: Validazione del metodo su MNIST e CIFAR-10 utilizzando architetture MLP e UNet.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo in vari contesti (MNIST/CIFAR-10, MLP/UNet, diversi passi di addestramento).

• Accuratezza del Rilevamento: I modelli marcati hanno raggiunto il 100% di recupero del messaggio in tutte le configurazioni testate. I modelli puliti (non marcati) hanno prodotto lo 0% di falsi positivi (o il 2,5% in un caso specifico, al di sotto della linea di base dell'indovino casuale del 3,1%).
• Sicurezza Basata su Chiave: Gli attacchi che utilizzavano una matrice di proiezione casuale (chiave errata) hanno portato a 0/50 recuperi corretti, allineandosi al tasso di indovino casuale.
• Separazione Statistica: La separazione tra le firme dei modelli marcati e quelli puliti è stata significativa, con una separazione minima superiore a 8,4$\sigma$ (fino a 25,5$\sigma$ in alcuni contesti).
• Preservazione della Qualità: I rapporti della Fréchet Inception Distance (FID) tra modelli marcati e puliti sono rimasti vicini a 1,0$\times$ (variando da 0,95$\times$ a 1,10$\times$). In alcuni casi, i modelli marcati hanno mostrato un FID marginalmente inferiore, attribuito alla variazione casuale dell'addestramento piuttosto che alla marcatura stessa.
• Persistenza: Estendere l'addestramento a 10.000 passi non ha degradato il recupero della marcatura.

5. Significato e Affermazioni

Il documento afferma che la marcatura a livello dinamico fornisce una base robusta per:

• Verifica della Proprietà del Modello: Dimostrare la proprietà di un modello distribuito tramite query black-box.
• Tracciamento dei Traditori: Identificare copie specifiche di un modello distribuite a diversi clienti.
• Conformità Normativa: Verificare la provenienza dei modelli generativi.

Gli autori sottolineano che il loro approccio tratta il campo di velocità appreso come un canale di comunicazione continuo, una prospettiva che potrebbe avere utilità oltre la marcatura. Affermano esplicitamente che, sebbene il metodo mostri promesse, la valutazione su scala di distribuzione e l'analisi rigorosa della capacità del canale su campioni finiti sono lasciate a lavori futuri. Il documento non afferma di risolvere la marcatura per tutte le famiglie di modelli generativi, ma dimostra specificamente l'efficacia all'interno del framework Flow Matching.