Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

Sintesi Tecnica: Dove i Flussi Rettificati Perdono Informazioni: Caratterizzazione dei Segnali di Membership lungo il Percorso di Interpolazione

Problematica
L'impiego di modelli generativi, in particolare i Flussi Rettificati (utilizzati in sistemi come FLUX.1, VoiceBox e Stable Audio Open), solleva significative preoccupazioni legali e di privacy riguardanti la ritenzione dei dati di addestramento. Mentre la ricerca esistente si concentra sulla riproduzione letterale, i modelli possono codificare segnali di "membership" più sottili — asimmetrie misurabili in cui il modello tratta i dati di addestramento in modo diverso rispetto ai dati non utilizzati per l'addestramento (held-out), senza esplicitarne la riproduzione. Questi segnali spesso rimangono non rilevati dai consueti parametri di addestramento (ad esempio, le curve di perdita), che possono non mostrare segni di overfitting. La specifica posizione e la natura strutturale di questi segnali all'interno del percorso di interpolazione dei Flussi Rettificati rimangono teoricamente non caratterizzate, specialmente se confrontate con le traiettorie di denoising iterativo dei modelli di diffusione.

Metodologia
Gli autori propongono un framework teorico ed sperimentale per caratterizzare i segnali di membership lungo il percorso di interpolazione lineare $X_\lambda = (1-\lambda)X_0 + \lambda X_1$, che definisce l'addestramento dei Flussi Rettificati.

1. Framework Teorico:

   • Decomposizione: La perdita di addestramento viene scomposta in errore di approssimazione, varianza irriducibile e un termine di cross-correlazione $G_{train}(\lambda)$. Gli autori identificano $G_{train}(\lambda)$ come il segnale di membership, che rappresenta la correlazione tra la deviazione del modello dal predittore ottimale e i residui specifici dell'addestramento.
   • Assunzioni Gaussiane: Sotto l'assunzione che la distribuzione del rumore $X_0$ e la distribuzione dei dati $X_1$ siano indipendenti e Gaussiane (con le rispettive covarianze $\Sigma_0$ e $\Sigma_1$), gli autori derivano un'espressione in forma chiusa per la posizione $\lambda^*_F$ dove il segnale di membership raggiunge il picco. Tale picco si verifica dove la cross-covarianza tra lo stato interpolato e la velocità è minimizzata.
   • Meccanismo: Il segnale raggiunge il picco a $\lambda^*_F$ perché la componente lineare della predizione svanisce in quel punto. Il modello deve quindi fare affidamento su caratteristiche non lineari per spiegare il target, portando a una competizione tra l'apprendimento di non linearità generalizzabili e l'adattamento ai residui specifici del campione (memorizzazione).

2. Protocollo Sperimentale:

   • Rilevamento: Per un dato campione $x_1$, gli autori interpolano con il rumore $x_0$ a diversi valori di $\lambda$, predicono la velocità, ricostruiscono $x_1$ e misurano l'Errore Quadratico Medio (MSE).
   • Metrica: Calcolano un gap train-test normalizzato $\Delta_{norm}(\lambda)$ per isolare il segnale di membership.
   • Validazione: Gli esperimenti sono stati condotti su dataset audio (MAESTRO v3, MTG-Jamendo, FMA Large) e immagini (CelebA) utilizzando vari spazi latenti (Music2Latent, Stable Audio VAE, Stable Diffusion VAE), architetture (Transformer, UNet) e capacità del modello.

Contributi Chiave

• Caratterizzazione del Segnale: Il documento dimostra che il gap di ricostruzione train-test nei Flussi Rettificati segue una curva universale a forma di campana su $\lambda$. Il segnale è minimo ai confini ($\lambda=0, 1$) e massimo in un punto intermedio.
• Predizione in Forma Chiusa: Una derivazione teorica fornisce un'espressione in forma chiusa per la posizione del picco $\lambda^*_F$ basata sulle covarianze dei dati e del rumore:
  $$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$$
  Questa predizione è accurata quando le assunzioni gaussiane isotrope sono soddisfatte (ad esempio, negli spazi latenti audio).
• Accumulo Silenzioso: Lo studio mostra che questo segnale di membership si accumula durante tutto l'addestramento, anche mentre le perdite di validazione diminuiscono e i classici diagnostici indicano un apprendimento sano. Il segnale è mascherato dalla media spaziale su $\lambda$ nei protocolli di addestramento standard.
• Attacco di Inferenza sulla Membership (MIA): Come prova di concetto, gli autori sfruttano la struttura risolta in $\lambda$ dell'errore di ricostruzione. Alimentando un semplice classificatore MLP con la curva completa (o un vettore di errori attraverso $\lambda$), ottengono un AUC significativamente più alto (0.91 su MAESTRO) rispetto ad attacchi ingenui che utilizzano un singolo punto $\lambda$ (0.67) o metodi adattati alla diffusione.

Risultati

• Universalità: La struttura a campana del gap train-test appare universalmente in tutte le configurazioni testate, inclusi diversi tipi di dati (audio/immagine), architetture (Transformer/UNet) e spazi latenti, anche quando le assunzioni teoriche (Gaussianità/isotropia) sono violate (es. CelebA).
• Accuratezza del Picco: Quando le assunzioni gaussiane isotrope sono soddisfatte (dataset audio con Music2Latent o Stable Audio VAE), la posizione del picco osservata corrisponde al valore teorico $\lambda^*_F$ entro la risoluzione della griglia. Quando le assunzioni sono violate (CelebA con SD VAE), la forma a campana persiste, ma la posizione del picco devia dalla predizione in forma chiusa.
• Fattori che influenzano l'Entità: La posizione del picco è governata esclusivamente dalla geometria dei dati ($\Sigma_0, \Sigma_1$) ed è indipendente dall'architettura o dalla capacità del modello. Tuttavia, l'entità del segnale aumenta con la capacità del modello ed è amplificata dagli scheduler di campionamento $\lambda$ log-normali che concentrano l'addestramento vicino al picco.
• Reflow: Esperimenti preliminari suggeriscono che la procedura di "reflow" (che raddrizza iterativamente le traiettorie) preserva la forma a campana ma attenua sostanzialmente l'entità del segnale, offrendo potenzialmente una mitigazione naturale.

Significato e Rivendicazioni
Il documento sostiene di fornire la prima base teorica su dove e perché i segnali di membership si concentrano nei Flussi Rettificati, andando oltre l'osservazione empirica.

• Rischio di Privacy: Stabilisce che le metriche di addestramento standard sono insufficienti per rilevare la memorizzazione nei Flussi Rettificati, poiché il segnale si accumula silenziosamente. La natura strutturata della perdita la rende altamente sfruttabile per gli Attacchi di Inferenza sulla Membership.
• Implicazioni Difensive: Gli autori suggeriscono che, poiché la posizione del picco è prevedibile e indipendente dall'architettura, i meccanismi di preservazione della privacy (ad esempio, regolarizzazione o iniezione di rumore) potrebbero essere mirati specificamente a $\lambda^*_F$ anziché essere applicati uniformemente.
• Efficienza dell'Addestramento: Il picco $\lambda^*$ corrisponde al punto in cui la predizione è più difficile (equilibrio tra rumore e dati). Gli autori notano che gli scheduler che concentrano l'addestramento vicino a questo punto migliorano la convergenza (come visto in SD3) ma contemporaneamente amplificano la fuga di informazioni sulla privacy, evidenziando un fondamentale compromesso tra efficienza dell'addestramento e privacy.

Il lavoro è presentato come una prova di concetto in un contesto white-box, riconoscendo che modelli di minaccia più forti (accesso black-box) e gli effetti della generazione condizionale (prompt testuali) rimangono questioni aperte per esplorazioni future.