Riassunto Tecnico: La Geometria della Memorizzazione

Definizione del Problema

I framework generativi a tempo continuo, come il Flow Matching, costruiscono percorsi di probabilità tra domini base e target ottimizzando campi di velocità dipendenti dal tempo. Sebbene la teoria del trasporto ottimo suggerisca traiettorie rettilinee in condizioni di ottimalità globale, le reti neurali addestrate empiricamente spesso sviluppano deformazioni di percorso non lineari e complesse, influenzate dall'architettura e dalle caratteristiche del dataset.

Una sfida critica in questo dominio è la diagnosi della memorizzazione generativa, in cui modelli ad alta capacità vanno in overfitting collassando gli spazi latenti continui su campioni discreti di addestramento. I metodi diagnostici esistenti sono prevalentemente estrinseci e dipendenti dai dati, basandosi su ricerche post-hoc dei vicini più prossimi rispetto a pool di addestramento o attacchi di inferenza dell'appartenenza. Questi approcci richiedono l'accesso ai dati di addestramento e a baseline esterne, il che ne limita l'utilità in scenari di auditing in cui la privacy dei dati o la loro disponibilità sono vincolate. Inoltre, tracciare la geometria interna di questi modelli tramite derivate spaziali esatte (ad esempio, la costruzione dell'intero Jacobiano spaziale) è computazionalmente proibitivo per modelli di immagini ad alta dimensionalità, poiché richiede $O(d)$ passaggi backward per una dimensione ambiente $d$.

Metodologia: Sensibilità Spettrale a Tempo Finito (FTSS)

Per affrontare queste limitazioni, il documento introduce la Sensibilità Spettrale a Tempo Finito (FTSS), indicata con $g(t)$. Si tratta di una metrica gradient-free, basata su forward-pass progettata per esporre la geometria dei modelli di flow matching tracciando il valore singolare root-mean-square (RMS) della matrice di transizione di stato.

Fondamenti Matematici

La FTSS è definita sulla propagazione di perturbazioni infinitesimali $\delta_t$ lungo una traiettoria governata dall'equazione differenziale ordinaria (ODE) $d x_t / dt = v_\theta(x_t, t)$.

1. Definizione: $g(t)$ misura la norma direzionale attesa della mappa di flusso $\phi_{t \to 1}$ agendo su perturbazioni isotrope sulla sfera unitaria $S^{d-1}$.
2. Interpretazione Spettrale: La Proposizione 2.2 stabilisce che $g(t)$ è direttamente equivalente al valore singolare RMS della matrice di transizione di stato $\Phi(1, t; x_t)$. Nello specifico, $g(t)^2$ rappresenta il valore singolare medio quadratico atteso:
   $$g(t)^2 = \frac{1}{d} \mathbb{E}_{x_t} \left[ \sum_{i=1}^d \sigma_i^2(t; x_t) \right]$$
3. Vantaggio rispetto ai Determinanti: A differenza del determinante dello Jacobiano, che può mascherare un collasso dimensionale se un asse si espande mentre un altro si contrae (ad esempio, $\sigma_1 \to 0, \sigma_2 \to \infty$), la FTSS aggrega lo spettro in modo additivo. Ciò garantisce che il collasso dimensionale locale non sia oscurato da espansioni outlier.
4. Limite di Entropia: Il documento deriva un limite superiore sull'entropia differenziale della distribuzione target generata, mostrando che un calo della FTSS globale $g(0)$ restringe fondamentalmente la capacità informativa della distribuzione generata.

Implementazione Computazionale

Per evitare il costo $O(d)$ della costruzione di uno Jacobiano denso, gli autori propongono l'Algoritmo 1, un estimatore Monte Carlo parallelizzato e gradient-free.

• Meccanismo: L'algoritmo inietta perturbazioni isotrope $\epsilon u$ in stati intermedi memorizzati (cached), le propaga fino al tempo terminale tramite simulazioni di traiettoria forward-pass, e calcola il guadagno RMS.
• Complessità: Il costo è $O(K \cdot T \cdot \text{Cost}(\phi))$, dove $K$ è il numero di traiettorie e $T$ è la dimensione della griglia temporale. Ciò richiede solo forward pass, rendendolo scalabile per modelli ad alta dimensionalità.

Contributi Chiave

1. Formalizzazione della FTSS: Il documento formalizza $g(t)$ come un osservabile geometrico intrinseco, provando la sua equivalenza al valore singolare RMS della matrice di transizione di stato e stabilendolo come un proxy continuo per il rango stabile (stable rank).
2. Limiti Teorici: Utilizzando la disuguaglianza media aritmetico-geometrica, gli autori pongono un limite superiore al determinante assoluto dello Jacobiano puntuale tramite il valore singolare RMS locale. Ciò porta alla prova di un limite superiore esplicito sull'entropia differenziale della distribuzione generata (Proposizione 2.5).
3. Rapporto di Collasso Spettrale ($M$): Gli autori definiscono una metrica $M := g_{\min} / g_{\min}^{\text{full}}$, dove $g_{\min}$ è il valore minimo di FTSS durante la generazione della traiettoria. Dimostrano che questo rapporto caratterizza la transizione dalla generalizzazione alla memorizzazione.
4. Audit Geometrico Interno: Il documento propone un framework (Algoritmo 2) che rileva la memorizzazione generativa utilizzando dinamiche di traiettoria puramente interne. Ciò elimina la necessità di query esterne di appartenenza o confronti con dati di baseline.

Risultati Empirici

Il documento presenta caratterizzazioni empiriche del collasso spettrale attraverso diverse dimensioni dei dati di addestramento, architetture di modelli e dataset.

• Fenomeno del Collasso Spettrale: Nei regimi di dati scarsi in cui i modelli memorizzano, la curva FTSS mostra un distinto "collasso spettrale" durante le fasi tardive della generazione della traiettoria ($t \to 1$). Il campo di velocità "stringe" il flusso ad alta dimensione dei percorsi verso una dimensione inferiore per raggiungere target di addestramento sparsi e discreti.
• Accuratezza Diagnostica: Il Rapporto di Collasso Spettrale $M$ identifica accuratamente i modelli a tempo continuo in overfitting. I modelli che generalizzano mantengono dimensioni effettive stabili (FTSS stabile), mentre l'overfitting causa un calo significativo di $g_{\min}$, portando a un valore di $M$ basso.
• Scalabilità: Il metodo esegue con successo l'audit di modelli in cui le diagnostiche basate su Jacobiani esatti sarebbero computazionalmente impraticabili.

Significato e Rivendicazioni

Il documento afferma che la FTSS fornisce una diagnostica intrinseca e scalabile per la memorizzazione generativa. Spostando l'attenzione dai confronti dei dati estrinseci alle proprietà geometriche interne, il framework permette di rilevare l'overfitting senza accesso al pool di addestramento. Gli autori postulano che la memorizzazione non sia un semplice artefatto statistico, ma una patologia strutturale della mappa di trasporto, caratterizzata dal collasso delle proprietà spettrali del flusso. Questo approccio offre una nuova prospettiva sull'auditing dei modelli generativi, collegando la geometria del campo di velocità direttamente alla capacità informativa e alla stabilità della distribuzione generata.