Drifting Fields are not Conservative

1. Il Problema

I modelli di generazione basati sul drifting (o "campi di deriva"), introdotti recentemente da Deng et al. [2026], hanno ottenuto risultati promettenti nella generazione di campioni di alta qualità con un singolo passaggio in avanti (one-step inference). Il loro framework di addestramento formalizza l'ottimizzazione come il movimento iterativo dei campioni generati verso la distribuzione dei dati tramite un campo vettoriale di deriva ($V$).

Tuttavia, sorge una questione fondamentale: questo processo è equivalente all'ottimizzazione di una funzione di perdita scalare (loss function)?

• Nella maggior parte dell'apprendimento automatico, l'addestramento minimizza una perdita scalare, il che implica che il campo di aggiornamento è conservativo (cioè, è il gradiente di un potenziale scalare).
• Il paper dimostra che i campi di deriva utilizzati da Deng et al. non sono generalmente conservativi. Ciò significa che non possono essere scritti come il gradiente di alcuna funzione scalare.
• La causa di questa non-conservatività risiede nella normalizzazione dipendente dalla posizione ($Z(x)$) utilizzata nel campo di deriva. Questa normalizzazione introduce variazioni trasversali nell'intensità del campo (shear), generando un "rotore" (curl) non nullo.
• Sebbene i campi non conservativi siano teoricamente più generali (possono implementare flussi che nessun loss scalare può riprodurre), il paper indaga se questa generalità sia effettivamente necessaria per ottenere buone prestazioni pratiche.

2. Metodologia e Analisi Teorica

Gli autori analizzano la struttura matematica dei campi di deriva e propongono una riformulazione per ripristinare la proprietà conservativa senza sacrificare le prestazioni.

A. Identificazione della Causa della Non-Conservatività

Il campo di deriva $V_{p,q}$ è definito come la differenza tra un componente attrattivo (verso i dati reali $p$) e uno repulsivo (dai dati generati $q$), normalizzati da fattori $Z_p(x)$ e $Z_q(x)$ (che sono stime di densità kernel, KDE).

• Il campo non normalizzato è conservativo e corrisponde al gradiente di una perdita MMD (Maximum Mean Discrepancy) quadrata.
• La normalizzazione $1/Z(x)$ rompe la conservatività per la maggior parte dei kernel radiali (es. Laplaciano, Quadratico Razionale), rendendo il campo non esprimibile come gradiente di un potenziale.
• L'unico caso eccezionale è il kernel Gaussiano, dove la normalizzazione non distrugge la conservatività perché il campo risultante è esattamente il gradiente del logaritmo del rapporto tra le KDE.

B. Proposta: Kernel "Sharp" e Normalizzazione "Sharp"

Per estendere la conservatività a qualsiasi kernel radiale, gli autori introducono il concetto di Kernel Sharp ($k^\#$).

• Definizione: Il kernel sharp $k^\#$ è definito tale che il suo gradiente rispetto a $x$ sia proporzionale a $k(x,y)(y-x)$.
• Nuova Normalizzazione: Sostituendo la KDE standard con una KDE costruita utilizzando il kernel sharp ($Z^\#_p(x) = \mathbb{E}[k^\#]$), il campo di deriva normalizzato diventa conservativo.
• Risultato Teorico: Il nuovo campo di deriva normalizzato ($V^\#$) è esattamente il gradiente di una funzione scalare: il log-KDE loss.
  $$V^\#_{p,q}(x) = -\nabla_x \log \left( \frac{q_{KDE}[k^\#](x)}{p_{KDE}[k^\#](x)} \right)$$
  Questo permette di formulare l'addestramento come la minimizzazione di una perdita scalare ben definita, eliminando la necessità di costruire esplicitamente il campo vettoriale $V$ e di utilizzare operatori "stop-gradient" complessi.

C. Relazione con i Kernel "Flat"

Gli autori definiscono anche il kernel "flat" ($k^\flat$) come la derivata del kernel originale. Questo formalismo chiarisce la relazione tra i gradienti della perdita MMD e i campi di deriva, mostrando che la non-conservatività è un artefatto della scelta specifica della normalizzazione, non una proprietà intrinseca del meccanismo di trasporto.

3. Risultati Sperimentali

Gli autori hanno confrontato l'obiettivo originale di Deng et al. (Drifting) con la nuova formulazione basata sul log-KDE loss (Sharp-normalized) su dataset MNIST e Fashion-MNIST utilizzando modelli Transformer (DiT).

• Prestazioni Comparabili: I modelli addestrati con la normalizzazione "Sharp" (log-KDE loss) raggiungono prestazioni (FID, Precision, Recall) comparabili a quelle dei modelli addestrati con il campo di deriva originale.
  • Esempio: Su Fashion-MNIST, il kernel Gaussiano normalizzato (Sharp) ottiene un FID di 29.25, contro un FID di 61.37 per l'implementazione originale di Deng et al. (che in questo caso specifico ha mostrato instabilità o scarsa efficienza).
  • Il kernel Laplaciano Sharp (Laplace#) è leggermente inferiore al Laplaciano "Naive" (non normalizzato correttamente nell'originale), ma molto superiore all'implementazione originale di Deng.
• Implicazione Chiave: Il fatto che le prestazioni siano simili suggerisce che la componente non-conservativa del campo di deriva originale (quella che richiede la generalità dello stop-gradient) non contribuisce significativamente alla qualità della generazione.
• Comportamento nelle Code (Tail Behavior): La normalizzazione Sharp offre vantaggi teorici e pratici per kernel come il Laplaciano. Mentre il campo di deriva originale può crescere indefinitamente lontano dai dati, il campo Sharp rimane limitato (satura), offrendo un comportamento più stabile nelle regioni a bassa densità.
• Semplicità Implementativa: La riformulazione in loss scalare semplifica notevolmente il codice, rimuovendo la necessità di calcolare esplicitamente il campo vettoriale e permettendo l'uso di ottimizzatori standard.

4. Contributi Chiave

1. Dimostrazione Teorica: Si prova che i campi di deriva sono generalmente non conservativi a causa della normalizzazione dipendente dalla posizione, rendendo impossibile la loro derivazione da una singola funzione di perdita scalare (tranne che per il kernel Gaussiano).
2. Soluzione Matematica: Introduzione del kernel Sharp e della normalizzazione Sharp, che ripristinano la conservatività per qualsiasi kernel radiale, trasformando il problema di addestramento in una minimizzazione di perdita scalare (log-KDE loss).
3. Validazione Empirica: Dimostrazione che la flessibilità aggiuntiva offerta dai campi non conservativi non porta a guadagni pratici significativi nella generazione di immagini.
4. Semplificazione del Framework: Proposta di un metodo di addestramento più semplice, interpretabile e stabile, basato su gradienti scalari, che mantiene la qualità dei campioni.

5. Significato e Implicazioni

Questo lavoro ha un impatto significativo sulla comprensione teorica dei modelli generativi basati sul trasporto di massa (drifting models):

• Riduzione della Complessità: Suggerisce che la complessità concettuale e implementativa introdotta dai campi vettoriali non conservativi (e dagli operatori stop-gradient) è superflua. Si può tornare a un paradigma di ottimizzazione basato su loss scalari, più familiare e robusto.
• Interpretabilità: La nuova formulazione fornisce una metrica di progresso chiara (la diminuzione della loss log-KDE) e un potenziale scalare interpretabile, assente nel framework originale.
• Futuro della Ricerca: Apre la strada all'uso di funzioni di collegamento non lineari ($g$) per controllare il comportamento delle code del campo di forza, offrendo un nuovo grado di libertà per il design dei modelli generativi senza abbandonare la conservatività.

In sintesi, il paper smonta l'idea che la generalità dei campi non conservativi sia necessaria per l'alta qualità generativa, proponendo invece una riformulazione matematicamente elegante e praticamente efficace che rende i modelli "Drifting" più semplici da addestrare e analizzare.