Unifying Generative Models with Path Integrals

Sintesi Tecnica: Unificazione dei Modelli Generativi tramite Integrali di Cammino

Enunciato del Problema
La modellazione generativa attualmente manca di un quadro teorico unificato. Architetture distinte — modelli di flusso normalizzanti (normalizing flows), modelli di diffusione, autoencoder variazionali (VAE) e reti avversarie generative (GAN) — sono tipicamente sviluppate all'interno di linguaggi matematici e paradigmi di addestramento separati. Da una prospettiva fisica, questa frammentazione è sorprendente, poiché la dinamica probabilistica è regolarmente descritta attraverso processi stocastici e integrali di cammino nella meccanica statistica e nella teoria quantistica dei campi (QFT). Gli studi esistenti hanno collegato sottoinsiemi di questi modelli (ad esempio, gli SDE basati sul punteggio che unificano lo score matching e la diffusione) o hanno estratto correzioni da integrali di cammino, ma nessun formalismo unifica l'intera famiglia di modelli sotto un'unica azione fornendo simultaneamente un'espansione perturbativa per le correzioni e un approccio sistematico alla progettazione delle architetture.

Metodologia
Il documento formula la modellazione generativa come un integrale di cammino su traiettorie latenti governate da un'azione di Onsager–Machlup. La metodologia procede attraverso tre sviluppi teorici principali:

1. Formulazione dell'Azione Maestra: Partendo dai modelli a variabili latenti, l'autore deriva un limite continuo in cui la densità dei dati è espressa come un integrale di cammino vincolato su traiettorie latenti che connettono un prior al tempo $t=1$ ai dati al tempo $t=0$. Il peso di ogni traiettoria è determinato dall'azione di Onsager–Machlup $S_{OM}[z]$, che dipende dal drift nel tempo inverso $f_{rev}$ e dal coefficiente di diffusione $g(t)$.
2. Rappresentazione MSRJD e Analogia con la Teoria dei Campi: L'azione viene ricasciata nella forma Martin-Siggia-Rose-Janssen-de Dominicis (MSRJD). Ciò introduce un campo di risposta ausiliario $\hat{z}$, separando la dinamica in una parte libera (lineare) e una parte interagente (non lineare). Questo permette di interpretare il trasporto generativo come un processo di scattering nello spazio latente, dove le non linearità nel drift agiscono come vertici di interazione.
3. Espansione Perturbativa: Utilizzando la teoria perturbativa diagrammatica, il kernel di transizione viene espanso in potenze della forza di diffusione $g^2$.
   • Livello Tree (Albero): Corrisponde al trasporto deterministico (normalizing flows).
   • Correzioni di Loop (Anello): Rendono conto delle fluttuazioni stocastiche. La prima correzione (one-loop) produce un allargamento della covarianza e uno spostamento della media (tadpole) derivante dalla curvatura del drift.
   • Score Imperfetti: I mismatch del punteggio appreso sono trattati come inserzioni diagrammatiche, portando a un obiettivo di score-matching pesato dalla risposta.
   • Vincoli di Simmetria: Il drift è trattato come un'espansione di teoria efficace dei campi (EFT), dove i requisiti di simmetria (ad esempio, l'equivarianza per permutazione) e il conteggio delle potenze organizzano la costruzione delle architetture di drift in un insieme finito di operatori con una gerarchia di accoppiamento predetta.

Contributi Chiave
Il documento presenta cinque contributi specifici:

1. Classificazione Unificata: Fornisce una derivazione autosufficiente mostrando che i modelli di flusso normalizzanti, i Continuous Normalizing Flows (CNF), i modelli di diffusione, il Conditional Flow Matching (CFM), i ponti di Schrödinger, i VAE e le GAN sono limiti distinti, casi speciali o principi di valutazione di un'unica azione maestra di Onsager–Machlup.
2. Riformulazione MSRJD: Ricascia l'azione maestra in forma MSRJD, identificando la separazione tra parte libera/interagente, i propagatori e un'espansione diagrammatica del kernel di transizione.
3. Correzioni di Loop per Campionatori Deterministici: Organizza la discrepanza tra i campionatori basati su drift deterministico e il processo inverso stocastico completo come un'espansione di loop. Al primo ordine di loop, deriva una correzione di covarianza a forma chiusa e uno spostamento della media tipo tadpole. Questi vengono calcolati integrando due equazioni differenziali ordinarie ausiliarie (equazioni di Lyapunov e di spostamento della media) insieme alla traiettoria deterministica, senza incorrere in costi di campionamento stocastico.
4. Addestramento Pesato dalla Risposta: Tratta gli score appresi imperfetti come inserzioni diagrammatiche, derivando un obiettivo di score-matching pesato dalla risposta dove il peso è determinato dal quadrato del propagatore di risposta.
5. Progettazione di Architetture Basata su EFT: Dimostra che il conteggio delle potenze EFT, combinato con i requisiti di simmetria, organizza la costruzione di architetture di drift equivarianti in un'enumerazione di operatori finita con una gerarchia di intensità di accoppiamento predetta.

Risultati
Il quadro teorico è validato attraverso studi numerici su drift sintetici per i quali sono disponibili risposte esatte:

• Teoria Libera (Ornstein-Uhlenbeck): Per drift affini, la correzione a un loop riproduce esattamente il secondo momento della distribuzione finale, validando la struttura del segno dell'equazione di Lyapunov e la formula osservabile.
• Drift Non Lineare (Cubico): Su un drift cubico monodimensionale, la correzione a un loop riduce l'errore di un campionatore deterministico dal 53% (livello tree) all'1,6% con una forza di diffusione moderata ($g^2=0.8$). L'errore residuo scala come $O(g^4)$, confermando la natura perturbativa dell'espansione.
• Drift Equivariante ad Alta Dimensionalità: In un sistema con invarianza per permutazione a 24 dimensioni, la correzione a un loop migliora significativamente l'accuratezza rispetto all'approssimazione tree-level, riducendo gli errori relativi da circa 40-80% a circa 1-13% a seconda della forza di diffusione.
• Caustiche e Stabilità: Il documento affronta la rigidità numerica vicino alle varietà di dati (caustiche) proponendo uno schema di propagazione ibrido che utilizza sia la matrice di covarianza $C$ che la sua inversa (matrice di precisione $P$) per mantenere la stabilità sia nei regimi di focalizzazione che di defocusing.

Significatività e Rivendicazioni
Il documento rivendica che questa formulazione interpreta la modellazione generativa come una "teoria dei campi efficace worldline" sullo spazio delle probabilità. La sua importanza primaria risiede nella:

• Unificazione: Fornire un'azione singola che classifica diversi modelli generativi, rivelando che le loro differenze derivano da come l'integrale di cammino viene valutato o approssimato piuttosto che da fondamenti probabilistici distinti.
• Controllo Analitico: Convertire gli errori del campionatore, le imperfezioni dello score e la progettazione dell'architettura in computazioni perturbative. Ciò consente il calcolo analitico della discrepanza principale tra campionamento deterministico e stocastico senza simulazione stocastica diretta.
• Architettura Sistematica: Trasformare la progettazione di architetture equivarianti da una ricerca empirica a un'enumerazione sistematica di operatori con previsioni falsificabili riguardanti le gerarchie di accoppiamento.

L'autore sottolinea che il lavoro è principalmente teorico; non sono state addestrate reti neurali su dati del mondo reale. Le validazioni numeriche servono a confermare la validità delle formule di loop su drift sintetici. Il quadro suggerisce che i lavori futuri potrebbero applicare queste correzioni di loop ai modelli di diffusione addestrati e utilizzare il conteggio delle potenze EFT per vincolare e migliorare le architetture di reti neurali per compiti generativi.