Riepilogo Tecnico: Addestramento con Guida Supervisionata per Modelli di Diffusione in Spazi a Dimensionalità Infinita

Enunciato del Problema

I problemi inversi, in particolare quelli derivanti da equazioni differenziali alle derivate parziali (PDE), richiedono spesso l'inferenza di parametri sconosciuti che esistono in spazi funzionali a dimensionalità infinita. Nel quadro bayesiano, l'obiettivo è campionare da una distribuzione a posteriori su queste funzioni, condizionata da osservazioni rumorose. Sebbene i modelli di diffusione basati sul punteggio (SDM) siano stati recentemente estesi a spazi funzionali a dimensionalità infinita per fungere da priori espressivi, la teoria per condizionare questi modelli al fine di campionare dalla distribuzione a posteriori rimane un problema aperto.

Le tecniche di condizionamento esistenti a dimensionalità finita, come la trasformazione $h$ di Doob, si basano su decomposizioni di densità e operatori di transizione che non si traducono direttamente in dimensioni infinite. Le sfide includono la non esistenza di densità di Lebesgue, la potenziale singolarità delle misure (teorema di Feldman-Hájek) quando si spostano misure gaussiane al di fuori del loro spazio di Cameron-Martin, e la difficoltà di garantire la differenziabilità degli operatori di transizione negli spazi di Hilbert. Inoltre, discretizzare immediatamente i dati per applicare metodi a dimensionalità finita introduce errori dipendenti dalla risoluzione e limita la flessibilità del quadro teorico.

Metodologia

Fondamento Teorico: Trasformazione $h$ a Dimensionalità Infinita

Gli autori propongono un quadro rigoroso per il condizionamento di modelli di diffusione a dimensionalità infinita utilizzando un'estensione della trasformazione $h$ di Doob. Essi stabiliscono l'esistenza di un processo di diffusione condizionato in due scenari:

1. Scenario 1: La distribuzione a priori è supportata all'interno di una sfera dello spazio di Cameron-Martin del processo di Wiener utilizzato nell'SDE di diffusione.
2. Scenario 2: La priori è assolutamente continua rispetto a una misura gaussiana, con limiti specifici sulla funzione potenziale e sul suo gradiente.

In questi scenari, gli autori dimostrano che il processo condizionato a tempo inverso soddisfa un'equazione differenziale stocastica (SDE) in cui la deriva è modificata da un termine di guida. Nello specifico, dimostrano che la funzione di punteggio condizionata, $s_y(t, x)$, si decompone nel punteggio incondizionato, $s(t, x)$, e in un termine di guida, $C\nabla \log h_y(t, x)$:
$$s_y(t, x) = s(t, x) + C\nabla \log h_y(t, x)$$
Qui, $h_y$ è la trasformazione $h$ a dimensionalità infinita definita tramite il valore atteso condizionato del potenziale di verosimiglianza.

Addestramento con Guida Supervisionata (SGT)

Poiché il termine di guida $C\nabla \log h_y$ è intrattabile a causa della sua dipendenza dalla legge di transizione completa del processo a dimensionalità infinita, gli autori introducono l'Addestramento con Guida Supervisionata (SGT). Questo è un obiettivo di addestramento privo di simulazione progettato per apprendere direttamente il termine di guida.

• Obiettivo: Il metodo minimizza una perdita di corrispondenza del punteggio per il denoising. Invece di affidarsi al controllo stocastico ottimale basato su simulazione (che soffre di alta varianza e richiede il campionamento di traiettorie), l'SGT sfrutta il punteggio incondizionato noto $s(t, x)$ e la distribuzione congiunta di dati e osservazioni $(X_0, Y)$.
• Funzione di Perdita: La perdita è formulata per minimizzare la differenza tra il termine di guida appreso $u(t, x, y)$ e il termine di guida vero. L'obiettivo è:
  $$\mathbb{E} \left[ \left\| \frac{X_t - e^{-t/2}X_0}{1 - e^{-t}} + s(t, X_t) + u(t, X_t, Y) \right\|^2_K \right]$$
  dove $K$ è uno spazio di Hilbert scelto (ad esempio, lo spazio di Cameron-Martin).
• Parametrizzazione: Il termine di guida è parametrizzato utilizzando una rete neurale. Gli autori esplorano la precondizionamento dell'output della rete con l'operatore di covarianza $C$ a diversi gradi ($k \in \{0, 1/2, 1\}$) per imporre la regolarità e allinearsi alla struttura del rumore dell'SDE.

Approssimazioni e Confronti

Il documento analizza anche approcci euristici esistenti:

• Controllo Stocastico Ottimale (SOC): Sebbene teoricamente solido, il SOC richiede un addestramento basato su simulazione che è computazionalmente costoso e instabile nelle fasi iniziali dell'addestramento.
• Approssimazione di Tweedie (FunDPS): Gli autori estendono l'approssimazione FunDPS (che utilizza la formula di Tweedie per stimare i dati puliti) allo Scenario 2 (continuità assoluta), rilassando le ipotesi restrittive dei lavori precedenti. Tuttavia, notano che questo approccio comporta ancora un sovraccarico computazionale a causa della necessità di retropropagazione attraverso il modello di punteggio a ogni passo di discretizzazione.

Contributi Chiave

1. Estensione Teorica: Il documento fornisce la prima prova rigorosa che i modelli di diffusione a dimensionalità infinita possono essere condizionati tramite la trasformazione $h$ di Doob in scenari generali (supporto di Cameron-Martin o continuità assoluta), stabilendo la decomposizione del punteggio condizionato in un punteggio incondizionato e un termine di guida.
2. Addestramento con Guida Supervisionata (SGT): Gli autori propongono un nuovo algoritmo di addestramento privo di simulazione per apprendere il termine di guida intrattabile. Questo approccio evita l'alta varianza dei metodi basati su simulazione e il costo computazionale della differenziazione attraverso il modello di punteggio a ogni passo (come richiesto dalle approssimazioni basate su Tweedie).
3. Invarianza alla Risoluzione: Trattando il problema in dimensioni infinite e discretizzando solo nell'ultimo passo, il quadro offre un approccio invariante alla risoluzione per il condizionamento, evitando il degrado delle prestazioni spesso osservato quando si applicano architetture a dimensionalità finita a risoluzioni più elevate.
4. Generalizzazione di FunDPS: Il lavoro dimostra che le approssimazioni basate su Tweedie (FunDPS) valgono nello Scenario 2 (continuità assoluta) meno restrittivo, ampliandone l'applicabilità.

Risultati Sperimentali

Gli autori valutano l'SGT su tre problemi inversi bayesiani in spazi funzionali:

1. Osservazioni Sparse: Recupero di una funzione 1D da osservazioni puntuali rumorose.
2. Equazione del Calore: Recupero della distribuzione iniziale della temperatura di un'equazione del calore da osservazioni rumorose a un tempo successivo.
3. Inpainting di Forme: Ricostruzione di forme (cifra "3" da MNIST) da coefficienti di Fourier parziali (descrittori di Fourier ellittici).

Risultati:

• Prestazioni: L'SGT supera costantemente la linea di base euristica FunDPS in termini di Errore Quadratico Medio Radice (RMSE) e Punteggio Energetico (ES).
• Confronto con Diffusione Condizionata: L'SGT raggiunge un'accuratezza paragonabile a un modello di "diffusione condizionata" addestrato da zero (che funge da limite superiore), nonostante il modello condizionato sia significativamente più grande e addestrato per più passi.
• Robustezza: Negli esperimenti con modelli base incondizionati imperfetti (inizializzati casualmente o parzialmente addestrati), l'SGT dimostra una robustezza superiore, recuperando campioni realistici dove FunDPS fallisce completamente.
• Efficienza: L'SGT richiede meno parametri e passi di addestramento rispetto all'addestramento di un modello condizionato completo da zero, poiché addestra solo la rete di guida riutilizzando un modello incondizionato pre-addestrato.

Significato e Affermazioni

Il documento afferma di offrire il primo metodo nello spazio funzionale per il fine-tuning di modelli di diffusione addestrati per campionare accuratamente da una distribuzione a posteriori. Il significato risiede nel colmare il divario tra i requisiti teorici dell'inferenza bayesiana a dimensionalità infinita e l'implementazione pratica dei modelli di diffusione.

Gli autori sottolineano che il loro quadro consente:

• Invarianza alla Risoluzione: La capacità di generare campioni a risoluzioni diverse dai dati di addestramento senza degrado delle prestazioni.
• Stabilità: Un regime di addestramento stabile anche quando il modello incondizionato sottostante è imperfetto.
• Flessibilità: Opzioni alternative per discretizzazione, addestramento e funzioni di perdita che non sono vincolate da ipotesi di densità a dimensionalità finita.

Il lavoro conclude che l'apprendimento esplicito del termine di guida a dimensionalità infinita produce un'accuratezza superiore rispetto alle approssimazioni euristiche, fornendo una strada principiale per l'applicazione dei modelli di diffusione a problemi inversi complessi nella scienza e nell'ingegneria.