Riepilogo Tecnico: Modellazione Generativa da Corruzioni Black-box tramite Interpolanti Stocastici Auto-consistenti

1. Enunciato del Problema

In molti ambiti scientifici e ingegneristici, non sono disponibili campioni di dati puliti da una distribuzione target $\pi$. Al contrario, i ricercatori osservano solo misure corrotte $y$ generate attraverso una mappa diretta $y = \mathcal{F}(x)$, dove $\mathcal{F}$ è tipicamente un canale rumoroso, mal condizionato e potenzialmente non differenziabile. L'obiettivo è costruire un modello generativo per i dati puliti originali $\pi$ utilizzando esclusivamente il dataset corrotto $\{y_i\}$ e l'accesso black-box al simulatore diretto $\mathcal{F}$.

Questa attività costituisce un problema inverso a livello di distribuzioni: trovare una priori $\pi$ tale che l'immagine di $\pi$ attraverso l'operatore del canale $\mathcal{K}$ (associato a $\mathcal{F}$) sia uguale alla distribuzione osservata $\mu$ (cioè $\mathcal{K}\pi = \mu$).

Gli approcci esistenti presentano limitazioni significative:

• Metodi Empirical Bayes/EM: Richiedono una conoscenza esplicita della verosimiglianza $P(y|x)$ e un campionamento della posterior computazionalmente costoso, spesso necessitando di assunzioni restrittive come linearità e rumore gaussiano.
• Metodi basati sulla Diffusione: Tipicamente richiedono dati puliti per il pre-addestramento o la differenziabilità esplicita del modello diretto per calcolare i gradienti.
• Limitazioni attuali: La maggior parte dei metodi fallisce quando il modello diretto è non lineare, non differenziabile (ad esempio, compressione JPEG) o coinvolge rumore non gaussiano (ad esempio, rumore di Poisson).

2. Metodologia: Interpolanti Stocastici Auto-consistenti (SCSI)

Gli autori propongono gli Interpolanti Stocastici Auto-consistenti (SCSI), un framework che apprende una mappa di trasporto dai dati corrotti ai dati puliti utilizzando esclusivamente l'accesso black-box al processo diretto.

Concetto Fondamentale

Il metodo sfrutta gli Interpolanti Stocastici (SI), che definiscono un percorso continuo tra due distribuzioni tramite un'equazione differenziale stocastica (SDE) o un'equazione differenziale ordinaria (ODE). L'addestramento standard degli SI richiede coppie di campioni $(x_0, x_1)$ dalle distribuzioni pulita e corrotta. Poiché i campioni puliti non sono disponibili, SCSI introduce uno schema iterativo auto-consistente:

1. Inizializzazione: Iniziare con una mappa di trasporto iniziale parametrizzata da $\Theta^{(0)}$.
2. Aggiornamento Iterativo (Ottimizzazione a due livelli):
   • Ciclo Esterno (equivalente al passo E): Utilizzare la mappa di trasporto corrente $\Phi_{\Theta^{(k)}}$ per generare campioni "pseudo-puliti" $\hat{x} = \Phi_{\Theta^{(k)}}(y)$ dai dati corrotti $y \sim \mu$.
   • Simulazione Diretta: Passare questi campioni pseudo-puliti attraverso il modello diretto black-box per generare osservazioni simulate $\tilde{y} = \mathcal{F}(\hat{x})$.
   • Costruzione dell'Interpolante: Costruire un interpolante stocastico $I_t$ tra i $\hat{x}$ generati e i $\tilde{y}$ simulati (più rumore).
   • Ciclo Interno (equivalente al passo M): Addestrare i parametri di trasporto $\Theta$ per minimizzare la perdita standard degli SI (regressione ai minimi quadrati del campo di velocità e del denoiser) utilizzando l'interpolante costruito.
   • Aggiornamento: Aggiornare $\Theta^{(k)} \to \Theta^{(k+1)}$.

Condizione di Auto-consistenza

La procedura cerca un punto fisso $\Theta^*$ tale che la mappa di trasporto $\Phi_{\Theta^*}$ spinga la distribuzione corrotta $\mu$ verso una distribuzione $\pi_{\Theta^*}$ che, quando passata attraverso il canale diretto, riproduce la distribuzione corrotta originale:
$$\mathcal{K}(\Phi_{\Theta^*})_\# \mu = \mu$$
Se il canale è iniettivo a livello di distribuzione, questo punto fisso corrisponde alla vera distribuzione pulita $\pi$.

Efficienza e Implementazione

• Ciclo Interno Troncato: Per efficienza computazionale, l'ottimizzazione interna non viene eseguita fino alla convergenza; invece, vengono eseguiti un numero fisso di passi di gradiente ($T_{tr}$), inizializzando dai parametri dell'iterazione precedente.
• Compatibilità Black-box: Il metodo non richiede i gradienti di $\mathcal{F}$, né richiede una valutazione esplicita della verosimiglianza. Tratta $\mathcal{F}$ come un simulatore.
• Generazione Condizionata: Il framework si estende naturalmente alla generazione condizionata (ad esempio, quando la corruzione coinvolge una maschera o un kernel casuale) "elevando" lo spazio degli stati per includere le variabili latenti del processo diretto.

3. Analisi Teorica

Il documento stabilisce garanzie di convergenza sotto specifiche assunzioni:

• Iniettività: Il canale diretto $\mathcal{K}$ deve essere iniettivo sullo spazio delle misure di probabilità (cioè, $\mathcal{K}\pi = \mathcal{K}\pi' \implies \pi = \pi'$).
• Contrazione di Wasserstein: Sotto un'assunzione di stabilità di Lipschitz sulla mappa di trasporto inversa, lo schema converge linearmente nella metrica di Wasserstein ($W_2$) se la costante di Lipschitz $R < 1$.
• Contrazione della Divergenza KL: Per il caso SDE ($\epsilon > 0$), gli autori dimostrano la convergenza lineare nella divergenza di Kullback-Leibler (KL). Ciò si basa su un "numero di condizione" $\chi$ del problema inverso regolarizzato e su un'assunzione di Lipschitz sulla deriva dell'equazione di Fokker-Planck.
• Caso di Studio Gaussiano: Nel caso specifico di una priori gaussiana e Rumore Bianco Gaussiano Additivo (AWGN), gli autori derivano tassi di convergenza lineari espliciti. Dimostrano che il trasporto basato su ODE ($\epsilon=0$) offre un tasso di convergenza più veloce rispetto all'algoritmo EM (che corrisponde a una specifica scelta SDE con $\epsilon=1$), in particolare nei regimi a basso rapporto segnale-rumore (SNR).

4. Risultati Sperimentali

Gli autori valutano SCSI su tre categorie di compiti:

1. Modelli Sintetici a Bassa Dimensionalità:

   • Hanno dimostrato che SCSI basato su ODE è robusto ed efficiente dal punto di vista computazionale, mentre SCSI basato su SDE può essere più robusto al rumore elevato ma più sensibile agli iperparametri.
   • Hanno verificato i tassi di convergenza lineari nel contesto AWGN gaussiano.

2. Compiti di Imaging (CIFAR-10, CelebA):

   • Corruzioni Testate: Mascheratura casuale, sfocatura gaussiana, sfocatura da movimento (non lineare) e compressione JPEG (non lineare, non differenziabile).
   • Prestazioni: SCSI raggiunge una qualità di restauro (misurata tramite LPIPS, FID, PSNR) paragonabile o superiore a DPS (Diffusion Posterior Sampling), una linea di base forte che richiede pre-addestramento su dati puliti e gradienti del modello diretto.
   • Efficienza: SCSI è significativamente più efficiente dal punto di vista computazionale rispetto ai metodi di diffusione basati su EM (ad esempio, ~86 ore GPU contro 512 ore GPU per compiti comparabili).
   • Robustezza: SCSI gestisce con successo rumore non gaussiano (Poisson) e operatori non differenziabili (JPEG) dove i metodi basati su gradienti falliscono o richiedono approssimazioni.

3. Ricostruzione Scientifica (Spettri di Quasar):

   • Applicato al recupero degli spettri reali dei quasar da osservazioni telescopiche rumorose e a bassa risoluzione.
   • SCSI ha superato la linea di base del filtro di Wiener nel recupero di caratteristiche spettrali critiche (altezze e posizioni dei picchi) attraverso vari regimi di SNR e risoluzione.

5. Significato e Affermazioni

Il documento afferma il seguente significato per il framework SCSI:

• Flessibilità Black-box: A differenza dei metodi precedenti che richiedono modelli diretti espliciti e differenziabili, SCSI funziona con processi diretti arbitrari non lineari, non differenziabili e non gaussiani, purché possano essere simulati.
• Efficienza dei Dati: Elimina la necessità di dati di addestramento puliti, affidandosi esclusivamente alle osservazioni corrotte e a un simulatore.
• Garanzie Teoriche: Fornisce le prime garanzie di convergenza per uno schema di addestramento auto-consistente in questo contesto, stabilendo le condizioni sotto le quali la procedura iterativa converge alla vera distribuzione dei dati.
• Superiorità Pratica: I risultati empirici mostrano che SCSI eguaglia o supera le prestazioni di metodi che hanno accesso a dati puliti (per il pre-addestramento) o gradienti espliciti, risultando al contempo più efficiente dal punto di vista computazionale.
• ODE vs SDE: L'analisi e gli esperimenti suggeriscono che il trasporto basato su ODE (flusso di probabilità) offre spesso tassi di convergenza e stabilità superiori rispetto agli approcci basati su SDE, in particolare nei regimi a basso SNR.

Gli autori posizionano il loro lavoro come un'alternativa pratica e scalabile agli approcci Empirical Bayes e al controllo basato su modelli, tracciando un parallelo concettuale con l'apprendimento per rinforzo senza modello, dove le politiche sono ottimizzate attraverso l'interazione con un simulatore piuttosto che attraverso una conoscenza esplicita della dinamica del sistema.