Riepilogo Tecnico: Campionamento per Combinazione di Rumore per Problemi Inversi Lineari

1. Enunciato del Problema

I modelli di diffusione preaddestrati (DM) hanno dimostrato un potenziale significativo nel risolvere problemi inversi (ad esempio, inpainting di immagini, deblurring, super-risoluzione e imaging scientifico) in modalità zero-shot, incorporando informazioni di osservazione nel processo di generazione. Tuttavia, i metodi esistenti affrontano un dilemma intrinseco:

• Integrazione Eccessiva: L'iniezione aggressiva di vincoli di osservazione può interrompere il processo generativo, spingendo la traiettoria di campionamento fuori dalla varietà dei dati appresa e causando instabilità.
• Integrazione Insufficiente: Un'integrazione debole non riesce a imporre adeguatamente i vincoli imposti dal problema inverso, portando a una scarsa qualità di ricostruzione.

Le soluzioni attuali spesso fanno affidamento su complesse regolazioni degli iperparametri, lunghi programmi di campionamento o approcci di inferenza variazionale che richiedono ricerche costose su più parametri per compensare queste limitazioni. Inoltre, mentre metodi come i Modelli di Codice di Diffusione per Rimozione del Rumore (DDCM) offrono una compressione efficiente, spesso si basano su ricerche greedy con complessità computazionale esponenziale quando combinano più vettori di rumore.

2. Metodologia: Campionamento per Combinazione di Rumore (NCS)

Gli autori propongono il Campionamento per Combinazione di Rumore (NCS), un framework che approssima il punteggio di misura $\nabla_{x_t} \log p(y | x_t)$ sintetizzando un vettore di rumore ottimale da un sottospazio di rumore, anziché modificare esplicitamente l'aggiornamento di rimozione del rumore con gradienti esterni.

Meccanismo Principale

Nei Modelli Probabilistici di Diffusione per Rimozione del Rumore (DDPM) standard, l'aggiornamento inverso è:
$$x_{t-1} = \mu(x_t, t) + \sigma_t \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, I)$$
Per la generazione condizionata, il termine di rumore $\epsilon_t$ viene sostituito da un vettore di rumore sintetizzato $\epsilon^*_t$ che si allinea con la direzione del punteggio condizionato. NCS vincola $\epsilon^*_t$ allo span di un insieme finito di vettori di rumore Gaussiano (un "codice di rumore") $\{\epsilon^i_t\}_{i=1}^K$:
$$\epsilon^*_t = \sum_{i=1}^K \gamma_i \epsilon^i_t$$
L'obiettivo è trovare i pesi di combinazione $\gamma$ che massimizzano l'allineamento tra il rumore sintetizzato e la direzione del punteggio condizionato $c = \nabla_{x_t} \log p(y | x_t)$.

Formulazione Teorica

Invece di ottimizzare direttamente la similarità del coseno, NCS adotta un obiettivo surrogato basato sul prodotto interno, che ammette una soluzione in forma chiusa computazionalmente efficiente.

• Ottimizzazione: Massimizzare $\langle c, \sum \gamma_i \epsilon^i_t \rangle$ soggetto a $\|\gamma\|_2 = 1$.
• Soluzione in Forma Chiusa: Sia $E_t = [\epsilon^1_t, \dots, \epsilon^K_t]$. I pesi ottimali sono:
  $$\gamma^* = \frac{E_t^\top c}{\|E_t^\top c\|_2}$$
  Questa formulazione permette di incorporare naturalmente le informazioni condizionali nel componente di rumore, preservando la struttura di rimozione del rumore e mantenendo la traiettoria sulla varietà appresa.

Relazione con Metodi Esistenti

NCS unifica diversi solver plug-and-play esistenti (DPS, MPGD, $\Pi$GDM, DAPS) come casi speciali di combinazioni ottimali di rumore.

• Connessione con DDCM: Gli autori dimostrano che DDCM è un caso speciale di NCS in cui i pesi di combinazione sono vincolati a essere one-hot (selezionando esattamente un vettore di rumore). NCS generalizza questo aspetto permettendo combinazioni lineari di più vettori.
• Complessità: Mentre DDCM si basa sulla ricerca greedy per combinazioni multi-vettore (complessità esponenziale), NCS raggiunge prestazioni competitive con complessità lineare $O(K)$ tramite la soluzione in forma chiusa.

Selezione dei Parametri

Il documento analizza la scalatura del Rapporto Segnale-Rumore (SNR) del rumore sintetizzato. Suggerisce di scegliere la dimensione del codice $K \approx \sqrt{n}$, dove $n$ è la dimensione effettiva dello spazio di misura (spesso $n \ll d$ per problemi mal posti). Questa scalatura garantisce una guida efficace mantenendo al contempo la struttura simile a quella Gaussiana del rumore.

3. Contributi Chiave

1. Nuovo Framework: Introduzione di NCS, che formula l'approssimazione del punteggio di misura come un problema di minimizzazione del prodotto interno con soluzione in forma chiusa, abilitando un controllo condizionato stabile senza regolazione passo-passo degli iperparametri.
2. Unificazione Teorica: Dimostrazione che NCS unifica i solver esistenti per problemi inversi (DPS, MPGD, ecc.) e generalizza DDCM. Dimostra che DDCM è un caso speciale di NCS sotto un vincolo one-hot.
3. Efficienza nella Compressione: Applicazione di NCS alla compressione generativa di immagini, mostrando che raggiunge una qualità di quantizzazione competitiva con complessità temporale lineare nel numero di vettori di rumore $m$, superando significativamente la ricerca greedy di DDCM.
4. Robustezza e Prestazioni: Estesi esperimenti che mostrano come NCS migliori le prestazioni su diversi problemi inversi e regimi di campionamento, in particolare in impostazioni a basso numero di passi ($T < 100$), con un sovraccarico computazionale trascurabile (meno del 4% di aumento nel tempo di inferenza).

4. Risultati Sperimentali

Gli autori hanno valutato NCS su compiti di ripristino di immagini (inpainting, super-risoluzione, deblurring) e problemi inversi scientifici (imaging di buchi neri, scattering inverso, risonanza magnetica a compressione sensoriale) utilizzando dataset FFHQ, ImageNet e dataset scientifici specializzati.

• Problemi Inversi: NCS-DPS e NCS-MPGD hanno costantemente superato le controparti di base e i metodi dello stato dell'arte (ad esempio, RED-Diff, DAPS) su diverse metriche (PSNR, FID, LPIPS). In particolare, NCS ha ottenuto risultati superiori con meno passi di diffusione (ad esempio, 20 o 100 passi), dove le basi spesso lottavano con l'instabilità.
• Compressione: Negli esperimenti di compressione generativa, NCS ha raggiunto prestazioni di distorsione-tasso comparabili a DDCM riducendo al contempo il numero di passi di diffusione di un fattore 10 (ad esempio, da 1000 a 100 passi). Ciò ha comportato un'accelerazione di 10 volte nel tempo di compressione con un degrado minimo della ricostruzione.
• Costo Computazionale: Il sovraccarico introdotto da NCS è trascurabile. Su una NVIDIA RTX 4090, il sovraccarico per passo era di circa 1–3 ms rispetto a un tempo di inferenza del modello di ~130 ms, risultando in un rallentamento totale di solo 1–4%.

5. Significato e Affermazioni

Il documento afferma che NCS offre un cambiamento fondamentale nel modo in cui le informazioni condizionali vengono integrate nei modelli di diffusione. Incorporando la guida nel vettore di rumore invece di perturbare direttamente la traiettoria, NCS:

• Stabilizza la Generazione: Evita l'instabilità associata alla guida esplicita tramite gradiente, in particolare nei regimi a basso numero di passi.
• Elimina la Regolazione: Opera efficacemente con un'unica impostazione predefinita, eliminando la necessità di complesse ricerche di iperparametri richieste dai metodi esistenti.
• Accelera l'Inferenza: Abilita ricostruzioni di alta qualità con significativamente meno passi di diffusione, rendendo i solver inversi basati su diffusione più pratici per applicazioni in tempo reale.
• Generalizza la Compressione: Fornisce un'alternativa teoricamente fondata ed efficiente a DDCM per la compressione generativa, risolvendo il collo di bottiglia della complessità esponenziale nella selezione multi-vettore.

Gli autori riconoscono che, sebbene NCS-DPS mostri un miglioramento limitato rispetto a DAPS in alcuni casi specifici e possa incontrare modalità di fallimento simili a DPS (ad esempio, collasso in immagini scure), il framework complessivo fornisce un approccio robusto, unificato ed efficiente alla risoluzione di problemi inversi lineari e compressione generativa.