Sintesi Tecnica: SONIC (Spectral Optimization of Noise for Inpainting with Consistency)

Problematica

Gli approcci attuali all'inpainting di immagini utilizzando modelli di generazione da testo (specificamente modelli di diffusione di denoising e modelli di flusso off-the-shelf) affrontano un compromesso tra versatilità e prestazioni. Sebbene i metodi senza addestramento (training-free) che si affidano alla guida o al campionamento posteriore permettano di utilizzare modelli generici per problemi inversi senza un costoso fine-tuning, essi spesso producono risultati con strutture d'immagine incoerenti rispetto ai modelli di inpainting specializzati e addestrati.

Gli autori sostengono che il limite principale dei metodi esistenti senza addestramento sia l'omissione del campione di rumore iniziale. Sebbene sia ben stabilito che il rumore iniziale determini in gran parte il layout e la struttura della generazione finale, l'ottimizzazione diretta di questo rumore è computazionalmente proibitiva. Gli approcci standard richiedono la back-propagazione attraverso l'intera catena di denoising (unrolling di $T$ step), il che è impraticabile per i moderni modelli su larga scala a causa dei vincoli di memoria e calcolo. Di conseguenza, i metodi esistenti spesso si accontentano di un'inizializzazione del rumore subottimale, portando a disallineamenti strutturali nelle regioni sottoposte a inpainting.

Metodologia

SONIC propone un nuovo framework senza addestramento che ottimizza il campione di rumore iniziale per riprodurre fedelmente le regioni non mascherate di un'immagine di input, garantendo così la coerenza strutturale nell'inpainting finale. Il metodo evita la back-propagazione attraverso il denoiser impiegando due innovazioni tecniche fondamentali:

1. Linearizzazione della traiettoria di Denoising

Per aggirare la necessità di srotolare (unrolling) la catena di denoising, SONIC approssima la traiettoria di denoising come un percorso lineare.

• Formulazione: Invece di trattare il processo di denoising $x_0 = D_T(x_T)$ come una funzione complessa non lineare che richiede il calcolo del gradiente attraverso ogni step, gli autori approssimano la traiettoria $x(t)$ come:
  $$\hat{x}(t) \approx \text{stopgrad}(D_T(x_T) - x_T)(1 - \frac{t}{T}) + x_T$$
• Meccanismo: Questa linearizzazione assume che la differenza tra l'immagine finale denoisata e il rumore iniziale sia costante durante tutto il processo. Ciò consente di formulare l'obiettivo di ottimizzazione come una perdita differenziabile rispetto a $x_T$ senza effettuare la back-propagazione attraverso il denoiser $D_T(\cdot)$. La perdita minimizza la differenza tra l'immagine mascherata osservata $y$ e la versione corrotta dell'output denoisato linearmente approssimato.

2. Precondizionamento Spettrale

L'ottimizzazione diretta del rumore iniziale nel dominio spaziale porta spesso all'instabilità, dove diverse frequenze spaziali convergono a ritmi differenti, causando sfarfallio o artefatti.

• Ottimizzazione nel Dominio Spettrale: Il metodo trasforma il problema di ottimizzazione nel dominio delle frequenze. Il rumore iniziale $x_T$ è rappresentato dalla sua trasformata di Fourier $X_T$.
• Ottimizzazione Adam: L'ottimizzazione viene eseguita su $X_T$ utilizzando l'ottimizzatore Adam. Poiché Adam divide gli aggiornamenti dei parametri per i loro secondi momenti, operare nel dominio spettrale agisce efficacemente come un precondizionatore. Ciò permette alle diverse componenti di frequenza di convergere ai propri ritmi preferiti, stabilizzando il processo di ottimizzazione e impedendo al rumore di divergere dal manifold accettabile.
• Vincoli Spaziali: Per evitare che le regioni non osservate (mascherate) del rumore si allontanino dalla distribuzione Gaussiana attesa dal modello, gli aggiornamenti del gradiente vengono mascherati. Vengono applicati solo i gradienti corrispondenti ai pixel osservati (non mascherati).

Dettagli di Implementazione

• Efficienza nello Spazio Latente: Il metodo opera interamente nello spazio latente. Per le immagini mascherate, gli autori impiegano una semplice strategia di riempimento tramite vicino più prossimo (nearest-neighbor fill) prima della codifica nello spazio latente, ritenendola sufficiente per una prestazione robusta.
• Workflow: Il processo prevede l'ottimizzazione del rumore iniziale $X_T$ per un numero fisso di iterazioni (ad es. 20) utilizzando la perdita linearizzata e il precondizionamento spettrale. Il rumore ottimizzato risultante viene poi inserito in una pipeline di inpainting standard senza addestramento (ad es. BLD-SD3.5) per generare l'immagine finale.

Contributi Chiave

1. Ottimizzazione del Rumore Iniziale senza Back-propagation: Il paper introduce una strategia di linearizzazione che consente l'ottimizzazione del campione di rumore iniziale per problemi inversi senza il costo computazionale dello srotolamento della catena di denoising.
2. Precondizionamento Spettrale: Gli autori dimostrano che l'ottimizzazione nel dominio spettrale con Adam fornisce una convergenza significativamente più stabile rispetto all'ottimizzazione spaziale, affrontando i tassi di convergenza dipendenti dalla frequenza inerenti ai modelli di diffusione/flusso.
3. Stato dell'Arte Senza Addestramento: Il metodo raggiunge prestazioni superiori rispetto ai baseline esistenti senza addestramento (FLAIR, FlowChef, FlowDPS, BLD-SD3.5) e risultati competitivi rispetto ai modelli specializzati addestrati.

Risultati Sperimentali

Gli autori hanno valutato SONIC su tre dataset standard: FFHQ (volti), DIV2K (immagini naturali) e BrushBench (maschere complesse).

• Prestazioni Quantitative: SONIC ha superato i metodi allo stato dell'arte senza addestramento (FLAIR, FlowChef, FlowDPS, BLD-SD3.5) e il modello specializzato addestrato BrushNet su metriche percettive chiave: SSIM, LPIPS e FID.
  • Su FFHQ, SONIC ha ottenuto un LPIPS di 0.121 e un FID di 12.883, significativamente migliori di FLAIR (0.266 LPIPS, 18.982 FID) e BrushNet (0.237 LPIPS, 17.950 FID).
  • Su DIV2K e BrushBench, sono state osservate tendenze simili, con SONIC che mostra la migliore coerenza strutturale e somiglianza percettiva.
• Risultati Qualitativi: I confronti visivi hanno mostrato che SONIC produce regioni inpainting che si allineano meglio con la struttura globale, l'illuminazione e il layout dell'immagine di input rispetto ai baseline, che spesso soffrivano di disallineamento strutturale o artefatti sfocati.
• Studi di Ablazione:
  • La rimozione del precondizionamento spettrale (ottimizzazione nel dominio spaziale) ha portato a prestazioni significativamente peggiori (LPIPS e FID più alti), confermando la necessità della stabilizzazione nel dominio delle frequenze.
  • La rimozione dei vincoli spaziali ha causato la divergenza dell'ottimizzazione, introducendo artefatti visibili e spostamenti di colore.
  • L'uso di pixel di verità fondamentale (ground-truth) per l'encoder (limite superiore) ha prodotto risultati quasi identici al semplice riempimento tramite vicino più prossimo, validando la robustezza della strategia nello spazio latente.

Significato e Rivendicazioni

Il paper sostiene che SONIC affronti una lacuna critica nell'applicazione di modelli generativi generici a problemi inversi. Identificando il campione di rumore iniziale come l' "ingrediente mancante" e fornendo un metodo pratico e stabile per ottimizzarlo, SONIC consente ai modelli off-the-shelf di raggiungere prestazioni precedentemente riservate a reti di inpainting specializzate e addestrate.

Gli autori sottolineano che il loro metodo è senza addestramento (training-free), evitando i costi e i problemi di generalizzazione associati al fine-tuning su tipi di maschera specifici. Posizionano SONIC non solo come uno strumento di inpainting, ma come una prova di concetto del fatto che la linearizzazione e il precondizionamento spettrale possono sbloccare il potenziale dei modelli di flusso generici per una gamma più ampia di problemi inversi, come la super-risoluzione e il deblurring, senza la necessità di complessi campionamenti posteriori o back-propagation.