DMAligner: Enhancing Image Alignment via Diffusion Model Based View Synthesis

1. Il Problema

L'allineamento delle immagini (image alignment) è un compito fondamentale nella visione artificiale, essenziale per applicazioni come la fotografia HDR, la deblurring, il ripristino di immagini in burst e la stabilizzazione video.
Le metodologie esistenti si basano prevalentemente su tecniche di warpping basate sul flusso ottico (optical flow). Tuttavia, questi approcci presentano limiti significativi:

• Sensibilità alle variazioni di illuminazione: Cambiamenti di luce, ombre o riflessioni violano l'assunzione di costanza della luminanza, portando a stime errate del moto.
• Artefatti di warping: Il processo di deformazione (warping) introduce distorsioni come stiramento, compressione o lacerazione delle regioni dell'immagine.
• Problemi di occlusione: La mappatura "molti-a-uno" nelle regioni di occlusione genera inevitabilmente artefatti di "ghosting" (immagini fantasma), anche con una stima del flusso ottico precisa.
• Limiti nelle scene dinamiche: I metodi globali o a livello di pixel faticano a gestire scenari complessi con parallassi, deformazioni non rigide o movimenti significativi degli oggetti in primo piano.

2. Metodologia: DMAligner

Gli autori propongono DMAligner, un nuovo framework basato su modelli di diffusione (Diffusion Models) che affronta l'allineamento delle immagini attraverso una sintesi di vista orientata all'allineamento (alignment-oriented view synthesis), invece del semplice warping.

A. Dataset DSIA (Dynamic Scene Image Alignment)

Poiché mancava un dataset su larga scala specifico per questo compito, gli autori hanno creato DSIA:

• Generato utilizzando Blender, include 1.033 scene (interne ed esterne) con oltre 30.000 coppie di immagini.
• Simula sfide reali: movimento della camera, oggetti in movimento e variazioni di illuminazione.
• Ground Truth: Viene generato rendendo la scena al tempo $t_2$ ma con la posa della camera fissata a $t_1$, creando un'immagine di riferimento perfetta per l'allineamento.

B. Architettura del Modello

Il framework utilizza un Latent Diffusion Model (LDM) e si compone di tre fasi principali:

1. Dynamics-aware Mask Producing (DMP):

   • È il modulo chiave per distinguere le regioni dinamiche (sfondi statici vs oggetti in movimento).
   • Calcola un volume di costo normalizzato tra le rappresentazioni latenti delle due immagini di input ($V_1$ e $V_2$) per stimare il movimento.
   • Genera una maschera di movimento che viene dilata per garantire transizioni lisce ai bordi.
   • Fonde il background di $V_1$ con il foreground di $V_2$ per creare un segnale di condizione misto ($V_M$) che guida il modello di diffusione.

2. Dynamics-aware Diffusion Training:

   • Il modello impara a generare la rappresentazione latente dell'immagine allineata ($V_{gt}$) partendo dal rumore gaussiano, condizionato da $V_1$, $V_2$ e dalla maschera dinamica $V_M$.
   • Utilizza una strategia di apprendimento "predict $x_0$" (prevedere l'immagine originale pulita) che si è dimostrata più efficace per l'allineamento rispetto ad altre strategie di previsione.
   • La funzione di perdita combina una Denoising Loss (pesata diversamente per foreground e background tramite la maschera) e una Mask Loss (cross-entropy) per addestrare la generazione della maschera.

3. Inferenza Denoised Dynamics-aware:

   • Durante l'inferenza, il modello parte dal rumore e rimuove iterativamente il rumore condizionato dalle immagini di input e dalla maschera dinamica, ricostruendo l'immagine allineata finale senza artefatti di ghosting.

3. Contributi Chiave

1. Dataset DSIA: Il primo dataset su larga scala specifico per l'allineamento delle immagini, progettato per simulare sfide complesse (movimento camera, oggetti, luce) con ground truth accurato.
2. Framework DMAligner: Un approccio generativo basato sulla diffusione che supera i limiti del warping tradizionale, eliminando gli artefatti di ghosting e gestendo meglio le occlusioni e le variazioni di illuminazione.
3. Modulo DMP: Un meccanismo innovativo che permette al modello di diffusione di focalizzarsi intelligentemente sulle regioni dinamiche, migliorando la ricostruzione dei dettagli in movimento.
4. Prestazioni SOTA: Il metodo raggiunge lo stato dell'arte sia su dataset sintetici che reali, senza richiedere input aggiuntivi come mappe di profondità, maschere pre-calcolate o parametri intrinseci della camera.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su DSIA, Sintel (sintetico) e DAVIS (reale).

• Su DSIA: DMAligner supera tutti i metodi basati su flusso ottico (es. RAFT, FlowFormer++) e sintesi di vista (es. GenWarp, COGS).
  • Metriche: Raggiunge un PSNR medio di 26.67 e un SSIM di 0.81, significativamente superiori ai metodi precedenti (il secondo migliore, DPFlow, ottiene 25.29 PSNR).
  • Qualità: Elimina visivamente gli artefatti di ghosting e le distorsioni nelle regioni di occlusione.
• Su Sintel e DAVIS: Dimostra una forte capacità di generalizzazione cross-domain. Utilizzando metriche prive di ground truth (LPIPS e DreamSim), DMAligner ottiene i punteggi migliori, indicando una maggiore fedeltà strutturale e percettiva rispetto alle immagini di riferimento.
• Applicazione HDR: Integrato in una pipeline HDR, riduce drasticamente gli artefatti di ghosting rispetto ai metodi basati su flusso, migliorando la qualità finale dell'immagine ad alta dinamica.
• Analisi di Robustezza: Il modello mantiene prestazioni superiori anche in presenza di grandi differenze nel magnitudo del movimento, dove i metodi tradizionali degradano rapidamente.

5. Significato e Impatto

DMAligner rappresenta un cambiamento di paradigma nell'allineamento delle immagini:

• Passa da un approccio discriminatorio (stima del flusso e warping) a uno generativo (sintesi di vista tramite diffusione).
• Risolve problemi intrinseci ai metodi classici (ghosting, sensibilità alla luce) che hanno limitato l'efficacia delle applicazioni downstream.
• Offre una soluzione più semplice e diretta, eliminando la necessità di input geometrici complessi (profondità, intrinseci camera) richiesti da altri metodi moderni basati su 3DGS o view synthesis.
• Stabilisce un nuovo standard per la sintesi di immagini in scenari dinamici complessi, con potenziali applicazioni estese in video processing, realtà aumentata e fotografia computazionale.