Generative Refocusing: Flexible Defocus Control from a Single Image

1. Il Problema

Il controllo della profondità di campo (DoF) e della messa a fuoco è fondamentale nella fotografia artistica per guidare l'occhio dello spettatore. Tuttavia, ottenere una messa a fuoco perfetta spesso richiede scatti multipli o attrezzature specializzate. Il refocusing da singola immagine (modificare la messa a fuoco dopo lo scatto) rimane una sfida difficile per tre motivi principali:

1. Recupero dei dettagli: È necessario recuperare contenuti nitidi dalle aree sfocate senza introdurre artefatti.
2. Realismo del Bokeh: Generare un effetto bokeh (sfocatura di sfondo) realistico che rispetti le caratteristiche ottiche reali è complesso.
3. Limitazioni delle metodologie attuali:
   • Molti metodi richiedono immagini già perfettamente a fuoco (all-in-focus) come input.
   • I dati di addestramento sono spesso sintetici (simulatori), il che porta a risultati poco realistici, o reali ma limitati a variazioni unidimensionali (solo apertura o solo piano focale), impedendo il controllo simultaneo.
   • La maggior parte dei metodi controlla solo la dimensione dell'apertura, non la sua forma (es. cuore, stella).

2. Metodologia: Generative Refocusing (GenRefocus)

Gli autori propongono GenRefocus, un sistema di refocusing da singola immagine basato su un processo in due fasi che utilizza modelli di diffusione (Diffusion Models). L'architettura si scompone in due reti neurali distinte ma collegate:

Fase 1: DeblurNet (Recupero dell'immagine a fuoco)

• Obiettivo: Recuperare un'immagine nitida e completamente a fuoco (All-In-Focus - AIF) partendo da un input sfocato o parzialmente a fuoco.
• Tecnica: Utilizza un modello di diffusione (basato su FLUX) che prende in input un token unificato composto da un'immagine latente rumorosa ($X_t$) e l'immagine di input codificata ($I_{in}$).
• Addestramento: Addestrata in modo supervisionato su dati reali accoppiati (immagini sfocate e nitide) provenienti da dataset come DPDD e RealBokeh.

Fase 2: BokehNet (Sintesi del Bokeh Controllabile)

• Obiettivo: Generare l'effetto bokeh desiderato sull'immagine AIF recuperata, basandosi sui parametri dell'utente.
• Input di controllo:
  • Piano focale ($D_{focus}$): Determina quale parte dell'immagine rimane nitida.
  • Livello di bokeh ($K$): Controlla l'intensità della sfocatura.
  • Forma dell'apertura ($A$): (Opzionale) Permette di creare bokeh con forme specifiche (es. cuore).
• Mappa di Defocus: Viene calcolata una mappa di defocus ($D_{def}$) combinando una mappa di profondità monoculare ($D$), il piano focale scelto e il livello di bokeh: $D_{def} = K \cdot |D - D_{focus}|$.
• Architettura: Simile a DeblurNet, utilizza un meccanismo di condizionamento unificato per sintetizzare l'output finale ($I_{out}$).

Schema di Addestramento Ibrido Innovativo

Il contributo chiave risiede nella gestione dei dati reali, che spesso mancano di segnali di controllo completi (come mappe di defocus o metadati EXIF precisi). Gli autori propongono tre vie per costruire i dati di supervisione:

1. Dati Sintetici: Usati per la pre-addestramento per garantire coerenza geometrica.
2. Dataset ITW (In-The-Wild): Per immagini reali, recuperano l'immagine AIF con DeblurNet, stimano la profondità e calcolano il livello di bokeh $K$ approssimativo utilizzando i metadati EXIF (lunghezza focale, numero f) e una maschera di messa a fuoco stimata.
3. LFDOF e RealBokeh: Per dataset che mancano di metadati, introducono un passo di rifinitura manuale delle maschere di messa a fuoco e una calibrazione "simulator-in-the-loop". Il sistema prova diversi valori di $K$ tramite un renderer fisico e seleziona quello che massimizza la similarità strutturale (SSIM) con l'immagine reale target, creando così un'etichetta di supervisione affidabile.

Controllo della Forma dell'Apertura

Per abilitare la sintesi di bokeh con forme personalizzate, gli autori creano il dataset PointLight-1K (immagini notturne con punti luce) e addestrano un modulo LoRA specifico (fine-tuning) su BokehNet. Questo permette di condizionare la generazione sulla forma dell'apertura senza degradare la qualità della sintesi generale.

3. Contributi Chiave

1. Pipeline Flessibile: Un sistema che accetta immagini in qualsiasi stato di messa a fuoco (sfocate o nitide) e permette un controllo intuitivo su piano focale, intensità del bokeh e forma dell'apertura.
2. Schema di Addestramento Ibrido: Una strategia innovativa che combina la coerenza geometrica dei dati sintetici con le caratteristiche ottiche autentiche dei dati reali, completando i segnali di controllo mancanti nei dataset reali.
3. Controllo Completo: È uno dei primi metodi a supportare non solo la dimensione, ma anche la forma dell'apertura (es. cuore, stella) in un framework di apprendimento.
4. Prestazioni Superiori: Validazione su benchmark esistenti (DPDD, RealDOF) e nuovi dataset creati dagli autori (LF-Bokeh, LF-Refocus).

4. Risultati Sperimentali

Gli esperimenti dimostrano che GenRefocus supera lo stato dell'arte (SOTA) in tre compiti principali:

• Defocus Deblurring: Su dataset come RealDOF e DPDD, il metodo ottiene i migliori punteggi sia nelle metriche di riferimento (LPIPS, DISTS) che in quelle senza riferimento (CLIP-IQA, MANIQA). Qualitativamente, recupera meglio i dettagli (es. testo) rispetto a metodi concorrenti come Bokehlicious o DiffCamera, evitando distorsioni strutturali.
• Sintesi del Bokeh: Su LF-Bokeh, il metodo supera tutti i baselines diffusion-based in termini di fedeltà e controllabilità (misurata tramite LVCorr).
• Refocusing: Su LF-Refocus, il sistema produce risultati più nitidi e fisicamente coerenti rispetto a Learn2Refocus e DiffCamera, posizionando correttamente il piano focale e generando un bokeh naturale.
• Robustezza: Il modello dimostra una maggiore capacità di generalizzazione su immagini in bianco e nero, immagini storiche e scenari "in-the-wild" rispetto ai metodi esistenti.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'editing fotografico computazionale:

• Democratizzazione dell'ottica: Trasforma una singola immagine in una "camera virtuale" controllabile, permettendo agli utenti di correggere errori di messa a fuoco o di aggiungere effetti artistici complessi dopo lo scatto.
• Superamento dei limiti dei simulatori: Dimostra che è possibile apprendere le caratteristiche ottiche reali (aberrazioni, forme del bokeh) combinando dati sintetici e reali in modo intelligente, superando la "realtà simulata" dei metodi precedenti.
• Nuove possibilità creative: L'introduzione del controllo della forma dell'apertura apre nuove frontiere per effetti creativi (es. bokeh a forma di cuore) che erano finora appannaggio esclusivo dell'ottica fisica o di renderizzatori non basati su apprendimento.

Limitazioni: Il sistema dipende dalla stima della profondità monoculare; superfici trasparenti o sfocature estreme possono portare a errori nella mappa di defocus o allucinazione di dettagli. Tuttavia, l'approccio proposto stabilisce un nuovo standard per il refocusing generativo controllabile.