Sintesi Tecnica: AnyBokeh

Problematica

Il controllo della profondità di campo (DoF) è uno strumento estetico fondamentale nella fotografia, tuttavia l'editing del bokeh post-scatto da una singola immagine rimane una sfida. La difficoltà principale risiede in due incognite:

1. Stato di sfocatura della sorgente: L'immagine di input può già contenere una sfocatura da fuori fuoco spazialmente variabile (alcune regioni nitide, altre sfocate). Un editor pratico deve comprendere questo stato per decidere quali regioni rendere più nitide, preservare o ulteriormente sfocare.
2. Parametri ottici: I parametri della fotocamera (distanza di messa a fuoco, apertura, lunghezza focale, dimensione del sensore) sono spesso incompleti o non disponibili per immagini "in-the-wild".

I metodi esistenti soffrono tipicamente di un "collo di bottiglia AIF (All-In-Focus)". Essi o assumono che l'input sia già nitido o forzano una ricostruzione di un'immagine AIF prima di renderizzare il nuovo bokeh. Questo approccio scarta utili indizi di sfocatura dall'immagine sorgente e propaga gli artefatti di ricostruzione nell'editing finale. Inoltre, senza metadati completi, tali pipeline richiedono spesso una "calibrazione del livello di bokeh" guidata dalla ground-truth per ogni singola immagine per corrispondere alla desiderata intensità di sfocatura, il che è impraticabile per l'editing cieco.

Metodologia: AnyBokeh

Gli autori propongono AnyBokeh, un framework guidato dalla fisica per l'editing del bokeh any-to-any. Invece di trattare la sfocatura della sorgente come un degrado da rimuovere, il metodo stima lo stato di sfocatura della sorgente e ne trasferisce le caratteristiche ottiche a un setting target.

1. Trasferimento dell'impronta ottica guidato dalla fisica

Il framework si basa sul modello della lente sottile, dove il Cerchio di Confusione (CoC) è linearmente correlato alla differenza di disparità tra un punto della scena e il piano focale.

• Impronta Ottica ($\kappa_{src}$): Gli autori definiscono una pendenza specifica della sorgente $\kappa_{src}$ che mappa le differenze di disparità alla defocus in spazio immagine. Questa pendenza assorbe i fattori ottici globali (apertura, lunghezza focale, dimensione del sensore, risoluzione).
• Stima: Il sistema predice congiuntamente una mappa CoC firmata della sorgente ($CoC_{src}$) e una mappa di disparità ($D$) dall'immagine di input.
• Trasferimento: Modellando la relazione lineare $CoC \approx \kappa \cdot (D_{focus} - D)$, il metodo stima $\kappa_{src}$ dalle mappe predette. Questa impronta viene poi trasferita analiticamente ai desiderati setting di focus e apertura target per calcolare la mappa $CoC_{tgt}$, evitando la necessità di ricostruzione AIF o calibrazione al tempo di test.

2. Condizionamento Dual-CoC

Il processo di editing è gestito da un editor generativo (basato su FLUX.1-Fill) condizionato su tre input:

1. L'immagine sorgente ($I_{src}$).
2. La mappa CoC della sorgente ($CoC_{src}$).
3. La mappa CoC target ($CoC_{tgt}$).

Questo condizionamento dual-CoC permette al modello di osservare esplicitamente sia lo stato di sfocatura attuale che lo stato desiderato. Ciò consente una sintesi di sfocatura relativa, dove l'editor esegue deblurring adattivo spaziale, preservazione o rendering di defocus basandosi sulla transizione tra i due CoC.

3. Dataset UnrealBokeh

Per addestrare gli stimatori di CoC e disparità sotto una supervisione fisica accurata, gli autori hanno costruito il dataset UnrealBokeh, un dataset sintetico ad alta fedeltà renderizzato in Unreal Engine.

• Contiene 11.477 immagini e 382.888 coppie di editing.
• Fornisce ground-truth di profondità, distanza di messa a fuoco, apertura, lunghezza focale, dimensione del sensore e risoluzione dell'immagine per ogni immagine.
• Ciò consente il calcolo di mappe CoC dense e firmate, essenziali per l'addestramento dello stimatore in Fase 1.

Contributi Chiave

1. Trasferimento dell'impronta ottica mediato da CoC: Un framework che stima un'impronta ottica specifica della sorgente ($\kappa_{src}$) dalla sfocatura osservata e dalla disparità, trasferendola analiticamente ai setting target. Questo elimina la necessità di ricostruzione AIF e calibrazione del livello di bokeh al tempo di test.
2. Condizionamento Dual-CoC: Una strategia di condizionamento innovativa in cui l'editor generativo riceve sia le mappe CoC sorgente che target. Questo trasforma l'editing any-to-any in un compito di sintesi di sfocatura relativa, consentendo un controllo spaziale preciso su deblurring e defocus.
3. Dataset UnrealBokeh: Un dataset sintetico ad alta fedeltà con metadati ottici completi e mappe CoC ground-truth, che consente un apprendimento robusto della sfocatura della sorgente e della stima geometrica.

Risultati Sperimentali

Gli autori hanno valutato AnyBokeh su benchmark del mondo reale (EBB! e RealBokeh) attraverso tre setting:

1. Editing del Bokeh Any-to-Any: Editing di immagini che contengono già defocus. AnyBokeh ha superato i baseline "deblur-then-render" (che combinano stimatori AIF come Restormer/DRBNet con renderer di bokeh come BokehMe/BokehDiff) in termini di somiglianza percettiva (LPIPS, DISTS) e realismo della distribuzione (FID). Fondamentalmente, ha ottenuto questo senza calibrazione per immagine.
2. Rendering AIF-to-Bokeh: Anche quando l'input è tutto a fuoco, AnyBokeh ha superato i metodi di rendering specializzati, dimostrando che la formulazione del trasferimento relativo è robusta anche quando la sfocatura della sorgente è debole.
3. Deblurring da Defocus (Bokeh-to-AIF): Nel recupero di immagini nitide da input defocusati, AnyBokeh ha ottenuto punteggi DISTS e FID superiori rispetto ai baseline di restauro, indicando una migliore struttura percettiva e realismo. Sebbene i punteggi LPIPS siano stati leggermente inferiori (attribuito alla natura generativa del recupero di dettagli ad alta frequenza mancanti), l'ispezione visiva ha mostrato bordi più nitidi e texture più realistiche.

Significato e Limitazioni

Significato:
Il paper sostiene che la sfocatura della sorgente non è meramente rumore, ma un portatore di utili informazioni ottiche. Esplicitando il modello e trasferendo l' "impronta ottica", AnyBokeh consente un editing fedele e controllabile attraverso scenari any-to-any senza gli artefatti introdotti dalla forzata ricostruzione AIF. Colma il divario tra ottica fisica ed editing generativo, permettendo la manipolazione cieca del DoF post-scatto.

Limitazioni:

• Sfocatura Estrema: Quando l'input è severamente fuori fuoco, i dettagli ad alta frequenza sono irrimediabilmente persi. Sebbene AnyBokeh funzioni meglio dei baseline, non può recuperare completamente i dettagli nitidi in questi casi estremi.
• Cambiamenti di Bokeh Estremi: Il metodo potrebbe avere difficoltà con cambiamenti estremi nella dimensione delle sfere di bokeh (ad esempio, ridurre significativamente sfere di bokeh molto grandi), potenzialmente lasciando artefatti residui o strutture cave a causa di occlusioni e di una copertura limitata dei dati di addestramento per tali estremi.
• Efficienza dell'Inferenza: L'inferenza ad alta risoluzione si affida a una strategia di tiling-and-stitching per mantenere i rapporti d'aspetto, il che aumenta i tempi di esecuzione rispetto all'inferenza a singolo passaggio.