Technische Samenvatting: AnyBokeh

Probleemstelling

Controle over de scherptediepte (depth-of-field, DoF) is een fundamenteel esthetisch instrument in de fotografie, maar het bewerken van bokeh na de opname vanuit een enkele afbeelding blijft een uitdaging. De kern van de moeilijkheid ligt bij twee onbekenden:

1. Bron-vervagingstoestand (Source Blur State): De invoerafbeelding kan al ruimtelijk variërende defocus-vervaging bevatten (sommige regio's scherp, andere wazig). Een praktische editor moet deze toestand begrijpen om te beslissen welke regio's verscherpt, behouden of verder vervaagd moeten worden.
2. Optische Parameters: Cameraparameters (focusafstand, diafragma, brandpuntsafstand, sensorformaat) zijn vaak incompleet of onbeschikbaar voor "in-the-wild" afbeeldingen.

Bestaande methoden lijden doorgaans aan een "AIF (All-In-Focus) bottleneck." Ze gaan er ofwel van uit dat de invoer al scherp is, of dwingen een reconstructie van een AIF-afbeelding af voordat de nieuwe bokeh wordt gerenderd. Deze aanpak verwerpt nuttige vervagingskenmerken uit de bronafbeelding en verspreidt reconstructie-artefacten naar de uiteindelijke bewerking. Bovendien vereisen deze pipelines zonder volledige metadata vaak "bokeh-niveau kalibratie" met grondwaarheid-geleiding per afbeelding om de gewenste vervagingssterkte te evenaren, wat onpraktisch is voor blind bewerken.

Methodologie: AnyBokeh

De auteurs stellen AnyBokeh voor, een natuurkundig geleid framework voor any-to-any bokeh-bewerking. In plaats van de bron-vervaging te behandelen als een degradatie die verwijderd moet worden, schat deze methode de bron-vervagingstoestand in en draagt de optische kenmerken ervan over naar een doelinstelling.

1. Fysica-geleide Optische Vingerafdrukoverdracht

Het framework steunt op het dunne-lensmodel, waarbij de cirkel van onscherpte (Circle of Confusion, CoC) lineair gerelateerd is aan het verschil in dispariteit tussen een scène-punt en het focusvlak.

• Optische Vingerafdruk ($\kappa_{src}$): De auteurs definiëren een bronspecifieke helling $\kappa_{src}$ die dispariteitsverschillen koppelt aan beeldruimte-defocus. Deze helling absorbeert globale optische factoren (diafragma, brandpuntsafstand, sensorformaat, resolutie).
• Schatting: Het systeem voorspelt gezamenlijk een gesigneerde bron-CoC-kaart ($CoC_{src}$) en een dispariteitskaart ($D$) vanuit de invoerafbeelding.
• Overdracht: Door de lineaire relatie $CoC \approx \kappa \cdot (D_{focus} - D)$ te modelleren, schat de methode $\kappa_{src}$ in vanuit de voorspelde kaarten. Deze vingerafdruk wordt vervolgens analytisch overgedragen naar de gewenste doel-focus en doel-diafragma instellingen om de doel-CoC-kaart ($CoC_{tgt}$) te berekenen, waardoor de noodzaak voor AIF-reconstructie of test-tijd kalibratie wordt vermeden.

2. Dual-CoC Conditionering

Het bewerkingsproces wordt afgehandeld door een generatieve editor (gebaseerd op FLUX.1-Fill) die geconditioneerd is op drie inputs:

1. De bronafbeelding ($I_{src}$).
2. De bron-CoC-kaart ($CoC_{src}$).
3. De doel-CoC-kaart ($CoC_{tgt}$).

Deze dual-CoC conditionering stelt het model in staat om expliciet zowel de huidige vervagingsstatus als de gewenste outputstatus waar te nemen. Dit maakt relatieve vervagingssynthese mogelijk, waarbij de editor ruimtelijk adaptieve deblurring, preservatie of defocus-rendering uitvoert op basis van de transitie tussen de twee CoC-kaarten.

3. UnrealBokeh Dataset

Om de CoC- en dispariteitschatters onder nauwkeurige fysieke supervisie te trainen, hebben de auteurs de UnrealBokeh dataset geconstrueerd, een hoogwaardige synthetische dataset gerenderd in Unreal Engine.

• Het bevat 11.477 afbeeldingen en 382.888 bewerkingsparen.
• Het biedt grondwaarheid voor diepte, focusafstand, diafragma, brandpuntsafstand, sensorformaat en beeldresolutie voor elke afbeelding.
• Dit maakt de berekening van dichte, gesigneerde grondwaarheid CoC-kaarten mogelijk, die essentieel zijn voor het trainen van de Stage 1 estimator.

Belangrijkste Bijdragen

1. CoC-gemedieerde Optische Vingerafdrukoverdracht: Een framework dat een bronspecifieke optische vingerafdruk ($\kappa_{src}$) schat vanuit de waargenomen vervaging en dispariteit, en deze analytisch overdraagt naar doelinstellingen. Dit elimineert de noodzaak voor AIF-reconstructie en test-tijd bokeh-niveau kalibratie.
2. Dual-CoC Conditionering: Een innovatieve conditioneringsstrategie waarbij de generatieve editor zowel de bron- als de doel-CoC-kaarten ontvangt. Dit transformeert any-to-any bewerking in een taak van relatieve vervagingssynthese, wat precieze ruimtelijke controle over deblurring en defocus mogelijk maakt.
3. UnrealBokeh Dataset: Een hoogwaardige synthetische dataset met volledige optische metadata en grondwaarheid CoC-kaarten, wat robuust leren van bron-vervaging en geometrieschatting mogelijk maakt.

Experimentele Resultaten

De auteurs evalueerden AnyBokeh op real-world benchmarks (EBB! en RealBokeh) over drie instellingen:

1. Any-to-Any Bokeh Bewerking: Het bewerken van afbeeldingen die al defocus bevatten. AnyBokeh presteerde beter dan "deblur-then-render" baselines (combinaties van AIF-estimators zoals Restormer/DRBNet met bokeh-renderers zoals BokehMe/BokehDiff) in perceptuele gelijkenis (LPIPS, DISTS) en distributie-realisme (FID). Cruciaal is dat dit gebeurde zonder per-afbeelding kalibratie.
2. AIF-naar-Bokeh Rendering: Zelfs wanneer de invoer all-in-focus is, presteerde AnyBokeh beter dan gespecialiseerde renderingmethoden, wat aantoont dat de relatieve overdrachtsformulering robuust is, zelfs wanneer de bron-vervaging zwak is.
3. Defocus Deblurring (Bokeh-naar-AIF): Bij het herstellen van scherpe afbeeldingen uit gedefocuste inputs, behaalde AnyBokeh superieure DISTS- en FID-scores vergeleken met restauratie-baselines, wat wijst op betere perceptuele structuur en realisme. Hoewel de LPIPS-scores iets lager waren (toe te schrijven aan het generatieve karakter van het herstellen van ontbrekende hoogfrequente details), toonde visuele inspectie scherpere randen en meer realistische texturen aan.

Betekenis en Beperkingen

Betekenis:
Het artikel betoogt dat bron-vervaging niet louter ruis is, maar een drager van nuttige optische informatie. Door de "optische vingerafdruk" expliciet te modelleren en over te dragen, maakt AnyBokeh getrouwe en controleerbare bewerking mogelijk in alle scenario's zonder de artefacten die gepaard gaan met geforceerde AIF-reconstructie. Het overbrugt de kloof tussen fysieke optica en generatieve bewerking, waardoor blind manipuleren van de scherptediepte na de opname mogelijk wordt.

Beperkingen:

• Extreme Vervaging: Wanneer de invoer extreem gedefocust is, gaan hoogfrequente details onherroepelijk verloren. Hoewel AnyBokeh beter presteert dan baselines, kan het scherpe details in deze extreme gevallen niet volledig herstellen.
• Extreme Bokeh Veranderingen: De methode kan moeite hebben met extreme veranderingen in de grootte van de bokeh-bollen (bijv. het aanzienlijk verkleinen van zeer grote bokeh-bollen), wat potentieel residuele artefacten of holle structuren achterlaat door occlusie en beperkte dekking van dergelijke extremen in de trainingsdata.
• Inference Efficiëntie: High-resolution inference vertrouwt op een tiling-en-stitching strategie om aspectratio's te behouden, wat de runtime verhoogt ten opzichte van single-pass inference.