Generative Refocusing: Flexible Defocus Control from a Single Image

Probleemstelling

De controle van het scherptedieptegebied (depth of field) en de focus is essentieel voor artistieke fotografie, maar vereist vaak meerdere opnamen of gespecialiseerde apparatuur. Bestaande methoden voor single-image refocusing (het opnieuw scherpstellen van een foto na de opname) kampen met drie belangrijke beperkingen:

1. Input-beperkingen: De meeste methoden vereisen dat de invoerbeelden volledig scherp zijn (all-in-focus) en nauwkeurige dieptekaarten hebben. Ze kunnen moeilijk omgaan met reeds onscherpe invoerbeelden.
2. Realisme en Data: Methodes die op synthetische data trainen, missen vaak de authentieke optische eigenschappen van echte lenzen. Echte datasets zijn beperkt tot één-dimensionale variaties (bijv. alleen diafragma of alleen focus) en bieden geen gezamenlijke verdeling van beide parameters, wat noodzakelijk is voor flexibele controle.
3. Beperkte Controle: Bestaande systemen ondersteunen meestal alleen de grootte van het diafragma (bokeh-intensiteit), maar niet de vorm van het diafragma (bijv. hartvormig of ster-vormig), wat creatieve mogelijkheden beperkt.

Methodologie: Generative Refocusing (GenRefocus)

De auteurs stellen Generative Refocusing voor, een tweestapsproces dat gebaseerd is op diffusion-modellen. Het doel is om een enkele invoerfoto om te zetten in een virtuele camera met volledige controle over focus en bokeh.

Het systeem bestaat uit twee hoofdmodules:

1. Stap 1: Defocus Deblurring (DeblurNet)

   • Doel: Het herstellen van scherpe details uit willekeurige invoerbeelden (zowel onscherp als scherp).
   • Architectuur: Een diffusion-model (gebaseerd op FLUX) dat een geünificeerde token-sequentie verwerkt. Deze sequentie bestaat uit de noisy latent tokens ($X_t$) en de gecodeerde invoer ($I_{in}$).
   • Functie: Het genereert een hoogwaardig, volledig scherp (all-in-focus) beeld ($I_{aif}$) dat als basis dient voor de volgende stap. Dit lost het probleem op dat monculaire diepteschatttingen op onscherpe beelden onbetrouwbaar zijn.

2. Stap 2: Shallow Depth-of-Field Synthesis (BokehNet)

   • Doel: Het synthetiseren van realistische bokeh-effecten op het scherpgestelde beeld.
   • Input: Het scherpgestelde beeld ($I_{aif}$), een geschatte dieptekaart ($D$), een door de gebruiker opgegeven focusvlak ($D_{focus}$), een bokeh-niveau ($K$) en optioneel een diafragmavorm ($A$).
   • Defocus Map: Een defocus-kaart wordt berekend als $D_{def} = K \cdot |D - D_{focus}|$.
   • Synthese: BokehNet gebruikt deze conditionele tokens om iteratief ruis te verwijderen en het uiteindelijke herfocusseerde beeld ($I_{out}$) te genereren.

Innovatieve Trainingsstrategie:
Om de kloof tussen synthetische en echte data te overbruggen, gebruiken de auteurs een hybride aanpak:

• Synthetische Data: Voor geometrische consistentie.
• Echte Data (ITW, LFDOF, RealBokeh): Voor authentieke lenskarakteristieken.
  • Voor datasets zonder EXIF-metagegevens of focus-informatie, gebruiken ze een iteratieve kalibratie. Ze schatten het focusvlak via een masker van scherpe gebieden en "sweepen" door verschillende waarden van $K$ in een simulator om de waarde te vinden die het beste overeenkomt met de echte onscherpe foto (gemeten via SSIM).
  • Dit stelt het model in staat om de echte optische aberraties van lenzen te leren, wat simulators niet kunnen nabootsen.

Diafragmavorm Controle:
Om willekeurige vormen (zoals hartjes) te ondersteunen, hebben de auteurs een speciaal dataset (PointLight-1K) gegenereerd met puntlichtbronnen. Ze fine-tunen BokehNet met een extra trainbare LoRA-module die specifiek is ingesteld op de vorm-token, zonder de bestaande bokeh-synthese te verstoren.

Belangrijkste Bijdragen

1. Flexibele Pijplijn: Een systeem dat beelden in elke focusstaat accepteert en controle biedt over het focusvlak, de bokeh-intensiteit en de diafragmavorm.
2. Nieuwe Trainingsstrategie: Een methode om ontbrekende signalen in bestaande real-world datasets aan te vullen, waardoor het model zowel geometrische consistentie als authentieke lensfouten leert.
3. Uitgebreide Controle: De eerste methode die niet alleen de grootte, maar ook de vorm van het diafragma kan aanpassen in een generatief kader.
4. State-of-the-Art Prestaties: Het systeem presteert superieur op benchmarks voor defocus-deblurring, bokeh-synthese en refocusing.

Resultaten

De auteurs evalueren hun methode op diverse benchmarks (RealDOF, DPDD, LF-Bokeh, LF-Refocus) en vergelijken met state-of-the-art methoden zoals BokehMe, Bokehlicious, DiffCamera en Learn2Refocus.

• Defocus Deblurring: GenRefocus behaalt de beste scores op perceptuele metrics (LPIPS, DISTS, CLIP-IQA) en herstelt details (zoals tekst) beter dan concurrenten, zelfs bij zware onscherpte.
• Bokeh Synthese: Het model toont een hogere fideliteit en betere controleerbaarheid dan andere diffusion-based methoden. In tegenstelling tot DiffCamera, die vastzit aan vaste resoluties, werkt GenRefocus met willekeurige aspectratio's dankzij een tiling-strategie.
• Refocusing: Het systeem kan het focusvlak nauwkeurig verplaatsen en realistische bokeh genereren, terwijl concurrenten vaak onscherpe achtergronden of verkeerde focusvlakken produceren.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat GenRefocus minder artefacten introduceert en beter in staat is om complexe scènes en historische foto's te herstellen.

Betekenis en Toekomstperspectief

Generative Refocusing is een doorbraak in computervisie en computergrafiek omdat het de barrières voor post-capture fotografie verlaagt. Het stelt gebruikers in staat om creatieve beslissingen over focus en bokeh te nemen nadat de foto is gemaakt, zonder gespecialiseerde hardware.

Beperkingen:

• Het systeem is afhankelijk van de kwaliteit van de geschatte dieptekaart; transparante oppervlakken kunnen leiden tot foutieve defocus-maps.
• Bij extreme onscherpte kan het diffusion-model "hallucineren" (foute details toevoegen), wat het ongeschikt maakt voor toepassingen die precisie vereisen (zoals wetenschappelijke beeldvorming).

Toekomstig werk:
De auteurs plannen om de vocabulaire van diafragmavormen uit te breiden (bijv. door gebruikersgetekende vormen) en de robuustheid voor transparante objecten te verbeteren.

Kortom, GenRefocus combineert de kracht van generatieve AI met fysiek onderbouwde optica om een nieuwe standaard te zetten voor flexibele en realistische beeldmanipulatie.