DMAligner: Enhancing Image Alignment via Diffusion Model Based View Synthesis

Probleemstelling

Beeldalignement (het uitlijnen van opeenvolgende frames) is een fundamentele taak in de computervisie, essentieel voor toepassingen zoals HDR-afbeelding, video-stabilisatie en beeldherstel. Bestaande methoden vertrouwen voornamelijk op optische stroming (optical flow) gevolgd door beeldvervorming (image warping). Deze aanpak heeft echter ernstige beperkingen:

• Gevoeligheid voor veranderingen: Optische stroming is kwetsbaar voor veranderingen in belichting, schaduwen en reflecties, wat leidt tot onnauwkeurige bewegingsschattingen.
• Artefacten: Het vervormingsproces introduceert vaak vervormingen (rekken, knijpen) en, vooral bij occlusies (verduistering), spookbeelden (ghosting). Omdat vervorming een "veel-naar-een" mapping is, kunnen gebieden die in het doelbeeld zichtbaar zijn maar in het bronbeeld verborgen, niet correct worden gereconstrueerd.
• Complexiteit: Bestaande methoden worstelen met complexe scenario's zoals niet-rigide vervormingen, grote camera-bewegingen en dynamische voorgrondobjecten.

Methodologie: DMAligner

De auteurs introduceren DMAligner, een nieuw raamwerk dat beeldalignement benadert als een generatieve taak in plaats van een discriminatieve taak. In plaats van een stromingsveld te berekenen en een beeld te vervormen, synthetiseert het model direct een nieuw, uitgelijnd beeld via een Diffusiemodel.

De kerncomponenten zijn:

1. Dynamische Scène Beeldalignement (DSIA) Dataset:

   • Omdat er geen grote dataset bestond die specifiek gericht is op beeldalignement met ground truth, hebben de auteurs een nieuwe dataset gegenereerd met Blender.
   • Deze bevat 1.033 binnen- en buitenscènes met meer dan 30.000 beeldparen.
   • De dataset simuleert realistische uitdagingen: camera-beweging, bewegende objecten en variërende belichting.

2. Dynamics-aware Diffusion Training (Dynamische Bewuste Diffusietraining):

   • Het model is gebaseerd op een Latent Diffusion Model (LDM).
   • Dynamics-aware Mask Producing (DMP) Module: Dit is een cruciale innovatie. Het module berekent een bewegingsmasker door de correlatie tussen de latenterepresentaties van twee frames ($V_1$ en $V_2$) te analyseren.
   • Het masker onderscheidt adaptief dynamische voorgrondgebieden (bewegende objecten) van statische achtergronden.
   • Dit masker wordt gebruikt om een gemengde latent ($V_M$) te creëren die de achtergrond van het eerste frame combineert met de voorgrond van het tweede frame. Dit dient als een sterke conditionele input voor het diffusiemodel.

3. Generatieve View Synthesis:

   • Het doel is om een beeld te genereren alsof de camera op het tijdstip $t_1$ zou zijn gebleven, maar met de dynamiek van tijdstip $t_2$.
   • Het model leert het ruisproces te denoisen om de latenterepresentatie van het uitgelijnde ground-truth-beeld te reconstrueren, geleid door de inputframes en het dynamische masker.
   • Tijdens inferentie wordt een iteratief denoising-proces gebruikt om een scherp en volledig uitgelijnd beeld te genereren, waarbij occlusies natuurlijk worden "ingevuld" in plaats van vervormd.

Belangrijkste Bijdragen

• Paradigmaverschuiving: De eerste toepassing van een diffusiemodel voor beeldalignement via "alignment-oriented view synthesis", waardoor de beperkingen van optische stroming en vervorming worden omzeild.
• DMP-module: Een nieuwe module die dynamische informatie expliciet leert en gebruikt om het model te focussen op de gebieden die het moeilijkst zijn om uit te lijnen (bewegende voorgrond).
• DSIA Dataset: De eerste grote-scale dataset specifiek ontworpen voor beeldalignement, inclusief ground truth voor complexe dynamische scènes.
• Efficiëntie: Het model vereist slechts twee opeenvolgende frames ($I_1, I_2$) als input, zonder afhankelijkheid van dieptekaarten, camera-intrinsieken of vooraf geschatte maskers (in tegenstelling tot veel concurrenten).

Resultaten

Uitgebreide experimenten tonen aan dat DMAligner state-of-the-art prestaties levert:

• Op de DSIA-dataset: DMAligner behaalt de hoogste scores op PSNR en SSIM in alle subgroepen (kleine/grote camera- en voorgrondbewegingen). Het overtreft zowel traditionele flow-warping methoden (zoals RAFT, FlowFormer++) als andere view-synthesis methoden (zoals GenWarp, COGS).
• Cross-domein Generalisatie: Zonder extra training presteert het model uitstekend op synthetische datasets (Sintel) en real-world datasets (DAVIS), wat de robuustheid van de methode aantoont.
• Downstream Taken (HDR): In een HDR-fusie-taak reduceert DMAligner aanzienlijk spookbeelden en vervormingen rondom bewegende objecten en occlusies in vergelijking met flow-gebaseerde methoden.
• Ablatie-studies: De studies bevestigen dat de combinatie van "predict x0" (in plaats van ruis) en de DMP-module essentieel is voor de superieure prestaties.

Betekenis en Impact

DMAligner markeert een belangrijke stap vooruit in de computervisie door beeldalignement te herformuleren als een generatief probleem. Door de afhankelijkheid van optische stroming en vervorming te elimineren, lost het fundamentele problemen op zoals spookbeelden en artefacten bij occlusies. De methode biedt een robuustere oplossing voor complexe dynamische scènes en opent nieuwe mogelijkheden voor toepassingen die hoge kwaliteit beeldalignement vereisen, zoals videoherstel, HDR-imaging en augmented reality. De beschikbaarheid van de DSIA-dataset en de code stimuleert verder onderzoek in dit domein.