Technische Samenvatting: ExpoMotion en het Householder Projection Network

1. Probleemstelling

Multi-Exposure Fusion (MEF) is een cruciale techniek voor het uitbreiden van het dynamisch bereik van standaard beeldsensoren, die vaak niet in staat zijn om scènes te vangen die variëren over meer dan 10 grootheden (van sterlicht tot direct zonlicht). Hoewel MEF een directe weg biedt naar hoogwaardige beelden in het displaydomein zonder de secundaire artefacten (bijv. halo's) die geassocieerd worden met Tone Mapping Operators gebruikt bij HDR-reconstructie, stuit het op aanzienlijke hindernissen in dynamische omgevingen.

De primaire uitdagingen zijn:

• Bewegingsartefacten: Camerahandelingen en bewegende objecten veroorzaken ernstige misalignments tussen belichtingsframes, wat resulteert in "ghosting" of scheuren.
• Schaarsheid aan Benchmarks: Bestaande benchmarks richten zich grotendeels op statische scènes. Huidige dynamische datasets missen ofwel een betrouwbare Ground Truth (GT) door real-world beweging, ofwel realisme door synthetische generatie. Bovendien vertrouwen huidige GT-generatiemethoden vaak op tone-mapped HDR-reconstructies, die contrastvervormingen erven en niet overeenstemmen met menselijke perceptuele voorkeuren.
• Algoritmische Beperkingen: Standaard benaderingen die vertrouwen op optical flow of similarity-gebaseerde aandachtmechanismen hebben moeite met MEF. Flow-gebaseerde warping introduceert geometrische distorties in geoccludeerde regio's, terwijl standaard aandacht faalt in het onderscheiden van nuttige complementaire details (bijv. texturen in overbelichte schaduwen) van misalignment-artefacten.

2. Voorgestelde Methodologie

De auteurs stellen een tweeledige oplossing voor: een nieuwe grootschalige dataset (ExpoMotion) en een nieuwe netwerkarchitectuur (HOP).

A. De ExpoMotion Dataset

Om het gebrek aan hoogwaardige dynamische benchmarks aan te pakken, hebben de auteurs ExpoMotion geconstrueerd, een dataset bestaande uit 1.738 sequenties en 10.909 afbeeldingen.

• Acquisitiestrategie: De dataset integreert drie protocollen:
  1. Gecontroleerde Beweging: Statische scènes met verwisselde referentiekaders om beweging te simuleren terwijl een artefactvrije GT behouden blijft.
  2. Laboratoriumbeweging: Vastgelegd in een professionele bewegingslab om precieze dynamiek en verlichting te manipuleren.
  3. Real-World Beweging: "In-the-wild" opnames voor no-reference perceptuele evaluatie.
• Ground Truth Generatie: Er is een human-in-the-loop pipeline toegepast. Kandidaat-GT's werden gegenereerd via meerdere algoritmen en commerciële software (bijv. Lightroom, Photomatix). Deze werden vervolgens gescreend door beoordelaars en nauwgezet verfijnd door professionele fotografen om fotorealisme, artefactvrije kwaliteit en afstemming op menselijke perceptie te garanderen.
• Schaal en Diversiteit: De dataset is aanzienlijk groter dan bestaande benchmarks (bijv. 19× groter dan Kalantari17) en dekt een breder bereik aan luminantie, resolutie (gem. 2563 × 1896) en semantische diversiteit.

B. Het Householder Orthogonal Projection (HOP) Netwerk

De auteurs stellen HOP voor, dat MEF deghosting herformuleert vanuit een wiskundig perspectief, waarbij de taak wordt ontkoppeld in Exposure Pre-alignment en Ghost Filtering.

1. Global Priors Illumination Alignment (GPIA):

   • Doel: Drastische discrepanties in dynamisch bereik corrigeren vóór feature aggregatie.
   • Mechanisme: Geïnspireerd door de Retinex-theorie, extraheert GPIA globale illuminatie priors via average pooling. Het berekent een illuminatie ratio map om hulpframes te moduleren, waardoor hun belichtingsniveaus worden uitgelijnd met het referentiekader. Dit ontkoppelt illuminatiecorrectie van bewegingsafhandeling.

2. Householder Orthogonal Attention (HOA):

   • Doel: Bewegingsartefacten (ghosts) verwijderen terwijl hoogfrequente details behouden blijven.
   • Mechanisme: In plaats van standaard similarity-gebaseerde aandacht, modelleert HOA artefacten als orthogonale perturbaties.
     • Het construeert een conflict vector ($v$) op basis van het verschil tussen referentie- en hulpfeatures.
     • Het maakt gebruik van een Householder transformatie ($H = I - 2vv^T$) om hulpfeatures geometrisch te reflecteren.
     • Door features te projecteren op een hypervlak gedefinieerd door de conflict vector, "verwerpt" het netwerk effectief de misalignte ghost-componenten terwijl het signaalsubruimte behoudt.
     • Een adaptieve schaleringsfactor en een intensity gate laten het netwerk toe de afwijzingssterkte fijn af te stemmen en te voorkomen dat nuttige details worden onderdrukt.

3. Gradient-Guided Feed-Forward Network (GGFN):

   • Doel: Verbeteren van de preservatie van hoogfrequente details (randen, texturen).
   • Mechanisme: Deze module combineert een leerbare depth-wise convolution branch met een vaste Discrete Laplacian Operator branch. De Laplacian branch fungeert als een hard-coded high-pass filter, waardoor het netwerk gedwongen wordt om op structurele grenzen te letten. De twee branches worden gefuseerd via een leerbare parameter, wat het leerproces reguleert met expliciete randinformatie.

3. Belangrijkste Bijdragen

1. ExpoMotion Dataset: Een grootschalige, dynamische MEF benchmark met diverse bewegingspatronen (gecontroleerd, lab en real-world) en expert-verfijnde Ground Truth, specif으로 ontworpen voor rigoureuze deghosting evaluatie.
2. HOP Netwerk: Een innovatieve architectuur die Householder-transformaties gebruikt om deghosting wiskundig te ontkoppelen van exposure harmonisatie en ghost filtering, wat een geometrisch alternatief biedt voor standaard aandachtmechanismen.
3. Prestaties: Uitgebreide experimenten tonen aan dat HOP de state-of-the-art methoden overtreft in zowel kwantitatieve metrieken (PSNR/SSIM) als perceptuele kwaliteit (no-reference metrieken), met name in dynamische en extreme lichtomstandigheden.

4. Experimentele Resultaten

• Kwantitatieve Prestaties: Op de Kalantari17, RealHDRV, en de gecontroleerde beweging testsets van de auteurs, behaalde het HOP-B model state-of-the-art resultaten. Zo behaalde het op Kalantari17 een 28.804 dB PSNR, waarmee het de sterke concurrent Restormer met ~0.5 dB versloeg terwijl het slechts ~60% van de parameters gebruikte (15.69M vs. 26.10M).
• Generalisatie: Wanneer getraind op ExpoMotion en getest op externe real-world datasets (Sen en Tursen), presteerde HOP-B aanzienlijk beter dan modellen getraind op andere datasets (bijv. +4.9 punten in de MUSIQ score vergeleken met training op Kalantari17). Dit valideert het vermogen van de dataset om modellen te leren generaliseren over diverse bewegings- en lichtscenario's.
• Visuele Kwaliteit: Kwalitatieve vergelijkingen laten zien dat HOP ghosting-artefacten rond bewegende objecten (bijv. lantaarnpalen, mensen) effectief verwijdert en details herstelt in extreme schaduwen en highlights waar andere methoden falen of ruis introduceren.
• Ablatie Studies: Het verwijderen van een kerncomponent (GPIA, HOPU, of GGFN) resulteerde in een prestatieverlies van ongeveer 0.4–1.0 dB, wat de noodzaak en synergie van de voorgestelde modules bevestigt.

5. Betekenis en Claims

Het artikel claimt dat ExpoMotion en HOP de kritieke bottleneck van dynamische scène MEF aanpakken, waarbij huidige methoden worstelen met de balans tussen detailherstel en artefactonderdrukking.

• Impact van de Dataset: Door een benchmark te bieden met betrouwbare GT voor dynamische scènes, stellen de auteurs de community in staat om de deghosting-capaciteiten rigoureus te evalueren, voorbij de beperkingen van statische of synthetisch gegenereerde data.
• Methodologische Verschuiving: De introductie van Householder-transformaties biedt een wiskundig onderbouwde benadering van deghosting, waarbij het wordt behandeld als een geometrisch projectieprobleem in plaats van een eenvoudige feature matching taak. Dit maakt een robuustere afhandeling van misalignments mogelijk zonder de geometrische distorties die typisch zijn voor flow-gebaseerde warping.
• Efficiëntie: De voorgestelde methode bereikt superieure prestaties met hoge computationele efficiëntie, wat het geschikt maakt voor praktische implementatie.

Beperkingen: De auteurs erkennen dat het huidige framework is ontworpen voor een drie-input fusie (overbelicht, referentie, onderbelicht). Dit beperkt de directe toepasbaarheid op apparaten of datasets die een variabel aantal belichtingen leveren, een uitdaging die is geïdentificeerd voor toekomstig onderzoek.