High Dynamic Range Imaging Based on an Asymmetric Event-SVE Camera System

Dit artikel presenteert een hardware-algoritme co-ontworpen HDR-beeldvormingssysteem dat een asymmetrische combinatie van een SVE-camera en een eventsensor integreert, waarbij een geavanceerd uitlijningskader en een cross-modaal reconstructienetwerk worden gebruikt om superieure beeldkwaliteit te bereiken in extreme verlichtingsomstandigheden.

De kern

Stel je voor dat je camera een camera is die net zo goed kan zien als een mens, maar dan in situaties waar het licht extreem is. Denk aan een donkere tunnel waar je plotseling de felle zon uitrijdt, of een nachtelijke stad met fel verlichte reclames en diepe schaduwen. Normale camera's raken hierdoor in de war: de felle plekken worden witte vlekken (overbelichting) en de donkere plekken worden zwart (onderbelichting). Alles wat er tussenin zit, verdwijnt.

Deze paper beschrijft een slimme oplossing voor dit probleem, ontwikkeld door onderzoekers van de Nationale Universiteit voor Defensietechnologie in China. Ze hebben een nieuw systeem bedacht dat twee heel verschillende soorten 'ogen' combineert om een perfecte foto te maken, zelfs in de meest extreme lichtomstandigheden.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De twee 'ogen' van het systeem

Het team heeft twee camera's aan elkaar gekoppeld die heel anders werken, maar elkaar perfect aanvullen:

• De SVE-camera (De 'Meester van de Belichting'):
  Stel je voor dat je een raam hebt dat niet overal even donker is. De ene helft is heel donker (goed voor felle zon), de andere helft is heel licht (goed voor donkere hoeken). Deze camera doet precies dat: op één foto heeft hij vier verschillende 'kleurtjes' of filters. Hierdoor ziet hij op één moment zowel de felle zon als de donkere schaduwen. Het nadeel? De foto is een beetje 'mosaïek' en niet altijd scherp genoeg voor snelle bewegingen.

  • Analogie: Het is alsof je vier verschillende brilglazen tegelijk draagt om alles te zien, maar je moet die beelden nog wel aan elkaar puzzelen.

• De Event-camera (De 'Meester van de Beweging'):
  Normale camera's maken foto's als een film: 30 beelden per seconde, of 60. Deze camera doet het anders: hij slaapt bijna, maar als er iets beweegt of het licht verandert, schreeuwt hij direct: "Hier gebeurt er iets!" Hij doet dit met microseconden precisie. Hij ziet beweging en randen heel scherp, maar hij weet niet hoe helder of donker de kleuren precies zijn.

  • Analogie: Het is als een bewakingscamera die alleen piept als er iemand langsloopt. Hij ziet perfect waar iemand loopt, maar niet hoe die persoon eruitziet.

2. Het probleem: Ze kijken niet in dezelfde richting

In de meeste slimme camera's staan de lenzen precies op elkaar. Maar bij dit systeem staan de twee camera's naast elkaar (niet coaxiaal), met verschillende lenzen.

• Het probleem: Als je een foto maakt van een hoekje, ziet de ene camera het links, en de andere rechts. Als je ze simpelweg samenvoegt, krijg je een dubbel beeld of 'spookbeelden' (ghosting).
• De oplossing: Het team heeft een slim algoritme bedacht dat eerst grof de beelden op elkaar afstelt (alsof je twee puzzelstukjes even schuift) en daarna heel precies de randen aan elkaar plakt. Ze gebruiken een trucje met 'frequentie': ze kijken niet naar de kleuren, maar naar de patronen en lijnen, zodat ze de beelden perfect kunnen laten matchen, zelfs als de camera's anders kijken.

3. De 'Slimme Chef' (Het AI-systeem)

Nu hebben ze twee beelden: één met de juiste helderheid (SVE) en één met de perfecte beweging (Event). Hoe maak je daar één perfecte foto van?
Ze hebben een AI-netwerk gebouwd dat fungeert als een slimme chef-kok.

• De chef kijkt naar de ingrediënten. Is het licht te fel? Dan gebruikt hij meer van de 'Event-camera' (die ziet de randen scherp). Is het te donker? Dan gebruikt hij meer van de 'SVE-camera' (die ziet de details in de schaduw).
• In plaats van een vaste receptuur te volgen, leert deze chef ter plekke te beslissen: "Op deze plek is de SVE-camera betrouwbaarder, op die plek is de Event-camera beter."
• Dit zorgt voor een foto waar de felle zon niet wit is, de schaduw niet zwart, en alles scherp is, zelfs als er iemand hard door de foto loopt.

4. Waarom is dit belangrijk?

Vroeger moesten mensen kiezen: of een foto van de zon (dan is de schaduw zwart), of een foto van de schaduw (dan is de zon wit). Of ze moesten wachten tot de zon onderging.
Met dit systeem kunnen robots, zelfrijdende auto's en wetenschappers nu:

• Door tunnels rijden en plotseling de zon zien zonder blind te worden.
• Snelle bewegingen vastleggen zonder wazig te worden.
• In extreme situaties (zoals branden of nachtelijke operaties) nog steeds details zien die voor normale camera's onzichtbaar zijn.

Kortom: Ze hebben twee camera's met heel verschillende sterke punten gekoppeld, een slimme 'puzzel-oplosser' gebouwd om ze op elkaar te laten passen, en een 'slimme chef' die het beste van beide werelden combineert. Het resultaat is een camera die kan zien zoals een mens in de meest moeilijke lichtomstandigheden, maar dan veel sneller en scherper.

Technische samenvatting

Probleemstelling

Hoge dynamische bereik (HDR) beeldvorming blijft een grote uitdaging onder extreme verlichtingsomstandigheden voor conventionele camera's, die vaak overbelichting (verzadiging) of onderbelichting ervaren. Bestaande oplossingen hebben beperkingen:

• Meerdere blootstellingen (Bracketing): Vereisen meerdere opnames, wat leidt tot bewegingsonscherpte en "ghosting" bij snelle beweging.
• Enkele HDR-beelden: Proberen details te hallucineren uit één beeld, maar falen vaak bij het herstellen van verzadigde highlights.
• Event-camera's: Bieden microseconde temporaliteit en een groot dynamisch bereik, maar meten geen absolute intensiteit en lijden aan ruis en gebrek aan een gedefinieerde radiometrische schaal.
• Ruimtelijk Variërende Blootstelling (SVE): Camera's met micro-attenuatie patronen bieden enkele-opname radiometrische diversiteit, maar de reconstructie is foutgevoelig in textuurloze gebieden en bij hoge contrasten.
• Huidige Fusie-methoden: De meeste bestaande methoden gaan uit van coaxiale camera's (dezelfde optische as) of gebruiken vaste fusie-weights. Ze adresseren onvoldoende de specifieke geometrische en radiometrische uitdagingen van niet-coaxiale, heterogene sensoren.

Methodologie

De auteurs presenteren een hardware-algoritme co-ontworpen HDR-systeem dat een SVE-camera (Spatially Varying Exposure) en een event-camera combineert in een asymmetrische configuratie met onafhankelijke optische paden.

1. Hardware Setup:

• Een SVE-camera (prototype) met een 2x2 micro-attenuatie mozaïek (vier verschillende blootstellingsfactoren per pixel) en een Event-camera (Prophesee EVK4).
• De sensoren zijn niet-coaxiaal geplaatst (50mm basislijn) met verschillende optica, wat leidt tot parallax en geometrische misalignement.
• Een hardware-gestuurde synchronisatie zorgt voor een gedeelde trigger (60 Hz), waardoor tijdsverschillen worden geëlimineerd.

2. Twee-staps Cross-Modale Uitlijning (Alignment):
Vanwege de niet-coaxiale opstelling wordt een speciaal uitlijnraamwerk ontwikkeld:

• Fase 1: Grove Uitlijning (Coarse): Gebaseerd op calibratie en feature-geleide homografie-schatting om globale geometrische verschillen te corrigeren.
• Fase 2: Fijne Uitlijning (Fine): Een leerbaar, multi-schaal verfijningsmodule. Deze gebruikt:
  • Ruimtelijke pooling: Om lokale context te stabiliseren en ruis te onderdrukken.
  • Frequentiedomein convolutie (FDConv): Om structurele componenten (hoge frequentie) te scheiden van radiometrische componenten (lage frequentie). Dit verbetert de uitlijning onder extreme verlichting.

3. Cross-Modale HDR Reconstructie Netwerk:

• Encoder-Decoder Architectuur: Verwerkt de SVE-beelden (na demultiplexing in vier blootstellingslagen) en de geaccumuleerde event-streams.
• Feature Fusie: Features van beide modaliteiten worden samengevoegd via convolutie en gating.
• Mutual Information Regularisatie: Wordt gebruikt om modale-invariante structuren te bevorderen.
• Leerbaar Fusie-Verlies (Learnable Fusion Loss): In plaats van vaste weights, leert het netwerk per pixel de betrouwbaarheid van de modaliteiten.
  • In verzadigde gebieden worden event-cues zwaarder gewogen.
  • In niet-verzadigde gebieden worden SVE-intensiteitscues zwaarder gewogen.
  • Dit lost het probleem op van lokale misalignement en variërende signaalkwaliteit.

Belangrijkste Bijdragen

1. Asymmetrisch Event-SVE Prototype: Een nieuw hardware-platform met onafhankelijke optische paden en een gesynchroniseerde acquisitie-pijplijn die elke SVE-blootstellingscyclus koppelt aan het corresponderende event-interval.
2. Nieuw Uitlijnraamwerk: Een tweestapsmethode voor niet-coaxiale geometrie die calibratie-gestuurde homografie combineert met een leerbaar multi-schaal verfijningsmodule (met FDConv) om resterende parallax te minimaliseren.
3. Adaptieve Reconstructie: Een dubbel-tak netwerk met een leerbaar fusie-verlies dat pixel-voor-pixel weights voorspelt om radiometrische SVE-cues en structurele event-beperkingen dynamisch in evenwicht te brengen.
4. Uitgebreide Validatie: Experimenten op zowel synthetische benchmarks als echte opnames met een hardware-prototype.

Resultaten

• Synthetische Data: Het voorgestelde systeem behaalde de beste resultaten in PSNR (24.241 dB), SSIM (0.935) en de laagste LPIPS (0.102) vergeleken met state-of-the-art methoden (zoals HDRev-Net, E2VID, Retinexformer). Dit duidt op superioriteit in radiometrische nauwkeurigheid en structurele reconstructie.
• Echte Data: Op echte opnames (zonder ground truth) presteerde het systeem het beste op perceptuele metrics zoals PIQE (12.82) en Image Entropy (6.91), wat wijst op scherpere details en rijker informatiegehalte.
• Kwalitatieve Verbetering: De methoden tonen aanzienlijk minder "ghosting" en betere herstel van highlights en schaduwen dan bestaande frame-only of event-only benaderingen. De randen blijven scherp en de texturen zijn beter bewaard.
• Ablatie Studies: Het verwijderen van de uitlijnmodule of de leerbare fusie-weights leidde tot significante degradatie in beeldkwaliteit, wat de noodzaak van beide componenten bevestigt.

Betekenis en Conclusie

Dit werk toont aan dat het gezamenlijk optimaliseren van optisch ontwerp, cross-modale uitlijning en computationele fusie een effectieve basis vormt voor betrouwbare HDR-perceptie in dynamische en radiometrisch uitdagende omgevingen.

• Innovatie: Het doorbreekt de beperking van coaxiale systemen en toont aan dat heterogene sensoren (SVE + Event) met onafhankelijke optica succesvol kunnen worden gefuseerd.
• Toepassing: Het systeem is zeer relevant voor toepassingen zoals nachtelijke navigatie, hoge-snelheids industriële inspectie en autonoom rijden, waar extreme lichtverschillen en snelle beweging voorkomen.
• Toekomst: De auteurs wijzen op kansen voor verdere verbetering in bewegingsbewust ontscherpen en aanpassing aan zeer donkere omstandigheden, met als doel real-time implementatie in robotica en wetenschappelijke beeldvorming.