NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness

Het paper introduceert NEC-Diff, een nieuw diffusion-gebaseerd framework dat RAW-beelden en event-camera-data combineert om dynamische scènes met hoge kwaliteit te reconstrueren in extreem donkere omstandigheden, terwijl het tegelijkertijd effectief ruis onderdrukt en een nieuw dataset (REAL) beschikbaar stelt.

De kern

NEC-Diff: De "Super-Oog" voor Donkere Avonturen

Stel je voor dat je 's nachts in een donker bos loopt met een zaklamp die bijna geen batterij meer heeft. Je ziet nauwelijks iets: het beeld is korrelig, wazig en de details zijn verdwenen. Dit is precies wat er gebeurt met een gewone camera in extreme duisternis. Er komen te weinig lichtdeeltjes (fotonen) binnen om een mooi plaatje te maken.

De onderzoekers van deze paper, NEC-Diff, hebben een slimme oplossing bedacht die werkt als een tandem van twee superkrachtige camera's die samenwerken om het duister te verslaan.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Ruis" en het Verlies

Normale camera's hebben twee grote problemen in het donker:

• Ruis: Omdat er zo weinig licht is, beginnen de beelden te "gieren" (zoals een slecht radio-signaal).
• Wazigheid: Als je de camera langer laat openstaan om meer licht te vangen, wordt alles wazig als er beweging is (zoals een auto die voorbijrijdt).

2. De Twee Helden: RAW en "Events"

NEC-Diff gebruikt twee verschillende soorten camera's die elkaar perfect aanvullen:

• De RAW-camera (De "Lichtmeter"):
  Denk aan deze camera als een zeer gevoelige lichtmeter. Hij ziet de totale helderheid van de scène heel goed, maar in het donker is zijn beeld erg korrelig. Hij weet waar het licht is, maar niet precies hoe de details eruitzien.
• De Event-camera (De "Bewegingsjager"):
  Deze camera is heel anders. Hij kijkt niet naar een heel plaatje, maar alleen naar veranderingen. Als een blad valt of een auto voorbijrijdt, schreeuwt hij: "Hier gebeurt er iets!" Hij is extreem snel en ziet beweging heel scherp, maar hij is "blind" voor vlakke, rustige gebieden (zoals een donkere muur).

De Metafoor:
Stel je voor dat je een schilderij moet maken in het donker.

• De RAW-camera is de schilder die de achtergrondkleuren goed ziet, maar de lijnen zijn vervaagd door de duisternis.
• De Event-camera is de schilder die alleen de randen en bewegingen ziet, maar de rest is leeg.
• Als je ze alleen gebruikt, krijg je een korrelig schilderij of een tekening met alleen randen.

3. De Oplossing: NEC-Diff (De "Chef-Kok")

NEC-Diff is de slimme chef-kok die deze twee ingrediënten combineert. Hij gebruikt een geavanceerde techniek (een "diffusiemodel", vergelijkbaar met hoe AI-beelden worden gegenereerd) om het beste plaatje te "ontwikkelen".

Hij doet dit in drie stappen:

1. Samenwerken tegen de ruis (De "Gemeenschappelijke Vijand"):
   De chef weet dat de RAW-camera de lichtverdeling goed ziet. Hij gebruikt dit als een kaart om de ruis in de Event-camera weg te poetsen. Omgekeerd gebruikt hij de scherpe randen van de Event-camera om de korrelige RAW-camera te helpen de details scherp te houden. Ze helpen elkaar, net als twee mensen die samen een zware kist tillen.

2. Slimme Keuze (De "Vertrouwensmeter"):
   Niet elk stukje van het beeld is even goed. Soms is de RAW-camera betrouwbaarder (in rustige gebieden), soms de Event-camera (bij beweging).
   NEC-Diff kijkt continu naar een "Signaal-ruis-verhouding" (SNR). Dit is als een vertrouwensmeter.

   • Voorbeeld: Als de muur heel donker en glad is, vertrouwt de chef op de RAW-camera. Als er een hond langsrent, vertrouwt hij op de Event-camera. Hij mixt de twee beelden dynamisch, precies op het moment dat het nodig is.

3. De "Magische" Restauratie (Diffusie):
   Uiteindelijk gebruikt het systeem een AI-model dat bekend staat om het "ontwikkelen" van beelden uit ruis. Omdat de chef de twee camera's al zo slim heeft gemixt, kan deze AI het eindresultaat prachtig en scherp maken, alsof het een foto is gemaakt in helder daglicht.

4. De Nieuwe "Schatkist" (Het REAL Dataset)

Omdat er geen goede voorbeelden waren van hoe dit eruit moet zien in echt extreme duisternis, hebben de onderzoekers zelf een nieuwe dataset gemaakt genaamd REAL.
Ze hebben een speciale auto gebouwd met twee camera's die perfect op elkaar zijn afgesteld. Ze reden door het donker en namen duizenden foto's en bewegingsdata op. Dit is als het maken van een nieuwe "opleidingsboek" voor AI, zodat de computer kan leren hoe het er echt uitziet in het donker.

Waarom is dit cool?

• Geen wazigheid: Je kunt beweging vastleggen in het donker zonder dat het wazig wordt.
• Geen korrel: De beelden zijn schoon en helder, zelfs als er bijna geen licht is.
• Toekomst: Dit helpt niet alleen bij nachtfoto's, maar ook voor zelfrijdende auto's die 's nachts moeten rijden, of voor reddingswerkers in donkere gebouwen.

Kortom: NEC-Diff is als het geven van een superkracht aan een camera. Door de "lichtgevoelige" RAW-camera en de "bewegingsgevoelige" Event-camera te laten samenwerken als een perfect team, kan het duisternis verslaan en details terugbrengen die voor het menselijk oog onzichtbaar lijken.

Technische samenvatting

Probleemstelling

Het maken van hoogwaardige beelden van dynamische scènes onder extreem donkere omstandigheden (extreem lage verlichting) is een grote uitdaging voor conventionele camera's. Door het gebrek aan fotonen ontstaan er ernstige ruis en verlies van textuurgeweld, wat leidt tot significante beelddegradatie.

• Beperkingen van bestaande methoden: Bestaande methoden voor verlichtingsverbetering (LLIE) worstelen met een afweging tussen ruisreductie en het behoud van textuur. Methoden die alleen op RAW-beelden vertrouwen, kunnen motion blur niet volledig oplossen bij korte belichtingstijden. Methoden die event-camera's gebruiken, missen vaak intensiteitsinformatie in gladde gebieden.
• Het kernprobleem: De meeste bestaande hybride benaderingen (combinatie van frames en events) focussen te veel op het herstellen van textuur via events, maar negeren de inherente ruis in zowel de events als de RAW-beelden. Dit belemmert nauwkeurige reconstructie van pixels onder "foton-gepaarde" (photon-starved) omstandigheden.

Methodologie: NEC-Diff

De auteurs stellen NEC-Diff voor, een nieuw diffusion-gebaseerd framework dat RAW-beelden en event-data hybride combineert. Het framework bestaat uit drie hoofdmodules:

1. Event-RAW Collaborative Noise Suppression (ECNS):

   • Principe: Deze module maakt gebruik van de complementaire sterktes van beide modaliteiten voor wederzijdse ruisreductie.
   • Illuminatie-gestuurde Event-ruisreductie: RAW-beelden hebben een lineaire relatie met de verlichting. Deze informatie wordt gebruikt als een "illuminatie prior" om de ruis in de event-data (die voornamelijk uit shot-ruis bestaat) te sturen.
   • Event-gestuurde Beeldruisreductie: Gedenoiste events bieden hoog-dynamische randinformatie en zijn zeer gevoelig voor beweging. Deze worden gebruikt om ruis in de beelden te onderdrukken zonder fijne texturen te vervagen (over-smoothing).
   • Intensiteitsconsistentie: Een fysiek gemodelleerde verliesfunctie ($L_{cons}$) wordt toegevoegd om te garanderen dat de logaritmische relatie tussen de gedenoiste RAW-beelden en de event-stroom fysiek consistent blijft.

2. SNR-Gestuurde Betrouwbare Informatie Extractie (SRIE):

   • Adaptieve Fusie: In plaats van een vaste fusie, schat deze module dynamisch het Signaal-tot-Ruisverhouding (SNR) van zowel de beelden als de events per ruimtelijk gebied.
   • Selectie: In gebieden met rijke texturen maar weinig licht hebben events vaak een hoger SNR. In gladde gebieden zijn beelden betrouwbaarder. De module selecteert adaptief de meest betrouwbare kenmerken op basis van deze SNR-kaarten om informatieverlies te minimaliseren.

3. Cross-Modal Attentive Diffusion (CAD):

   • Diffusie Model: De gefuseerde, betrouwbare kenmerken worden als conditionele input ingebracht in een diffusion model (gebaseerd op DDIM).
   • Reconstructie: Het model gebruikt deze cross-modal aandacht om de echte beeldverdeling te reconstrueren, zelfs in gebieden met een zeer laag SNR, wat leidt tot een hoge-fideliteit visuele reconstructie.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Een diffusion-gebaseerd framework dat de ruis-textuur afweging oplost door de lineaire lichtrespons van RAW en de bewegingsgevoeligheid van events te combineren.
2. Fysiek Gedreven Constraints: Het introduceren van een intensiteitsconsistentie-verlies dat de fysieke relatie tussen verlichting en events benut voor robuuste ruisreductie.
3. SNR-Gestuurde Fusie: Een mechanisme dat adaptief de betrouwbaarheid van beide modaliteiten inschat om de beste kenmerken te selecteren voor de diffusiestap.
4. REAL Dataset: De auteurs hebben een nieuwe dataset genaamd REAL (Raw and Event Acquired in Low-light) gebouwd. Deze bevat 47.800 pixel-gealigneerde tripletten van:
   • Lage-verlichting RAW-beelden.
   • Lage-verlichting events.
   • Hoogwaardige sRGB Ground Truth (GT).
   • De dataset dekt verlichtingsniveaus van 0,001 tot 0,8 lux en is verzameld in een co-axiale opstelling om bewegingsonscherpte te minimaliseren.

Resultaten

• Kwantitatieve Prestaties: NEC-Diff presteert state-of-the-art (SOTA) op zowel synthetische (LLRVD-simu) als de nieuwe REAL dataset.
  • Op de REAL dataset bereikte NEC-Diff een PSNR van 24,51 dB, wat aanzienlijk hoger is dan de beste concurrenten (bijv. 22,72 dB voor RID, 21,58 dB voor ELEDNet).
  • Het scoort ook het hoogst op SSIM (0,742) en LPIPS (0,201), wat aangeeft dat het zowel structureel als perceptueel superieur is.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat NEC-Diff beter in staat is om ruis te onderdrukken terwijl fijne texturen en scherpe randen behouden blijven, in tegenstelling tot methoden die leiden tot over-gesmoorde details of ruisresten.
• Generalisatie: De methode toont sterke generalisatie op ongezonde nachtelijke scènes met bewegende objecten, bevestigd door lagere NIQE-scores (een maat voor beeldkwaliteit zonder ground truth).

Significantie

Dit werk is significant omdat het een fundamentele oplossing biedt voor het probleem van beeldvorming in extreme duisternis, waar traditionele sensoren falen. Door de combinatie van RAW-data (voor globale helderheid en lineaire respons) en event-data (voor beweging en randen) binnen een diffusion-framework, overwint NEC-Diff de beperkingen van eerdere hybride methoden. De introductie van de REAL dataset vult een kritiek gat in de literatuur, aangezien er geen bestaande datasets waren die pixel-gealigneerde RAW, events en GT-beelden onder extreem lage verlichting bevatten. Dit opent de deur voor verdere research in robuuste nachtzicht, autonoom rijden en beveiliging in donkere omgevingen.