Technische Samenvatting: DeLux – Cross-Modale Lokale Artefactrestauratie in Video met behulp van Neuromorfe Data

1. Probleemstelling

Conventionele RGB-camera's zijn gevoelig voor ernstige verlichtingsartefacten zoals lensflare, schittering (glare), overbelichting en flikkering, met name in buitenomgevingen met extreem dynamische bereiken. Deze artefacten veroorzaken vaak lokale informatieverlies waarbij pixelintensiteiten volledig verzadigd of afgekapt zijn, wat herstel via standaard RGB-only post-processing onmogelijk maakt. Bestaande restauratiemethoden pakken deze problemen meestal geïsoleerd aan (bijv. alleen schittering of alleen overbelichting) of vertrouwen op globale tone mapping. Dat laatste behoudt de structurele integriteit van optische artefacten (zoals flare-stralen) terwijl het dynamisch bereik wordt gecomprimeerd, maar faalt in het volledig herstellen van details die volledig door de degradatie zijn aan het zicht onttrokken. Bovendien ontbreeft in de huidige literatuur een gegeneraliseerd paradigma dat in staat is om gelijktijdig diverse, ruimtelijk discrete verlichtingsdegradaties aan te pakken.

2. Methodologie: De DeLux-pipeline

De auteurs stellen DeLux voor, een modulaire, end-to-end proof-of-concept pipeline die neuromorfe event-streams gebruikt als een structurele prior om de gerichte detectie en inpainting van verlichtingsartefacten in RGB-video te sturen. Het framework ontkoppelt expliciet de detectie van artefacten van de multimodale fusie en de beeld-inpainting. De pipeline bestaat uit vier afzonderlijke stadia:

1. Event-to-Video Reconstructie: Asynchrone event-data van een neuromorfe camera wordt omgezet in dichte grijswaarden videoframes met behulp van getrainde modellen (E2VID of E2VID++). Deze reconstructies dienen als een secundaire modaliteit die helderheidsveranderingen met microseconde precisie vastlegt en een dynamisch bereik heeft dat de 140 dB overstijgt, zelfs wanneer RGB-sensoren verzadigd zijn.
2. Artefact Detectie: Een dedicated UNet-gebaseerd segmentatienetwerk verwerkt het invoer RGB-frame om een pixel-gewijze betrouwbaarheidskaart (artefactmasker) te generen die de waarschijnlijkheid van de aanwezigheid van artefacten (schittering, flare, overbelichting, flikkering) aangeeft. Deze stap wordt getraind op synthetisch gegenereerde artefactmaskers om te generaliseren over verschillende condities.
3. Multimodale Fusie: Het RGB-frame, de event-gebaseerde reconstructie en het artefactmasker worden langs de kanaaldimensie geconcateneerd. Een convolutioneel module mengt deze inputs om een verenigde representatie te creëren. Cruciaal is dat het artefactmasker fungeert als een handmatige override-interface, waardoor het fusiegedrag tijdens de inferentie kan worden geconfigureerd zonder hertraining. Deze fase zorgt ervoor dat de structurele details uit de event-stream primair worden benut in gecorrumpeerde regio's.
4. Artefact Verwijdering: Een finale UNet-gebaseerde module voert gerichte inpainting uit. Het ontvangt de gefuseerde representatie en produceert een schoon, artefact-vrij RGB-beeld. Het model is getraind om gecorrumpeerde regio's te herstellen terwijl ongeaffekte inhoud behouden blijft.

Trainingsstrategie:
De pipeline wordt getraind via gezamenlijke optimalisatie van de detector-, fusie- en remover-modules, terwijl de event-to-video reconstructor bevroren blijft. De trainingsdoelstelling combineert drie verliescomponenten:

• Detectieverlies ($L_{det}$): Huber-loss tussen voorspelde en grondwaarheid artefactmaskers.
• Reconstructieverlies ($L_{recon}$): Een combinatie van Mean Absolute Error (MAE), Multi-Scale Structural Similarity (MS-SSIM), VGG perceptuele loss en Total Variation (TV) regularisatie.
• Non-Mask Loss ($L_{nm}$): Een consistentieterm die bewerkingen in niet-artefact regio's bestraft, wat garandeert dat het model geen schone pixels wijzigt.

Data:
Het systeem wordt getraind op een hybride dataset bestaande uit synthetische artefacten die in schone frames zijn geïnjecteerd (met behulp van CARA en Cityscapes) en real-world neuromorfe data (DSEC, E2VID). Voor real-world evaluatie hebben de auteurs specifieke tijdsvensters uit automotive footage gecureerd waar ernstige artefacten natuurlijk voorkomen.

3. Belangrijkste Bijdragen

• Nieuwe Onderzoeksrichting: Het paper introduceert "cross-modale lokale artefactrestauratie", een paradigma dat lokale verlichtingsartefacten behandelt als modaliteit-specifiek informatieverlies dat wordt gemitigeerd door het integreren van een secundaire sensormodaliteit (neuromorfe events) om RGB-inpainting te sturen.
• DeLux Framework: Het eerste systeem dat is ontworpen om meerdere typen verlichtingsartefacten te detecteren en te verwijderen binnen een enkele deep learning pipeline door standaard video te fuseren met neuromorfe event-data.
• Rigoureus Benchmark: De auteurs vestigen een benchmark bestaande uit zowel synthetische als real-world verlichtingsartefacten, waarbij een evaluatieprotocol wordt geboden voor toekomstige cross-modale restauratiemodellen. Ze brengen synthetische artefactgeneratietools en gecureerde real-world datasets vrij om verder onderzoek te stimuleren.

4. Experimentele Resultaten

De auteurs hebben DeLux geëvalueerd tegen state-of-the-art baselines, inclus_ief single-modality restauratiemodellen (Flare7K++, Wu et al., SHDR), een verenigde single-network aanpak (DAD†), en event-gestuurde HDR-modellen (HDRev-Diff).

• Prestaties op Synthetische Data: DeLux behaalde de hoogste prestaties over alle artefacttypen (schittering, flares, overbelichting) in termen van MS-SSIM, PSNR en MAPE. Het bereikte een gemiddelde MS-SSIM van boven de 0,99 over alle artefacttypen, waarmee het RGB-only baselines en event-gestuurde HDR-modellen aanzienlijk versloeg.
• Real-World Prestaties: Op real-world automotive footage demonstreerde DeLux een reductie van tot wel 88% in de ernst van de artefacten (gemeten door de custom Strong Artifact Suppression metric, SAS). In contrast hiermee faalden globale tone-mapping baselines zoals HDRev-Diff vaak in het onderdrukken van lokale artefacten, wat resulteerde in negatieve SAS-scores voor bepaalde sequenties.
• Efficiëntie: DeLux werkt op 16,5 FPS met 90,2 miljoen parameters op een NVIDIA A100, wat een orde van grootte sneller en lichter is dan diffusion-gebaseerde baselines (bijv. HDRev-Diff op 1,1 FPS met 1,6B parameters).
• Ablatie-studies: De studie bevestigde dat het verwijderen van de event-modaliteit (DeLux-NE) of de expliciete detector (DeLux-ND) de prestaties ernstig verslechtert. De non-mask loss ($L_{nm}$) bleek cruciaal voor het balanceren van detectie-accuratesse met gecontroleerde, lokale reconstructie.

5. Betekenis en Claims

Het paper claimt dat DeLux een significante afwijking vormt van globale verbeteringsbenaderingen. Door de detectie van artefacten expliciet te ontkoppelen van de multimodale fusie, voorkomt het framework de ongewenste wijziging van schone beeldregio's, waardoor het netwerk selectief de secundaire modaliteit kan gebruiken waar de RGB-sensor heeft gefaald.

De auteurs positioneren DeLux als een template voor het aanpakken van ernstige lokale beelddegradaties met behulp van secundaire sensormodaliteiten. Ze argumenteren dat deze cross-modale aanpak verder gaat dan single-sensor beperkingen en een pad biedt naar zeer betrouwbare beeldverwerkingssystemen die in staat zijn te opereren onder ongunstige lichtomstandigheden.

Beperkingen erkend door de auteurs:

• Statische Scènes: Event-camera's hebben inherent moeite met statische scènes waarin geen events worden getriggerd, hoewel de modulaire architectuur de integratie van andere modaliteiten (bijv. thermisch) toestaat om dit te mitigeren.
• Synthetische Evaluatie: Hoewel hoogwaardige synthetische overlays werden gebruikt, kunnen deze de complexe fysieke interactie van licht in complexe lensassemblages niet volledig reproduceren.
• Temporele Consistentie: Omdat de huidige implementatie frames onafhankelijk restaureert, is de output niet gegarandeerd temporeel consistent, wat kan leiden tot zichtbare flikkering. De auteurs identificeren multi-frame modellering als een noodzakelijke richting voor toekomstig werk.
• Optimalisatie: De afhankelijkheid van een bevroren E2VID reconstructor beperkt volledige end-to-end optimalisatie, wat suggereert dat toekomstige pipelines direct ruwe event-representaties zouden kunnen consumeren.