💻 computer science

DeLux: Cross-Modal Local Artifact Restoration in Video Using Neuromorphic Data

Le document présente DeLux, un nouveau pipeline cross-modal qui exploite les flux d'événements neuromorphiques comme priors structurels pour détecter et inpainter efficacement les artefacts d'éclairage locaux dans les vidéos RGB, surpassant de manière significative les bases de référence existantes, qu'elles soient uniquement RGB ou guidées par événements, dans la restauration des détails obscurcis.

Auteurs originaux : Bartosz Stachowiak, Dariusz Brzezinski

Publié 2026-06-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bartosz Stachowiak, Dariusz Brzezinski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prendre une photo d'un magnifique coucher de soleil, mais que le soleil est si éblouissant qu'il aveugle votre appareil photo. Le résultat est une photo avec un énorme bloc blanc et délavé là où les arbres devraient se trouver, ou peut-être un étrange reflet arc-en-ciel sur l'écran. C'est ce qui arrive aux caméras standards (caméras RGB) lorsque la lumière est trop intense ou complexe. Elles « saturent », ce qui signifie qu'elles perdent tous les détails dans ces zones lumineuses, et une fois que l'information est perdue, il est généralement impossible de la récupérer simplement en regardant la photo à nouveau.

Ce document présente un nouveau système appelé DeLux (qui signifie Deluxe Lux restauration) qui résout ce problème en utilisant une « seconde paire d'yeux » qui ne peut jamais être éblouie.

Le Problème : La Caméra Aveuglée

Considérez une caméra standard comme un œil humain. Si vous fixez directement une lumière aveuglante, votre vision devient blanche et vous ne voyez plus rien derrière elle. Dans le monde numérique, cela crée des « artefacts » comme des reflets, des éclats de lentille (lens flares), des lumières vacillantes ou une surexposition. Les logiciels existants tentent de réparer ces photos en devinant ce qui pourrait s'y trouver, mais ils échouent souvent parce que la donnée originale a complètement disparu.

La Solution : L'Œil à la Vision Surnaturelle

Les auteurs ont réalisé que, tandis que la caméra standard est éblouie, un type spécial de caméra appelé caméra événementielle neuromorphique ne l'est pas.

L'Analogie : Imaginez la caméra standard comme une personne prenant une photo avec une vitesse d'obturation lente. Si un flash se déclenche, la photo est gâchée. La caméra neuromorphique, quant à elle, est comme une personne dotée de réflexes super rapides qui ne remarque que les changements de lumière. Elle ne prend pas de « photo » au sens traditionnel du terme ; elle enregistre des millions de minuscules « sursauts » de changements de lumière par seconde. Même quand le soleil aveugle la caméra standard, cette caméra événementielle peut encore « voir » les détails des arbres et des bâtiments parce qu'elle est sensible aux infimes variations de luminosité que la caméra standard rate.

Comment fonctionne DeLux : La Cuisine en Quatre Étapes

Les auteurs ont construit un pipeline modulaire (une recette étape par étape) appelé DeLux qui combine ces deux caméras pour réparer les mauvaises photos. Voici comment cela fonctionne, en utilisant une analogie de cuisine :

Le Chef de Secours (Event-to-Video) :
D'abord, le système prend les « sursauts » bruts de la caméra événementielle et les transforme en une vidéo fluide en noir et blanc. Considérez cela comme le Chef de Secours qui peut voir clairement dans l'obscurité et dans la lumière vive. Cette vidéo sert de « carte » de ce à quoi la scène ressemble réellement, exempte de l'éblouissement.
Le Repéreur (Détection d'Artefacts) :
Ensuite, une IA intelligente examine la photo originale endommagée et demande : « Où se trouve exactement le problème ? ». Elle dessine un masque numérique (comme un pochoir) sur les zones brillantes et délavées. Elle ne cherche pas encore à réparer toute l'image ; elle idente simplement les zones endommagées.
La Station de Fusion (Fusion Multimodale) :
C'est l'étape magique. Le système prend la photo endommagée, la « carte » claire du Chef de Secours, et le pochoir du Repéreur, et les mélange ensemble. C'est comme un chef qui sait exactement quelle partie de la soupe est brûlée. Il ne fait que gratter la partie brûlée et la remplacer par des ingrédients frais provenant de la marmite du Chef de Secours, laissant le reste de la soupe intact.
Le Réparateur (Suppression d'Artefacts) :
Enfin, le système utilise cette information fusionnée pour « repeindre » les mauvais endroits sur la photo originale. Parce qu'il possède les détails clairs de la caméra événementielle, il peut restaurer les arbres, la route ou le bâtiment qui étaient cachés derrière l'éblouissement.

Pourquoi est-ce important ?

Le document affirme que les méthodes précédentes tentaient de corriger ces problèmes de manière isolée :

Certaines tentaient de corriger l'éblouissement mais échouaient face aux reflets de lentille (lens flares).
D'autres tentaient de corriger la surexposition mais rendaient simplement toute l'image plus sombre (comme mettre des lunettes de soleil) plutôt que de restaurer les détails cachés.
Certaines tentaient d'utiliser la caméra événementielle pour rendre toute l'image plus lumineuse, mais cela conservait souvent les rayons de l'éblouissement disgracieux.

DeLux est différent car c'est le premier système qui cible spécifiquement les dommages locaux. Il ne se contente pas d'éclaircir toute l'image ; il supprime chirurgicalement la mauvaise lumière et remplace uniquement les détails manquants en utilisant les données de la caméra événementielle.

Les Résultats

Les auteurs ont testé DeLux sur :

Des données fictives : Ils ont créé des photos générées par ordinateur avec de faux éblouissements et reflets pour tester si le système pouvait les réparer.
Des données réelles : Ils ont utilisé des séquences de vraies voitures circulant dans des conditions ensoleillées.

Les résultats ont montré que DeLux était bien meilleur pour restaurer les détails cachés que n'importe quelle autre méthode. Il a obtenu un score de plus de 0,99 (sur une échelle où 1,0 est parfait) pour la précision de la restauration de l'image par rapport à la scène originale. Dans les séquences réelles de voitures, il a réduit la sévérité de l'éblouissement jusqu'à 88 %.

Limites (Les petits caractères)

Les auteurs sont honnêtes sur ce que DeLux ne peut pas encore faire :

Scènes Statiques : Les caméras événementielles dépendent du mouvement ou des changements de lumière pour fonctionner. Si une scène est totalement immobile et que la lumière ne change pas, la caméra événementielle peut rester silencieuse, et DeLux ne peut pas aider.
Entraînement Synthétique : Ils ont dû enseigner au système en utilisant des éblouissements factices générés par ordinateur car il est difficile de trouver de vraies photos où l'on possède à la fois la version « ruinée » et la version « parfaite » de la même scène.
Scintillement : Comme le système répare chaque image individuellement, la vidéo restaurée peut parfois présenter un léger scintillement entre les images, bien que les auteurs notent que c'est une direction pour de futurs travaux.

En résumé, DeLux est une façon ingénieuse d'utiliser une caméra « super-sensible » pour aider une caméra « normale » à corriger ses erreurs, nous permettant de voir clairement même quand le soleil tente de nous aveugler.

Résumé Technique : DeLux – Restauration Locale d'Artéfacts Cross-Modaux en Vidéo via des Données Neuromorphiques

1. Énoncé du Problème

Les caméras RGB conventionnelles sont sensibles aux artéfacts lumineux sévères tels que l'éblouissement de l'objectif (lens flare), l'éclat (glare), la surexposition et le scintillement, particulièrement dans les scènes extérieures présentant des plages dynamiques extrêmes. Ces artéfacts provoquent souvent une perte d'information localisée là où les intensités de pixels sont totalement saturées ou écrêtées, rendant toute récupération via un post-traitement standard basé uniquement sur le RGB impossible. Les méthodes de restauration existantes traitent généralement ces problèmes de manière isolée (par exemple, uniquement l'éclat ou uniquement la surexposition) ou s'appuient sur un mappage de tonalité global. Cette dernière approche préserve l'intégrité structurelle des artéfacts optiques (comme les rayons de flare) tout en compressant la plage dynamique, échouant ainsi à récupérer les détails complètement obscurcis par la dégradation. De plus, la littérature actuelle manque d'un paradigme généralisé capable d'adresser simultanément diverses dégradations lumineuses spatialement discrètes.

2. Méthodologie : Le Pipeline DeLux

Les auteurs proposent DeLux, un pipeline de preuve de concept modulaire et de bout en bout qui exploite les flux d'événements neuromorphiques comme un a priori structurel pour guider la détection ciblée et l'inpainting des artéfacts lumineux dans la vidéo RGB. Le cadre découple explicitement la détection d'artéfact de la fusion multimodale et de l'inpainting d'image. Le pipeline se compose de quatre étapes distinctes :

Reconstruction Événement-Vidéo : Les données d'événements asynchrones provenant d'une caméra neuromorphique sont converties en images vidéo en niveaux de gris denses à l'aide de modèles pré-entraînés (E2VID ou E2VID++). Ces reconstructions servent de modalité secondaire, capturant les changements de luminosité avec une précision de l'ordre de la microseconde et une plage dynamique dépassant 140 dB, même lorsque les capteurs RGB sont saturés.
Détection d'Artéfacts : Un réseau de segmentation dédié, basé sur UNet, traite l'image RGB d'entrée pour générer une carte de confiance par pixel (masque d'artéfact) indiquant la probabilité de présence d'un artéfact (éclat, flare, surexposition, scintillement). Cette étape est entraînée sur des masques d'artéfacts générés synthétiquement pour se généraliser à travers diverses conditions.
Fusion Multimodale : L'image RGB, la reconstruction basée sur les événements et le masque d'artéfact sont concaténés le long de la dimension des canaux. Un module convolutionnel mélange ces entrées pour créer une représentation unifiée. Crucialement, le masque d'artéfact agit comme une interface de commande manuelle (manual-override), permettant de configurer le comportement de fusion lors de l'inférence sans réentraînement. Cette étape garantit que les détails structurels du flux d'événements sont utilisés principalement dans les régions corrompues.
Suppression d'Artéfacts : Un module final basé sur UNet effectue un inpainting ciblé. Il reçoit la représentation fusionnée et produit une image RGB propre et exempte d'artéfacts. Le modèle est entraîné pour restaurer les régions corrompues tout en préservant le contenu non affecté.

Stratégie d'Entraînement :
Le pipeline est entraîné via une optimisation conjointe des modules de détection, de fusion et de suppression, tandis que le reconstructeur événement-vidéo reste gelé. L'objectif d'entraînement combine trois composantes de perte :

Perte de Détection ( $L_{det}$ ) : Perte de Huber entre les masques d'artéfacts prédits et réels.
Perte de Reconstruction ( $L_{recon}$ ) : Une combinaison de l'erreur absolue moyenne (MAE), de la similitude structurelle multi-échelle (MS-SSIM), de la perte perceptuelle VGG et de la régularisation de variation totale (TV).
Perte de Non-Masque ( $L_{nm}$ ) : Un terme de cohérence qui pénalise les modifications dans les zones sans artéfacts, garantissant que le modèle ne modifie pas les pixels sains.

Données :
Le système est entraîné sur un ensemble de données hybride comprenant des artéfacts synthétiques injectés dans des images propres (en utilisant CARIA et Cityscapes) ainsi que des données neuromorphiques réelles (DSEC, E2VID). Pour l'évaluation en conditions réelles, les auteurs ont sélectionné des fenêtres temporelles spécifiques issues de séquences automobiles où des artéfacts sévères surviennent naturellement.

3. Contributions Clés

Nouvelle Direction de Recherche : L'article introduit la "restauration locale d'artéfacts cross-modale", un paradigme qui traite les artéfacts lumineux localisés comme une perte d'information spécifique à une modalité, atténuée par l'intégration d'une modalité de détection secondaire (événements neuromorphiques) pour guider l'inpainting RGB.
Framework DeLux : Le premier système conçu pour détecter et supprimer plusieurs types d'artéfacts lumineux au sein d'un seul pipeline d'apprentissage profond en fusionnant une vidéo standard avec des données d'événements neuromorphiques.
Benchmark Rigoureux : Les auteurs établissent un benchmark comprenant des artéfacts lumineux synthétiques et réels, fournissant un protocole d'évaluation pour les futurs modèles de restauration cross-modaux. Ils publient des outils de génération d'artéfacts synthétiques et des jeux de données réels curatés pour favoriser la recherche ultérieure.

4. Résultats Expérimentaux

Les auteurs ont évalué DeLux par rapport à des modèles de référence de pointe, incluant des modèles de restauration à modalité unique (Flare7K++, Wu et al., SHDR), une approche unifiée à réseau unique (DAD†), et des modèles HDR guidés par les événements (HDRev-Diff).

Performance sur Données Synthétiques : DeLux a obtenu les meilleures performances sur tous les types d'artéfacts (éclats, flares, surexposition) en termes de MS-SSIM, PSNR et MAPE. Il a atteint un MS-SSIM moyen supérieur à 0,99 pour tous les types d'artéfacts, surpassant nettement les modèles de base uniquement RGB et les modèles HDR guidés par les événements.
Performance en Conditions Réelles : Sur des séquences automobiles réelles, DeLux a démontré une réduction allant jusqu'à 88 % de la sévérité des artéfacts (mesurée par la métrique personnalisée Strong Artifact Suppression, SAS). En revanche, les modèles de base de mappage de tonalité globale comme HDRev-Diff ont souvent échoué à supprimer les artéfacts localisés, résultant en des scores SAS négatifs pour certaines séquences.
Efficacité : DeLux opère à 16,5 FPS avec 90,2 millions de paramètres sur un NVIDIA A100, ce qui le rend un ordre de grandeur plus rapide et plus léger que les modèles de base basés sur la diffusion (par exemple, HDRev-Diff à 1,1 FPS avec 1,6 milliard de paramètres).
Études d'Ablation : L'étude a confirmé que la suppression de la modalité événementielle (DeLux-NE) ou du détecteur explicite (DeLux-ND) dégrade sévèrement les performances. La perte de non-masque ( $L_{nm}$ ) s'est révélée critique pour équilibrer la précision de la détection et la reconstruction localisée contrôlée.

5. Signification et Revendications

L'article affirme que DeLux représente un changement majeur par rapport aux approches d'amélioration globale. En découplant explicitement la localisation de l'artéfact de la fusion multimodale, le framework empêche l'altération injustifiée des régions d'images saines, permettant au réseau d'utiliser sélectivement la modalité secondaire uniquement là où le capteur RGB a échoué.

Les auteurs positionnent DeLux comme un modèle pour traiter les dégradations d'images localisées sévères à l'aide de modalités de détection secondaires. Ils soutiennent que cette approche cross-modale dépasse les contraintes des capteurs uniques, offrant une voie vers des systèmes de traitement d'image hautement fiables capables d'opérer dans des conditions d'éclairage défavorables.

Limites Reconnues par les Auteurs :

Scènes Statiques : Les caméras à événements peinent intrinsèquement dans les scènes statiques où aucun événement n'est déclenché, bien que l'architecture modulaire permette l'intégration d'autres modalités (ex: thermique) pour pallier cela.
Évaluation Synthétique : Bien que des superpositions synthétiques de haute qualité aient été utilisées, elles ne peuvent reproduire pleinement l'interaction physique complexe de la lumière dans les assemblages de lentilles réels.
Cohérence Temporelle : Comme l'implémentation actuelle restaure les images de manière indépendante, les sorties ne sont pas garanties comme étant temporellement cohérentes, ce qui peut entraîner un scintillement visible. Les auteurs identifient la modélisation multi-images comme une direction nécessaire pour les travaux futurs.
Optimisation : La dépendance à un reconstructeur E2VID gelé limite l'optimisation complète de bout en bout, suggérant que les futurs pipelines pourraient ingérer directement les représentations d'événements bruts.