High Dynamic Range Imaging Based on an Asymmetric Event-SVE Camera System

Cet article présente un système d'imagerie à haute plage dynamique (HDR) co-conçu matériellement et algorithmiquement, qui intègre de manière asymétrique une caméra à exposition spatialement variable (SVE) et un capteur d'événements, en utilisant un cadre d'alignement intermodal et un réseau de reconstruction fusionné pour améliorer la récupération des hautes lumières et la fidélité des contours dans des environnements à fort contraste lumineux.

L'essentiel

📸 Le Problème : La caméra qui "cligne des yeux"

Imaginez que vous essayez de prendre une photo d'un paysage magnifique où il y a un soleil très brillant d'un côté et une forêt très sombre de l'autre.

• Les caméras classiques sont comme des yeux humains fatigués : si vous regardez le soleil, tout devient blanc (surchargé) et vous ne voyez plus rien. Si vous regardez la forêt, tout devient noir et vous ne voyez plus rien non plus. C'est ce qu'on appelle un problème de "plage dynamique".
• Pour résoudre ça, les ingénieurs ont créé des caméras spéciales qui prennent plusieurs photos à la fois (une pour le soleil, une pour l'ombre) et les mélangent. Mais c'est lent et si le sujet bouge, ça fait des "fantômes" (des doubles images floues).

🚀 La Solution : Une équipe de deux super-héros

Les auteurs de ce papier ont eu une idée géniale : au lieu d'utiliser une seule caméra, ils ont créé un système avec deux caméras différentes qui travaillent ensemble comme une équipe de choc.

1. La Caméra "SVE" (Le Photographe Patient) :

   • Imaginez une caméra qui porte des lunettes de soleil avec des verres de différentes teintes sur chaque pixel. Certains pixels sont très sombres (pour voir le soleil sans être ébloui), d'autres sont clairs (pour voir les ombres).
   • Elle prend une seule photo, mais elle contient en réalité quatre niveaux d'exposition mélangés. C'est comme si elle prenait 4 photos instantanément en un seul clic.
   • Le bémol : Elle est un peu lente et si l'objet bouge vite, l'image peut être floue.

2. La Caméra "Événementielle" (Le Chronométreur Ultra-Rapide) :

   • Cette caméra ne prend pas de photos complètes. Elle ne regarde que ce qui change. Si un oiseau passe, elle dit "Mouvement ici !". Si une lumière s'allume, elle dit "Lumière là !".
   • Elle est incroyablement rapide (elle voit des choses que l'œil humain ne peut pas suivre) et ne se lasse jamais, même dans le noir total ou sous un soleil de plomb.
   • Le bémol : Elle ne voit pas les couleurs ni les textures, juste les contours et les mouvements.

🧩 Le Défi : Deux caméras qui ne regardent pas dans la même direction

Le problème majeur de ce système, c'est que les deux caméras ne sont pas collées l'une à l'autre (elles ne sont pas "coaxiales"). Elles sont séparées par quelques centimètres, comme deux yeux humains.

• Si vous regardez un objet, votre œil gauche et votre œil droit ne le voient pas exactement sous le même angle. C'est ce qu'on appelle le parallaxe.
• Si on essaie de mélanger les images sans faire attention, on obtient un résultat flou et déformé, comme si on essayait de coller deux puzzles qui ne correspondent pas.

🛠️ La Magie : L'alignement et la fusion intelligente

Pour résoudre ce casse-tête, les chercheurs ont inventé un système en deux étapes :

1. L'Alignement "Grossier" puis "Fin" (Le GPS et le Microscope) :

   • D'abord, ils utilisent un algorithme pour faire une première approximation, comme un GPS qui vous dit "vous êtes dans la bonne rue".
   • Ensuite, ils utilisent un outil très précis (basé sur les fréquences, un peu comme un égaliseur de musique qui sépare les basses des aigus) pour ajuster pixel par pixel. Cela permet de corriger les petits décalages causés par le fait que les caméras ne sont pas au même endroit.

2. La Fusion Apprenante (Le Chef d'Orchestre) :

   • Une fois les images alignées, il faut les mélanger. Au lieu de simplement ajouter les deux images ensemble (ce qui ferait une soupe), ils utilisent une intelligence artificielle qui apprend à chaque instant quelle caméra faire confiance.
   • Analogie : Imaginez un chef d'orchestre. Quand il y a du soleil, il dit à la caméra "SVE" : "Toi, tu es la star, chante fort !". Mais quand il y a du mouvement rapide ou de l'ombre, il dit à la caméra "Événementielle" : "Toi, prends le relais, tu vois mieux le mouvement !".
   • Cette décision n'est pas fixe ; elle change pixel par pixel pour obtenir le résultat parfait.

🌟 Le Résultat : La photo parfaite

Grâce à cette méthode, le système produit des images HDR (Haute Plage Dynamique) incroyables :

• Pas de zones blanches brûlées (le soleil est visible).
• Pas de zones noires perdues (les ombres sont claires).
• Pas de flou ni de fantômes, même si les objets bougent très vite.

En résumé : C'est comme si on avait donné à une caméra classique des yeux de mouches (pour voir tout autour) et un cerveau de faucon (pour voir le mouvement), le tout synchronisé par un chef d'orchestre intelligent qui sait exactement quand utiliser quel super-pouvoir. Cela ouvre la voie à des voitures autonomes plus sûres, des robots plus intelligents et des caméras capables de filmer n'importe quelle situation, du désert ensoleillé à la nuit noire.

Résumé technique

1. Problématique

L'imagerie à haute plage dynamique (HDR) dans des environnements à fort contraste lumineux (ex: navigation urbaine nocturne, inspection industrielle rapide) reste un défi majeur pour les caméras conventionnelles. Ces dernières souffrent de saturation (surexposition) ou de perte de détails dans les zones sombres, limitant leur capacité à capturer simultanément des régions très brillantes et très sombres.

Les solutions existantes présentent des limites :

• Caméras conventionnelles : Nécessitent des bracketing d'exposition multiples, ce qui introduit des artefacts de mouvement (fantômes) et des flous.
• Caméras à événements (Event Cameras) : Offrent une résolution temporelle microseconde et une grande plage dynamique, mais ne mesurent pas l'intensité absolue et souffrent de bruit et de biais de seuil de contraste.
• Caméras à exposition spatialement variable (SVE) : Capturent plusieurs niveaux d'exposition en une seule prise de vue via un motif de micro-atténuation, mais leur reconstruction est sensible aux erreurs dans les zones sans texture ou aux bords à fort contraste.

De plus, la fusion de ces modalités est souvent entravée par des géométries non coaxiales (capteurs montés côte à côte avec des optiques différentes), créant des problèmes d'alignement, de parallaxe et d'hétérogénéité radiométrique que les méthodes actuelles ne traitent pas efficacement.

2. Méthodologie

Les auteurs proposent un système d'imagerie hybride asymétrique combinant une caméra SVE et une caméra à événements, couplé à une architecture logicielle co-conçue pour l'alignement et la fusion.

A. Configuration Matérielle (Hardware)

• Système Asymétrique : Deux capteurs indépendants avec des chemins optiques distincts (non coaxiaux).
  • Caméra SVE : Prototype interne avec une mosaïque de micro-atténuation 2x2 (facteurs d'atténuation : 0.95, 0.45, 0.55, 0.005). Résolution effective 1024x1224.
  • Caméra à événements : Prophesee EVK4 (1280x720).
• Synchronisation : Un déclencheur matériel commun à 60 Hz synchronise les cycles d'exposition SVE et le flux d'événements, éliminant les décalages temporels logiciels.

B. Pipeline Algorithmique

Le système repose sur trois étapes clés :

1. Alignement Croisé en Deux Étages (Cross-Modal Alignment) :

   • Étape 1 : Alignement grossier (Coarse) : Estimation d'une homographie globale guidée par la calibration et des correspondances de caractéristiques (sans détecteur de points) pour corriger les décalages géométriques majeurs dus à la parallaxe.
   • Étape 2 : Affinement (Fine) : Un module d'apprentissage profond multi-échelle utilise un pooling spatial (pour stabiliser le contexte local) et une convolution dans le domaine fréquentiel (FDConv). La FDConv sépare les composantes structurelles (hautes fréquences) des variations radiométriques (basses fréquences), permettant un alignement robuste même sous des conditions d'éclairage extrêmes.

2. Réseau de Reconstruction HDR :

   • Architecture en deux branches (SVE et Événements) avec des encodeurs séparés.
   • Fusion : Les caractéristiques sont concaténées et fusionnées via des blocs d'interaction convolutifs.
   • Régularisation : Utilisation de l'information mutuelle (MI) pour encourager une structure invariante aux modalités entre les branches SVE et événements.
   • Décodeur : Reconstruction de l'image HDR finale via des connexions résiduelles de type U-Net.

3. Perte de Fusion Apprenable (Learnable Fusion Loss) :

   • Contrairement aux poids fixes, un réseau léger prédit des poids de fusion par pixel.
   • Ce mécanisme adapte dynamiquement la contribution de chaque modalité : les données SVE sont privilégiées dans les zones non saturées, tandis que les événements dominent dans les zones surexposées, floues ou en mouvement rapide.
   • La fonction de coût totale combine la fidélité radiométrique, la similarité structurelle (SSIM), la perte perceptuelle (VGG), l'information mutuelle et la perte de fusion apprenable.

3. Contributions Clés

1. Prototype Asymétrique : Construction d'un système hybride Event-SVE avec des chemins optiques indépendants et un pipeline d'acquisition synchronisé matériellement.
2. Cadre d'Alignement Robuste : Proposition d'un cadre d'alignement croisé en deux étapes (homographie + raffinement multi-échelle avec FDConv) spécifiquement conçu pour gérer la géométrie non coaxiale et l'hétérogénéité des capteurs.
3. Fusion Adaptative : Introduction d'une perte de fusion apprenable qui pondère dynamiquement les indices radiométriques (SVE) et les contraintes structurelles (événements) au niveau du pixel, surpassant les méthodes à poids fixes.
4. Validation Complète : Évaluation sur des benchmarks synthétiques (avec vérité terrain) et des captures réelles, démontrant des améliorations significatives par rapport aux méthodes unimodales ou de fusion existantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur des données synthétiques et réelles.

• Données Synthétiques :

  • La méthode proposée obtient les meilleurs scores de PSNR (24.24 dB) et SSIM (0.935), ainsi que le score LPIPS le plus bas (0.102), surpassant les méthodes de l'état de l'art (HDRev-Net, E2VID, etc.).
  • Cela indique une meilleure fidélité radiométrique et une reconstruction structurelle plus précise, notamment dans les hautes lumières et les ombres profondes.

• Données Réelles (Sans vérité terrain) :

  • Utilisation de métriques sans référence (NIQE, PIQE) et de l'entropie de l'image.
  • La méthode obtient le meilleur score PIQE (12.82) et l'entropie la plus élevée (6.91), suggérant une netteté perceptive supérieure et une richesse d'information.
  • Qualité visuelle : Les résultats montrent une récupération efficace des hautes lumières (sans saturation), une préservation des textures fines et une réduction significative des artefacts de fantômes (ghosting) et du flou de mouvement par rapport aux méthodes basées uniquement sur des images ou des événements.

• Études d'Ablation :

  • La suppression de l'alignement ou de la perte de fusion apprenable dégrade fortement la qualité (augmentation du flou, des fantômes et réduction de la récupération des hautes lumières), confirmant la nécessité de chaque composant du système.

5. Signification et Impact

Ce travail démontre que l'intégration matérielle et algorithmique de capteurs hétérogènes (SVE et événements) permet de surmonter les limitations fondamentales de la plage dynamique des caméras classiques.

• Avantage Principal : La capacité à capturer des scènes à très fort contraste dynamique et à haute vitesse sans artefacts de mouvement, grâce à la complémentarité des données (intensité multi-exposition + changements temporels précis).
• Innovation Technique : La gestion explicite de la géométrie non coaxiale et l'adaptation dynamique des poids de fusion ouvrent la voie à des systèmes de perception robustes pour des applications critiques comme la conduite autonome, la robotique et l'imagerie scientifique rapide.
• Perspectives : Les auteurs suggèrent des améliorations futures pour gérer les mouvements extrêmement rapides (flou SVE) et les conditions de très faible luminosité, ainsi que le déploiement temps réel.

En résumé, cette étude établit une nouvelle référence pour l'imagerie HDR en proposant une solution complète, du matériel à l'algorithme, capable de fonctionner dans des environnements radiométriques et dynamiques extrêmes.