💻 computer science

Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

Cet article propose une approche de modélisation neuronale consciente de la 3D pour l'imagerie RGB-NIR robuste en faible luminosité qui récupère efficacement des images RGB propres en fusionnant des observations RGB bruitées avec des indices NIR dans un espace 3D, éliminant ainsi le besoin de supervision RGB propre tout en démontrant une généralisation supérieure à travers différents niveaux de bruit.

Auteurs originaux : Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

Publié 2026-08-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prendre une photo parfaite dans une pièce plongée dans le noir complet. Vous pointez votre appareil, appuyez sur le déclencheur, et vous obtenez un chaos granuleux de statique. C'est la lutte quotidienne de l'« imagerie en faible luminosité » en vision par ordinateur. Pendant des décennies, les scientifiques ont tenté de résoudre ce problème soit en attendant plus longtemps que l'appareil capte la lumière (ce qui provoque un flou de mouvement), soit en utilisant des mathématiques complexes pour deviner à quoi la photo devrait ressembler. Mais il existe une astuce ingénieuse : la lumière proche infrarouge (NIR). Bien que nos yeux ne puissent pas la voir, les caméras le peuvent, et le NIR se comporte comme une lampe de poche fantomatique qui révèle la forme et la texture des objets même dans l'obscurité totale, bien qu'il les présente en une échelle de gris monochrome. La grande question a toujours été : pouvons-nous utiliser cette carte grise fantomatique pour réparer nos photos colorées et bruitées sans avoir besoin d'une photo de référence « parfaite » pour apprendre à l'ordinateur ce qu'il doit faire ? Habituellement, pour apprendre à un ordinateur à nettoyer une photo, il faut lui montrer une version sale et une version propre côte à côte. Mais dans le monde réel, obtenir cette version propre dans l'obscurité est souvent impossible.

Ce document, intitulé « Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark », propose une nouvelle façon de résoudre ce casse-tête. Les auteurs, une équipe de l'Université de Tokyo et d'autres institutions, suggèrent qu'au lieu d'essayer de nettoyer une seule image 2D, nous devrions d'abord construire un modèle 3D de la scène. Pensez-y de cette manière : si vous avez une photo floue et bruitée d'un château en Lego prise dans le noir, et une photo grise et nette du même château prise avec une caméra infrarouge, les anciennes méthodes tentent de coller les détails gris sur la photo en couleur comme un autocollant. Ce document soutient que c'est la mauvaise approche. Au lieu de cela, ils construisent une sculpture 3D virtuelle du château dans l'esprit de l'ordinateur. Ils utilisent la photo grise nette (NIR) pour définir la forme de la sculpture, puis ils utilisent la photo en couleur (RGB) bruitée pour la peindre, mais ils le font de manière à forcer la peinture à ne coller que là où la forme est cohérente.

Les chercheurs ont découvert qu'en combinant ces deux types de lumière dans un espace 3D, ils pouvaient reconstruire une image colorée et nette sans jamais voir de version « propre » de la photo originale. Ils ont identifié deux obstacles majeurs dans ce processus. Premièrement, l'ordinateur continuait d'apprendre la statique aléatoire (le bruit) de la photo en couleur comme s'il s'agissait de détails réels, créant un étrange motif en « damier ». Pour corriger cela, ils ont appris à l'ordinateur à écouter le « rythme » (la fréquence) de la photo infrarouge plutôt que celui de la photo en couleur bruitée, neutralisant ainsi efficacement la statique. Deuxièmement, ils ont réalisé que la même nuance de gris dans la photo infrarouge pouvait correspondre à de nombreuses couleurs différentes dans la réalité (un mur gris pourrait être rouge, bleu ou vert). Pour résoudre cela, ils ont ajouté un système spécial de « code couleur » qui permet à l'ordinateur de deviner la bonne couleur à partir d'une liste de possibilités, plutôt que de simplement les mélanger en un brun boueux.

L'équipe a testé son idée sur des scènes générées par ordinateur ainsi que sur des captures du monde réel, incluant une scène avec une chouette et une autre avec un rover. Ils ont comparé leur méthode à de nombreuses techniques existantes, y compris celles qui reposent sur de vastes quantités de données d'entraînement propres. Les résultats ont montré que leur méthode sensible à la 3D produisait des images plus nettes, avec de meilleures couleurs et moins d'artefacts, même lorsque le bruit était extrêmement sévère. Ils ont démontré que cette approche fonctionne à travers différents niveaux d'obscurité et de bruit sans nécessiter les photos de référence « propres » impossibles dont les autres méthodes ont besoin. Bien que le système fonctionne actuellement mieux sur des scènes fixes et rencontre des difficultés si les caméras ne sont pas parfaitement alignées, le document suggère que cela constitue une étape significative vers la création de caméras capables de voir clairement dans l'obscurité, en utilisant uniquement la lumière qu'elles peuvent déjà capturer.

Résumé Technique : Vers une imagerie RGB-NIR robuste et consciente de la 3D dans l'obscurité

Énoncé du Problème

L'imagerie robuste en faible luminosité reste un défi fondamental en vision par ordinateur. Alors que les stratégies conventionnelles comme la pose longue et la photographie par rafale souffrent du flou de mouvement et de problèmes de visibilité, et que les méthodes d'amélioration existantes basées sur l'apprentissage profond dépendent souvent de triplets « RGB-NIR-RGB propre » bruyants, ces modèles supervisés présentent une faible généralisation cross-domaine et une robustesse limitée sous des niveaux de bruit variables. Il existe une lacune critique dans l'obtention d'une amélioration robuste en faible luminosité en utilisant uniquement des observations en Proche Infrarouge (NIR) et RGB bruitées, sans dépendre d'aucune forme de supervision RGB propre.

Méthodologie

L'article propose une nouvelle architecture de fusion neuronale consciente de la 3D qui exploite un cadre de rendu volumique pour fusionner implicitement des observations RGB extrêmement bruitées avec des indices NIR dans un espace 3D. L'approche est construite sur des Perceptrons Multicouches (MLP) et le rendu volumique, redessinés pour exploiter les propriétés complémentaires des modalités RGB-NIR sans vérité terrain RGB propre.

Composants Architecturaux Clés

Structure de Fusion Consciente de la 3D (MLP conditionné par le NIR) :
- Contrairement à une structure parallèle où des MLP distincts gèrent le RGB et le NIR, la méthode proposée emploie une structure conditionnée par le NIR.
- Un MLP NIR estime la densité volumique ( $\sigma$ ) en utilisant l'observation NIR.
- La sortie du MLP NIR est injectée dans le MLP RGB pour fournir un guidage structurel. Crucialement, une stratégie d'arrêt de gradient empêche les observations RGB bruitées de dégrader l'apprentissage de la représentation NIR.
- Cette conception permet au MLP RGB de tirer parti de l'information structurelle encodée dans le NIR tout en préservant l'intégrité de la représentation NIR, permettant de récupérer efficacement les détails de texture 2D fins que la cohérence 3D pure pourrait manquer.
Encodage Positionnel Modulé par le NIR (NIR-P.E.) :
- L'encodage positionnel (P.E.) sinusoïdal standard appliqué aux coordonnées 3D ( $x$ ) et aux directions de vue ( $d$ ) conduit souvent à des « artefacts de damier » sous un bruit sévère, car le réseau s'adapte excessivement au bruit haute fréquence plutôt qu'aux détails structurels.
- L'analyse du domaine fréquentiel révèle que le RGB propre et le NIR partagent des distributions de fréquences lisses similaires, tandis que le RGB bruité est dominé par un bruit haute fréquence aléatoire.
- Pour remédier à cela, les auteurs appliquent le P.E. à l'estimation NIR ( $c_N$ ) au lieu des coordonnées spatiales. Le MLP RGB prend en entrée $x$ , $d$ , et l'encodage $\gamma(c_N)$ .
- Cela agit comme une modulation alignée sur les fréquences, amplifiant les fréquences structurellement cohérentes présentes dans le NIR tout en supprimant les composantes induites par le bruit provenant de la supervision RGB bruitée.
MLP de Code de Couleur (C.C. MLP) :
- La cartographie du NIR vers le RGB est intrinsèquement mal posée ; une seule valeur NIR peut correspondre à plusieurs couleurs RGB distinctes (par exemple, des objets de couleurs différentes ayant des réflectances similaires dans le NIR). Les MLP standards, en raison de leur lissage, ont tendance à produire des estimations RGB « mélangées » ou moyennées pour des points ayant des valeurs NIR identiques.
- Pour résoudre cette ambiguïté, un MLP de Code de Couleur est introduit pour apprendre une distribution de probabilité des couleurs pour chaque valeur NIR.
- Il prédit une distribution de probabilité logarithmique non uniforme ( $\pi$ ) et utilise le Gumbel-Softmax pour échantillonner un code de couleur "one-hot" ( $\delta$ ).
- Ce code est injecté dans le MLP RGB, permettant au modèle de distinguer les différentes couleurs RGB partageant la même valeur NIR, préservant ainsi la diversité des représentations de couleurs.

Optimisation

Le modèle est optimisé en minimisant la perte photométrique L2 entre les estimations rendues et les observations. Notamment, la fonction de perte ne contient pas de supervision RGB propre. À la place, elle minimise la différence entre le NIR/RGB rendu et le RGB/NIR observé. L'observation RGB bruitée est amplifiée par un hyperparamètre $\phi$ pour tenir compte des différences d'exposition.

Principales Contributions

Un nouveau modèle de fusion conscient de la 3D : L'article propose un modèle pour l'imagerie sombre RGB-NIR qui fusionne efficacement les observations RGB bruitées avec les indices NIR dans un espace 3D sans nécessiter de supervision RGB propre.
Composants Architecturaux Pertinents : Deux composants spécifiques sont introduits pour débloquer le potentiel complémentaire des modalités RGB-NIR :
- Encodage Positionnel Modulé par le NIR : Pour supprimer le surapprentissage induit par le bruit et éliminer les artefacts de damier.
- MLP de Code de Couleur : Pour résoudre l'ambiguïté fondamentale NIR-vers-RGB et prévenir le mélange de couleurs.
Jeux de Données : Les auteurs contribuent à la recherche en fournissant des jeux de données synthétiques et réels contenant des images NIR et des observations RGB bruitées pour faciliter les recherches futures.

Résultats et Évaluation

Le cadre proposé a été évalué sur des jeux de données synthétiques (générés via Mitsuba3) et des captures réelles (utilisant une caméra JAI FS-3200T10GE-NNC).

Données Synthétiques : Le modèle a été testé sur cinq niveaux de bruit ( $s \in \{1/10, \dots, 1/200\}$ ). Il a systématiquement surpassé les méthodes supervisées de pointe (SANet, NAID), les méthodes non supervisées (NVEU) et d'autres approches basées sur NeRF (RawNeRF, LLNeRF) en termes de SSIM, PSNR et LPIPS.
Données Réelles : Les évaluations comprenaient des métriques sans référence (PI, MUSIX, MANIQA) et une évaluation subjective humaine (HSE). La méthode proposée a obtenu les meilleurs scores sur toutes les métriques, démontrant une intégrité structurelle et une fidélité de couleur supérieures par rapport aux autres modèles de référence.
Études d'Ablation : Supprimer le NIR-P.E. entraînait de graves artefacts de damier. Supprimer le MLP C.C. entraînait des artefacts de mélange où des couleurs distinctes étaient fusionnées. Le modèle complet était nécessaire pour une reconstruction de haute fidélité.
Généralisation dans le Domaine RAW : La méthode a également été évaluée dans le domaine RAW 12 bits, montant qu'elle se généralise efficacement et surpasse les bases comme RawNeRF et NVEU sans nécessiter de balance des blancs ou de correction de couleur.

Signification et Revendications

L'article affirme qu'une amélioration robuste en faible luminosité peut être obtenue en utilisant uniquement des observations NIR et RGB bruitées, éliminant ainsi le besoin de données de supervision RGB propres, difficiles à acquérir. En incorporant une modélisation neuronale consciente de la 3D, la méthode se généralise à travers différents niveaux de bruit et scénarios où les modèles supervisés traditionnels échouent. Ce travail démontre que les représentations neuronales implicites, lorsqu'elles sont soigneusement redessinées pour tenir compte des caractéristiques spécifiques des modalités RGB-NIR (alignement fréquentiel et ambiguïté de couleur), peuvent effectivement récupérer des images propres à partir d'entrées extrêmement bruitées. Les auteurs soulignent que cette approche offre une nouvelle perspective pour l'imagerie sombre, proposant une solution à la fois robuste et généralisable sans les contraintes des données d'entraînement appariées.