💻 computer science

Frequency-Decomposed INR for NIR-Assisted Low-Light RGB Image Denoising

Cet article propose une méthode de restauration d'images en faible luminosité assistée par infrarouge proche (NIR) basée sur une représentation neuronale implicite découplée en fréquence (FDINR), qui exploite les corrélations intermodales pour reconstruire séparément les composantes basse fréquence de l'RGB et haute fréquence du NIR afin d'améliorer la qualité de l'image et la reconstruction à résolution arbitraire.

Auteurs originaux : Ligen Shi, Zengyu Pang, Chang Liu, Shuchen Sun, Jun Qiu

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ligen Shi, Zengyu Pang, Chang Liu, Shuchen Sun, Jun Qiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌙 Le Problème : La caméra qui a peur du noir

Imaginez que vous êtes un drone qui vole au crépuscule ou dans une forêt sombre. Votre caméra (qui voit la lumière visible, comme nos yeux) a un gros problème : il n'y a pas assez de lumière. Pour compenser, elle "brute" le signal, ce qui crée beaucoup de grain (du bruit) et efface les détails fins. C'est comme essayer de dessiner un portrait précis avec un crayon qui tremble dans le noir : vous voyez les grandes formes, mais les détails sont flous et les couleurs sont faussées.

Pour aider cette caméra, les chercheurs ont une idée géniale : utiliser une caméra infrarouge (NIR) en plus.

La caméra visible (RGB) : Elle a de belles couleurs, mais dans le noir, elle est très "bruyante" et perd les détails.
La caméra infrarouge (NIR) : Elle ne voit pas les couleurs, mais elle voit très bien les contours et les textures, même dans le noir total, car elle capte mieux la lumière résiduelle.

Le défi ? Comment fusionner ces deux images sans créer un monstre hybride ? Si on les mélange simplement, on risque d'avoir une image avec les textures de l'infrarouge mais des couleurs bizarres (comme un visage vert avec des yeux rouges).

💡 La Solution : FD-INR (Le Chef d'Orchestre Fréquentiel)

Les chercheurs proposent une nouvelle méthode appelée FD-INR. Pour faire simple, imaginez que cette méthode ne regarde pas l'image comme une grille de pixels (comme une vieille photo numérique), mais comme une chanson continue.

Voici comment cela fonctionne, avec une analogie musicale :

1. Séparer les instruments (Décomposition des fréquences)

Imaginez que l'image est une symphonie.

Les basses fréquences (les notes graves) correspondent aux grandes formes, aux couleurs générales et à la luminosité. C'est la "base" de la chanson.
Les hautes fréquences (les notes aiguës) correspondent aux détails fins, aux textures, aux bords nets (comme les feuilles d'un arbre ou les plis d'un vêtement).

Dans le noir, la caméra visible chante faux sur les notes aiguës (trop de bruit), mais elle chante bien les notes graves. La caméra infrarouge, elle, chante parfaitement les notes aiguës mais ne chante pas les notes graves (pas de couleurs).

2. Le Duo Parfait (Le cadre à deux branches)

Au lieu de mélanger tout en vrac, FD-INR crée deux "musiciens" spécialisés qui travaillent ensemble :

Le musicien des Graves (Branche Basse Fréquence) : Il écoute uniquement la caméra visible. Il s'occupe des couleurs et de la luminosité globale. Comme il ne regarde pas les détails fins, il ne se trompe pas sur le bruit.
Le musicien des Aigus (Branche Haute Fréquence) : Il écoute uniquement la caméra infrarouge. Il s'occupe de dessiner les contours précis et les textures. Il ignore les couleurs pour ne pas les gâcher.

3. L'Orchestre Invisible (Représentation Neurale Implicite)

La magie opère grâce à une technologie appelée "Représentation Neurale Implicite" (INR).

L'ancienne méthode : C'est comme essayer de reconstruire une image pixel par pixel sur une grille fixe. Si vous voulez zoomer, ça devient flou.
La méthode FD-INR : C'est comme si l'image était une formule mathématique vivante. Peu importe si vous regardez l'image en petit ou si vous la zoomez énormément (comme un dessin vectoriel), elle reste nette. Le système "sait" comment dessiner l'image à n'importe quelle taille, comme un artiste capable de peindre une toile de 10 cm ou de 10 mètres avec la même précision.

4. L'Équilibriste (Pondération adaptative)

Parfois, le bruit est très fort, parfois il est faible. Le système utilise un "chef d'orchestre intelligent" (une fonction de perte basée sur l'incertitude) qui ajuste le volume de chaque musicien en temps réel.

Si le bruit est terrible, il baisse le volume des détails pour ne pas amplifier le bruit.
Si la lumière est un peu meilleure, il monte le volume des textures.
Cela évite les erreurs de couleur ou les artefacts bizarres.

🏆 Pourquoi c'est génial ?

Pas de pré-entraînement lourd : Contrairement aux autres IA qui doivent apprendre sur des millions d'images avant de fonctionner, cette méthode apprend sur chaque image individuellement au moment où elle est prise. C'est comme un photographe qui s'adapte instantanément à la scène devant lui, sans avoir besoin d'avoir vu des millions de scènes similaires avant.
Zoom infini : Grâce à sa nature "continue", vous pouvez zoomer sur l'image restaurée autant que vous voulez, et les détails resteront nets.
Résultat naturel : L'image finale a les couleurs réalistes de la caméra visible et la netteté incroyable de la caméra infrarouge, sans les défauts habituels (comme les couleurs délavées ou les contours flous).

En résumé

Ce papier propose une méthode intelligente pour réparer les photos prises dans le noir. Au lieu de tout mélanger, elle sépare le travail : une partie s'occupe des couleurs, l'autre des détails, en utilisant une technologie mathématique qui permet de voir l'image avec une clarté parfaite, quelle que soit la taille à laquelle on l'observe. C'est un pas de géant pour les drones, la surveillance de nuit et la vision par ordinateur dans des conditions extrêmes.

1. Problématique

Le papier aborde le défi majeur de la restauration d'images RGB dans des conditions de faible luminosité (nuit, aube, ombres forestières), particulièrement critique pour les drones (UAV) et la perception autonome.

Dégradation du signal : Dans ces conditions, les capteurs RGB souffrent d'un manque de photons, entraînant un bruit quantique et électronique sévère. Cela masque les textures haute fréquence, dégrade le contraste et provoque des biais de couleur.
Limites des méthodes existantes :
- Les méthodes d'amélioration mono-modal (basées sur le Retinex ou les CNN) peinent à distinguer le bruit du détail, conduisant souvent à un lissage excessif ou à des artefacts "hallucinés".
- Les méthodes de fusion multi-modales (RGB + Infrarouge Proche - NIR) actuelles opèrent souvent dans le domaine spatial. Elles négligent les incohérences physiques entre les modalités (différences de réflectivité des matériaux) et les dégradations fréquentielles sélectives (le RGB conserve les basses fréquences fiables mais perd les hautes fréquences, tandis que le NIR conserve des textures haute fréquence à fort rapport signal/bruit).
- La fusion directe dans l'espace spatial provoque souvent des distorsions de couleur et des artefacts dus à une fusion rigide.

2. Méthodologie : FD-INR

Les auteurs proposent FD-INR (Frequency-Decoupled Implicit Neural Representation), un cadre de représentation neuronale implicite qui décompose explicitement l'image en composantes fréquentielles distinctes pour une reconstruction collaborative RGB-NIR.

A. Représentation Implicite avec Partitionnement Fréquentiel

Au lieu d'utiliser une grille discrète, l'image est modélisée comme une fonction continue $\hat{I}(x)$ définie sur des coordonnées spatiales $x$ . Cette fonction est la superposition linéaire de deux branches asymétriques :
$\hat{I}(x) = F_{LF}(x; \theta) + G_{HF}(x; \phi) - \beta$

Branche Basses Fréquences ( $F_{LF}$ ) : Dédiée à la consistance de couleur et à la luminance globale. Elle utilise des grilles de caractéristiques espacées (sparse feature grids). Selon la théorie de l'échantillonnage, cette espacement agit comme un filtre passe-bas naturel, supprimant le bruit haute fréquence du RGB tout en préservant la structure globale et les couleurs.
Branche Hautes Fréquences ( $G_{HF}$ ) : Dédiée aux détails structurels et aux textures. Elle utilise des grilles de caractéristiques denses pour capturer les gradients sous-pixels. Elle est guidée par le signal NIR (qui a un meilleur SNR pour les textures) pour reconstruire les détails manquants dans le RGB.
Biais Apprenable ( $\beta$ ) : Un paramètre qui absorbe les décalages de luminance systématique (DC) entre les capteurs RGB et NIR.

B. Supervision dans le Domaine des Ondeslettes (Wavelet)

Pour garantir que chaque branche reste dans sa bande de fréquence assignée, l'approche utilise une Transformée en Ondelettes Discrète (DWT) multi-échelle comme opérateur de contrainte :

Découplage Spectral : Une régularisation ( $L_{reg}$ ) pénalise l'énergie des hautes fréquences dans la branche $F_{LF}$ et l'énergie des basses fréquences dans la branche $G_{HF}$ . Cela empêche la "fuite spectrale" (par exemple, éviter que la luminance NIR ne corrompe les couleurs RGB).
Contrainte de Centrage à Moyenne Nulle : Une contrainte ( $L_{zero}$ ) force la branche haute fréquence à avoir une moyenne nulle, assurant qu'elle ne modifie pas la luminance globale, mais uniquement les détails locaux.

C. Fonction de Perte Adaptative

Pour équilibrer les tâches de restauration de couleur (RGB) et de structure (NIR) qui peuvent avoir des échelles numériques différentes, les auteurs introduisent une pondération adaptative basée sur l'incertitude homoscédastique.

La perte totale ( $L_{total}$ ) inclut des termes de variance apprenables ( $\sigma_k$ ) pour chaque tâche (basses fréquences, hautes fréquences, gradient). Cela permet au modèle d'ajuster dynamiquement l'importance de chaque contrainte en fonction du niveau de bruit rencontré lors de l'entraînement.
Des pertes de gradient spatial et de similarité structurelle (SSIM) sont également utilisées pour affiner les bords.

D. Optimisation

L'entraînement utilise l'optimiseur Muon (basé sur des gradients orthogonaux) pour les couches linéaires du MLP, ce qui accélère la convergence dans les espaces de coordonnées de haute dimension, combiné à Adam pour les grilles de caractéristiques.

3. Contributions Clés

FD-INR : Une méthode de représentation neuronale implicite basée sur le découplage par ondelettes. Elle intègre le prior physique "RGB pour les basses fréquences / NIR pour les hautes fréquences" dans un espace fonctionnel continu.
Mécanisme de Découplage Explicite : Contrairement aux fusions "boîte noire" dans l'espace latent, FD-INR sépare explicitement les tâches de mapping de coordonnées par bande de fréquence, réduisant les conflits de modalités et le repliement spectral (aliasing).
Adaptabilité et Efficacité : Introduction d'une pondération de perte basée sur l'incertitude et utilisation de l'optimiseur Muon pour améliorer l'efficacité d'apprentissage, permettant une reconstruction de haute qualité à des résolutions arbitraires (super-résolution implicite).

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Dark Vision Dataset (DVD), composé de paires RGB-NIR réelles en faible luminosité.

Performance Quantitative : FD-INR obtient les meilleures performances (SOTA) sur les métriques perceptuelles (NIQE le plus bas) et de fidélité structurelle (NCC le plus élevé) par rapport aux méthodes de base comme DVN ou les fusions naïves par ondelettes.
Analyse Qualitative :
- Le modèle restaure des bords nets et des couleurs pures sans les artefacts de type "peinture à l'huile" observés dans les méthodes CNN.
- Il évite la saturation excessive et la désaturation des couleurs grâce au mécanisme de centrage et de calibration d'offset.
- La visualisation des branches intermédiaires confirme que $F_{LF}$ capture la couleur lisse et $G_{HF}$ capture les textures fines guidées par le NIR.
Robustesse : Le modèle fonctionne sans pré-entraînement sur de grands ensembles de données (approche "zero-shot" par ajustement d'instance) et montre une grande robustesse aux paramètres initiaux.

5. Signification et Impact

Ce travail est significatif car il propose une nouvelle approche théorique pour la fusion d'images multi-modales en conditions extrêmes :

Changement de paradigme : Il passe d'une fusion spatiale discrète à une modélisation fréquentielle continue, résolvant le problème fondamental des conflits de distribution statistique entre RGB et NIR.
Applications pratiques : La méthode améliore considérablement la robustesse des tâches de perception en aval (détection d'objets, reconstruction 3D) pour les systèmes autonomes (drones) opérant la nuit ou dans des environnements sombres.
Flexibilité : La nature continue de la représentation implicite permet une reconstruction à n'importe quelle résolution, offrant un avantage majeur pour l'imagerie aérienne où les résolutions peuvent varier.

En résumé, FD-INR démontre que le découplage fréquentiel explicite couplé aux représentations neuronales implicites est une solution supérieure pour restaurer des images dégradées en exploitant la complémentarité physique des capteurs RGB et NIR.