CLEAR-IR: Clarity-Enhanced Active Reconstruction of Infrared Imagery

Ce papier présente CLEAR-IR, une nouvelle architecture DeepMAO qui restaure des images infrarouges claires à partir de flux bruités par des émetteurs actifs, permettant ainsi aux robots d'exécuter des tâches de vision complexes dans des environnements extrêmement sombres sans éclairage embarqué.

L'essentiel

🌑 Le Problème : La "Nuit Noire" et les "Moustiques"

Imaginez que vous essayez de conduire une voiture dans une grotte totalement sombre.

• Les caméras classiques (RGB) : C'est comme essayer de conduire avec les yeux fermés. Même si vous allumez un puissant projecteur, la poussière dans l'air (comme dans un tunnel ou après une catastrophe) renvoie la lumière partout. C'est l'effet "Tyndall" : vous voyez un brouillard blanc aveuglant, et vous ne voyez plus rien.
• Les caméras infrarouges (IR) : Pour voir dans le noir, les robots utilisent souvent des caméras infrarouges avec un "flash" spécial. C'est comme si vous aviez une lampe torche invisible pour l'œil humain.

Mais il y a un gros hic : Ce flash infrarouge n'est pas une lumière douce et uniforme. Il projette des milliers de petits points (un motif structuré) sur tout ce qui l'entoure.
Pour un robot, c'est un cauchemar. Imaginez que vous essayez de lire une carte, mais qu'un essaim de moustiques lumineux vole devant vos yeux, cachant les routes et les bâtiments. Le robot voit ces points comme des objets réels, ce qui le rend confus, lui fait rater des obstacles ou le fait se perdre.

💡 La Solution : CLEAR-IR (Le "Filtre Magique")

Les auteurs de ce papier, Nathan, Marton, Hujun et Pawel, ont créé un système appelé CLEAR-IR.

Imaginez que CLEAR-IR est un super-filtre de cuisine ou un laveur de vitres intelligent pour les yeux du robot.

1. L'entrée : Le robot reçoit une image pleine de ces "moustiques" (les points du flash infrarouge).
2. Le traitement : Le système utilise une intelligence artificielle très intelligente (une architecture appelée DeepMAO, inspirée d'un modèle qui fonctionne comme un filet de pêche très fin).
3. Le résultat : Ce filtre retire délicatement tous les points parasites, mais il garde tout le reste : les murs, les objets, les textures.

Le résultat final ? Une image infrarouge qui ressemble à une photo normale prise en plein jour, mais sans avoir besoin d'éclairer la pièce avec des lampes qui créent des reflets gênants.

🤖 Pourquoi est-ce révolutionnaire ?

Avant, pour que les robots voient dans le noir, il fallait soit :

• Des lumières puissantes (qui créent des ombres et des reflets).
• Des caméras très chères et peu précises.

Avec CLEAR-IR, le robot peut utiliser ses caméras infrarouges existantes (déjà présentes sur beaucoup de robots) et les transformer en "yeux de super-héros".

Les analogies clés pour comprendre l'impact :

• Le Traducteur Universel : Les robots sont souvent entraînés à reconnaître des objets (voitures, personnes, panneaux) sur des photos normales (couleur, lumière du jour). Les images brutes infrarouges sont incompréhensibles pour eux. CLEAR-IR agit comme un traducteur : il prend le langage "infrarouge bruité" et le traduit en "langage normal" que le robot comprend déjà.
• Le Nettoyage de la Neige : C'est comme si vous deviez marcher dans une tempête de neige, mais au lieu de voir des flocons, vous voyez des points lumineux partout. CLEAR-IR fait fondre la neige pour révéler le chemin en dessous, sans changer la forme des arbres ou des maisons.

🏆 Les Résultats Concrets

Les chercheurs ont testé leur invention sur trois tâches importantes :

1. Repérer des objets : Sur une image brute infrarouge, un robot ne voyait rien. Avec CLEAR-IR, il a pu repérer des objets (comme des cônes de chantier ou des meubles) aussi bien que s'il était en plein jour.
2. Lire des codes-barres (ArUco) : Ces petits carrés noirs et blancs servent à dire au robot où il se trouve. Les points du flash les cachaient complètement. CLEAR-IR les a rendus parfaitement lisibles.
3. Se repérer (SLAM) : C'est la capacité du robot à se dire "Je suis ici, je me déplace vers là". Avec les images brutes, le robot se perdait car il suivait les faux points du flash. Avec CLEAR-IR, il a tracé une trajectoire précise, même dans le noir complet, là où les autres méthodes échouaient.

En Résumé

CLEAR-IR est une invention qui permet aux robots de voir clairement dans le noir absolu, sans avoir besoin de lumières aveuglantes. C'est comme donner à un robot des lunettes de soleil magiques qui enlèvent les reflets parasites pour révéler la réalité, lui permettant d'explorer des mines, des zones sinistrées ou des tunnels sombres en toute sécurité.

Résumé technique

Résumé Technique : CLEAR-IR

1. Problématique

La perception visuelle robuste des robots dans des environnements sombres ou totalement obscurs est un défi majeur. Les caméras RGB conventionnelles échouent dans ces conditions en raison du bruit de lecture, du courant d'obscurité et de la nécessité d'augmenter le temps d'exposition (provoquant du flou de mouvement).

L'utilisation de l'imagerie infrarouge (IR) active semble prometteuse car elle est moins sensible au bruit et fonctionne indépendamment de la lumière ambiante. Cependant, les systèmes IR actifs projettent des motifs structurés (points de lumière laser) pour éclairer la scène. Ces motifs créent des artefacts de haute fréquence qui :

• Sont interprétés à tort comme de la texture ou des objets par les algorithmes de vision par ordinateur.
• Perturbent les tâches de haut niveau telles que la détection d'objets, le suivi, la localisation (SLAM) et la détection de marqueurs (ArUco).
• Empêchent l'utilisation directe des flux IR bruts dans des pipelines de vision conçus pour le spectre visible (RGB).

L'objectif est donc de reconstruire des images IR "propres" et interprétables à partir d'entrées brutes saturées par ces motifs d'émetteurs, afin de permettre une perception robotique fiable sans éclairage ambiant.

2. Méthodologie : L'architecture CLEAR-IR

Les auteurs proposent CLEAR-IR (Clarity-Enhanced Active Reconstruction of Infrared Imagery), un cadre d'apprentissage profond basé sur une architecture hybride à deux branches, inspirée de DeepMAO (Deep Multi-scale Aware Overcomplete).

A. Architecture Hybride
Contrairement aux approches encodeur-décodeur standard, CLEAR-IR utilise deux flux parallèles pour équilibrer la suppression du bruit et la préservation des détails :

1. Flux Contextuel (Backbone U-Net) :
   • Utilise un encodeur U-Net (basé sur des blocs de convolution et un max-pooling) pour capturer le contexte global et les structures de basse fréquence.
   • Il est conçu pour lisser et supprimer les motifs structurés de l'émetteur.
   • Des couches de dropout (0.2) sont intégrées pour éviter le surapprentissage sur des motifs spécifiques.
2. Flux de Détails (Branche Surcomplète) :
   • Fonctionne à pleine résolution spatiale (sans pooling ni sous-échantillonnage) pour éviter la perte des détails fins.
   • Utilise une cascade de couches de convolution pour isoler les véritables contours et textures de la scène, distincts du bruit des points IR.
   • Son rôle est de préserver les hautes fréquences spatiales critiques pour la perception robotique.

B. Fusion et Reconstruction
Les sorties des deux branches sont fusionnées par une addition résiduelle (fusion additive). Cela permet de combiner les prédictions structurelles "nettoyées" du U-Net avec les corrections de texture de la branche surcomplète. Une dernière couche de convolution affine les valeurs d'intensité pour générer l'image IR reconstruite.

C. Fonction de Perte (Loss Function)
En raison des résidus d'alignement entre les capteurs IR et RGB (parallaxe), une fonction de perte composite est utilisée pour privilégier la qualité perceptuelle et l'intégrité structurelle plutôt que la précision pixel par pixel stricte :

• Fidélité spatiale : MAE (Erreur Absolue Moyenne) et SSIM (Indice de Similarité Structurelle).
• Préservation des détails : Perte de fréquence (Laplacien) et perte de gradient (Sobel).
• Qualité perceptuelle : Perte basée sur un réseau VGG19 pré-entraîné pour aligner la reconstruction avec la perception humaine.
• Régularisation : Perte de variation totale (TV) pour lisser le bruit dans les zones uniformes.

D. Données et Entraînement

• Dataset : 6 719 paires d'images (IR actif + RGB gris) capturées avec une caméra Intel RealSense D455, augmentées à 33 595 images via rotation, retournement et ajustements de luminosité.
• Objectif : Mapper les entrées IR vers une vérité terrain de style RGB, permettant l'utilisation de modèles de vision entraînés sur le spectre visible (Zero-shot).

3. Contributions Clés

1. Architecture CLEAR-IR : Première architecture dédiée à la suppression des artefacts de lumière structurée dans les flux IR actifs pour la robotique, basée sur une adaptation de DeepMAO.
2. Fonction de Perte Adaptée : Conception d'une perte composite spécifique pour gérer la disparité spectrale et le manque d'alignement parfait entre IR et RGB, permettant une suppression robuste des motifs tout en préservant les détails.
3. Évaluation Robotique : Démonstration que les images reconstruites permettent d'exécuter des tâches de perception de haut niveau (détection, SLAM) dans l'obscurité totale, là où les méthodes RGB échouent.
4. Supériorité sur l'État de l'Art : Comparaison montrant que CLEAR-IR surpasse les techniques d'amélioration d'images RGB (CLAHE, Retinex, Zero-DCE, LLFormer, CIDNet) et les réseaux U-Net standards dans des scénarios de faible luminosité extrême.

4. Résultats Expérimentaux

A. Détection d'Objets et Segmentation (YOLOv26)

• Problème : Sur les images IR brutes, YOLOv26 échoue totalement (0% de détection) car les motifs d'émetteurs masquent les objets.
• Résultat : Avec CLEAR-IR, le nombre d'objets détectés passe à 11 (contre 0 pour l'IR brut et 7 pour un U-Net standard), avec seulement 2 erreurs de libellé mineures. Cela prouve que l'image reconstruite est compatible avec des pipelines de vision RGB pré-entraînés.

B. Détection de Marqueurs ArUco

• Les motifs structurés brouillent les grilles des marqueurs ArUco dans les images IR brutes.
• CLEAR-IR permet une détection fiable et précise des marqueurs, contrairement aux images brutes et aux méthodes d'amélioration RGB qui échouent en faible luminosité.

C. SLAM Visuel (VSLAM - ORB-SLAM3 modifié)

• Scénario : Évaluation sur trois trajectoires (FB, SQ1, SQ2) en faible lumière (LL) et lumière extrême (ELL).
• Performance :
  • Les méthodes RGB échouent en "Extreme Low Light" (DNI - Did Not Initialise) car l'image est trop sombre.
  • L'IR brut échoue à cause des artefacts fantômes.
  • CLEAR-IR maintient un suivi stable dans tous les scénarios, y compris l'obscurité totale.
  • Il obtient la meilleure précision (RMSE) sur la trajectoire complexe SQ2 (2 tours), indiquant une excellente stabilité temporelle et une réduction de la dérive (drift) par rapport aux autres méthodes.
• Latence : Avec un temps d'inférence moyen de 46,75 ms, CLEAR-IR offre un compromis optimal entre précision et vitesse, compatible avec le temps réel, surpassant les modèles basés sur les Transformers (LLFormer) qui sont beaucoup plus lents.

5. Signification et Impact

Ce travail établit un nouveau standard pour la perception robotique en conditions de faible luminosité. En éliminant la nécessité d'éclairage ambiant ou de marqueurs spéciaux rétroréfléchissants, CLEAR-IR permet aux systèmes autonomes d'opérer dans des environnements critiques (tunnels souterrains, zones sinistrées, installations nucléaires) où la lumière visible est absente ou contre-productive.

La méthode transforme les flux IR actifs, traditionnellement inutilisables pour la vision 2D en raison de leurs artefacts, en une source de données robuste et compatible avec les pipelines de vision existants, étendant ainsi considérablement les capacités opérationnelles des robots autonomes.