Résumé Technique : SIMI – Réseau d'Extraction d'Informations Autonomes pour l'Amélioration d'Images en Faible Lumière

1. Énoncé du Problème

L'amélioration d'images en faible lumière (LLIE) vise à restaurer la qualité perceptuelle et fonctionnelle des images capturées sous un éclairage insuffisant. De telles images souffrent généralement d'une faible luminosité, d'un contraste médiocre, d'un bruit amplifié et de distorsions chromatiques, ce qui dégrade la qualité visuelle et entrave les tâches en aval telles que la détection d'objets.

Les approches existantes présentent des limitations significatives :

• Méthodes Traditionnelles : Les priors conçus à la main (par exemple, l'égalisation d'histogramme, la théorie de Retinex) échouent souvent dans des éclairages complexes, produisant une sur-amélioration, des halos ou des couleurs non naturelles.
• Apprentissage Profond Supervisé : Bien qu'efficaces, les modèles reposant sur des CNN, des GAN ou des Transformers nécessitent de grands jeux de données appariés, sont lourds sur le plan computationnel et généralisent souvent mal à des conditions réelles non vues.
• Méthodes Non Supervisées / Zero-Shot : Bien qu'elles atténuent la dépendance aux données, beaucoup peinent à généraliser, à être efficaces et à maintenir la fidélité structurelle sans introduire d'artefacts.

2. Méthodologie

Les auteurs proposent SIMI (Self-Information Mining), un cadre non supervisé et sans référence conçu pour extraire des informations intrinsèques des images en faible lumière sans dépendre de données externes ou de jeux de données d'entraînement appariés. L'architecture se compose de deux composants principaux :

2.1. Module d'Extraction d'Informations Autonomes

Ce module aborde le défi de l'extraction de indices latents (contours, textures, variations subtiles d'intensité) qui sont obscurcis dans des conditions de faible luminosité.

• Décomposition par Plans de Bits : L'image RGB d'entrée ($H \times W$) est décomposée en représentations binaires pour chacun des 8 bits par canal, résultant en $3 \times 8 = 24$ cartes de plans de bits ($H \times W \times 24$). Cela crée une hiérarchie naturelle où les plans supérieurs encodent des informations structurelles grossières et les plans inférieurs capturent les détails fins et le bruit.
• Raffinement du Signal : Pour atténuer les artefacts de discrétisation, $S$ modules de lissage (couches de convolution avec activation SiLU) traitent les caractéristiques des plans de bits.
• Fusion : Les caractéristiques de plans de bits raffinées sont concaténées avec l'image RGB originale, fournissant au réseau une représentation d'entrée plus riche et multi-niveaux.

2.2. Module d'Amélioration

Ce module traite les caractéristiques fusionnées pour générer l'image améliorée finale.

• Attention Spatio-Canal : Un module de style CBAM réattribue de manière adaptative les réponses des canaux et de l'espace pour mettre en évidence les composants informatifs.
• Blocs DEA Cascadés : Une séquence de $D$ blocs DEA cascadés met à jour récursivement l'image intermédiaire améliorée ($I_i$). Chaque bloc prédit une caractéristique liée à l'éclairage ($L_1$) et une caractéristique structurelle ($L_2$).
• Modulation Adaptative : La règle de mise à jour combine ces caractéristiques avec une porte sigmoïde $\sigma(\cdot)$ pour moduler la force de l'amélioration en fonction de l'exposition locale. Cela garantit que le modèle s'adapte aux différentes régions de luminosité, tandis que l'interaction avec $L_2$ contraint les mises à jour pour préserver les détails structurels et prévenir la sur-amélioration.

2.3. Fonction de Perte

Le modèle est entraîné à l'aide d'une fonction de perte non supervisée composée de quatre termes :

1. Cohérence Chromatique Localisée ($L_{lc}$) : Impose la cohérence entre les distributions de couleurs d'entrée et de sortie.
2. Fidélité Chromatique Globale ($L_g$) : Empêche la sur-saturation des couleurs basée sur l'hypothèse du monde gris.
3. Préservation de la Luminosité ($L_{lu}$) : Maintient la cohérence globale de la luminance.
4. Régularisation de Courbe ($L_{sj}$) : Encourage la régularité dans les courbes d'amélioration.

3. Contributions Clés

1. Mécanisme Novel d'Extraction d'Informations Autonomes : Une méthode pour révéler des indices d'amélioration latents via la décomposition par plans de bits, sans supervision ni pré-entraînement.
2. Architecture Non Supervisée Légère : Un modèle de bout en bout qui fusionne les indices extraits avec l'entrée pour une amélioration adaptative et consciente du contenu à faible coût computationnel.
3. Performances de l'État de l'Art : Des résultats supérieurs démontrés à travers diverses conditions réelles de faible luminosité sur des benchmarks standards, montrant de fortes capacités de généralisation.

4. Résultats Expérimentaux

La méthode a été évaluée dans un cadre sans référence et croisé entre jeux de données. Les modèles ont été entraînés sur SCIE Part I et évalués directement sur LOLV1, LSRW et SCIE Part II sans ajustement fin.

• Performances Quantitatives :
  • LOLV1 : SIMI a obtenu le PSNR le plus élevé (18,89 dB) parmi toutes les méthodes testées, surpassant la base supervisée KinD++ (17,75 dB) et d'autres méthodes non supervisées. Elle a également obtenu le LPIPS le plus bas (0,25) sur LSRW et SCIE Part II, indiquant une qualité perceptuelle supérieure.
  • Efficacité : SIMI nécessite 31,845 GFLOPS et 0,122M de paramètres. Bien que légèrement plus lourde que les modèles non supervisés les plus minimalistes (par exemple, RUAS), elle est significativement plus efficace que les modèles supervisés lourds comme KinD++ (12 238 GFLOPS).
• Analyse Qualitative : Les comparaisons visuelles montrent que SIMI produit des reconstructions plus lisses avec moins d'artefacts de bruit, une restitution fidèle des couleurs et un éclairage équilibré. Contrairement aux concurrents qui souffrent de dominantes de couleur, de halos ou de lissage excessif, SIMI préserve les textures fines et les motifs décoratifs.
• Études d'Ablation :
  • La suppression du module d'extraction d'informations autonomes a entraîné une baisse de 0,51 dB du PSNR et une convergence significativement plus lente (423 000 itérations contre 7 400).
  • La décomposition par plans de bits a surpassé les stratégies alternatives de décomposition par seuil logarithmique et par seuil de quantification, confirmant son efficacité pour révéler des indices structurels haute fréquence.

5. Signification et Revendications

L'article revendique que SIMI offre une solution robuste aux compromis entre généralisation, efficacité et fidélité structurelle dans le LLIE non supervisé. En exploitant la décomposition par plans de bits, la méthode extrait avec succès des informations intrinsèques cachées dans les images en faible lumière, permettant une amélioration adaptative sans besoin de données appariées. Les auteurs affirment que cette approche accélère non seulement la convergence du modèle mais améliore également les performances tout en réduisant la surcharge computationnelle par rapport aux alternatives supervisées complexes, la rendant hautement applicable pour des scénarios réels.