M2Retinexformer: Multi-Modal Retinexformer for Low-Light Image Enhancement

Résumé Technique : M2RETINEXFORMER

Énoncé du Problème
L'amélioration d'images en faible luminosité est une tâche complexe en raison de dégradations telles que le bruit amplifié, les artefacts et la distorsion des couleurs. Bien que les méthodes d'apprentissage profond basées sur Retinex, en particulier Retinexformer, aient obtenu de bons résultats en décomposant les images en composantes de réflectance et d'éclairage, elles reposent exclusivement sur des informations RGB unimodales. Cette limitation restreint la capacité du réseau à raisonner sur la géométrie de la scène et la distribution spatiale de la lumière, entraînant des difficultés à distinguer les zones sombres causées par des ombres, des occlusions ou la distance.

Méthodologie
Les auteurs proposent M2Retinexformer (Retinexformer Multi-Modal), un cadre qui étend le cadre unimodal basé sur Retinex (ORF) de Retinexformer en intégrant des indices multimodaux complémentaires. L'architecture comprend un Estimateur d'Éclairage et un Restaurateur de Corruption Multi-Modal, renforcés par deux composants principaux :

1. Extracteur de Modalités : Ce module extrait et aligne des caractéristiques auxiliaires à plusieurs échelles pour les injecter dans le pipeline de restauration. L'article utilise trois modalités spécifiques :

   • Profondeur : Extraite à l'aide d'un modèle Depth-Anything-V2 figé pour fournir une structure géométrique invariante à l'éclairage, aidant à désambiguïser les zones sombres.
   • Luminance : Caractéristiques de luminance augmentées dérivées des calculs de luminance NTSC, enrichies par des bords de Sobel, un contraste local et des indices pyramidaux multi-échelles.
   • Caractéristiques Sémantiques : Extraite à l'aide d'un backbone DINOv3 figé pour capturer des représentations conscientes des objets, préservant la cohérence des couleurs et l'intégrité structurelle.

2. Bloc d'Attention Croisée Multi-Modal (MMCAB) : Il s'agit du module de fusion central. Il opère dans un pipeline de raffinement progressif (en cascade de trois étapes identiques) et emploie :

   • Attention Croisée : Permet aux caractéristiques RGB de requêter sélectivement des informations complémentaires auprès des modalités auxiliaires (Profondeur, Luminance, Sémantique).
   • Attention Auto-Guidée par l'Éclairage : Conservée du Retinexformer original, où l'attention est modulée par des a priori d'éclairage.
   • Gating Adaptatif : Un mécanisme apprenable qui équilibre dynamiquement la sortie de l'attention auto et la sortie de l'attention croisée multi-Modal en fonction de la fiabilité des indices auxiliaires. Cela empêche les modalités bruyantes ou redondantes de dégrader la branche RGB principale.

Le cadre est entraîné en utilisant une combinaison de perte L1 et d'une perte perceptuelle (basée sur VGG-19) pour préserver les structures sémantiques de haut niveau et les textures fines.

Contributions Clés

• Architecture Nouvelle : L'introduction de M2Retinexformer, qui étend Retinexformer en incorporant des caractéristiques de profondeur, de luminance et sémantiques via un Bloc d'Attention Croisée Multi-Modal et un mécanisme de gating adaptatif.
• Conception Modulaire : Une architecture flexible où les modalités adhèrent à une interface unifiée, permettant l'intégration d'a priori supplémentaires sans modifier le réseau central.
• Analyse Systématique : Des études d'ablation extensives démontrant les effets individuels et combinés de chaque modalité auxiliaire sur les performances.
• Efficacité : Le modèle utilise des encodeurs figés pour les modalités auxiliaires, résultant en 2 millions de paramètres entraînables (48 millions au total), ce qui est nettement plus efficace que les approches multimodales antérieures comme ModalFormer (198 millions de paramètres).

Résultats
Les évaluations ont été menées sur sept benchmarks : LOL-v1, LOL-v2 (Réel et Synthétique), SID, SMID et SDSD (Intérieur et Extérieur).

• Performance Quantitative : M2Retinexformer a obtenu les meilleures ou deuxièmes meilleures performances sur la majorité des jeux de données. Notamment, il a atteint un PSNR de 24,89 sur LOL-v1, 23,85 sur LOL-v2 Réel et 30,48 sur SDSD Intérieur, surpassant le Retinexformer de base et d'autres méthodes de l'état de l'art.
• Performance Qualitative : Les comparaisons visuelles indiquent que la méthode proposée produit des images bien exposées avec des couleurs naturelles et un bruit réduit, supprimant efficacement la distorsion des couleurs et le bruit résiduel observés dans le Retinexformer de base.
• Résultats d'Ablation : Sur le jeu de données LOL-v2 Réel, l'ajout de profondeur a fourni le gain de performance le plus significatif (+2,00 dB par rapport à la base), suivi par la luminance. L'étude a noté que l'ajout simultané de toutes les modalités ne produit pas toujours des améliorations cohérentes, soulignant l'importance d'une sélection efficace des modalités et du rôle du gating adaptatif.

Signification et Affirmations
L'article affirme que M2Retinexformer démontre l'efficacité de l'intégration de modalités hétérogènes au sein d'un cadre basé sur Retinex. L'idée clé est que la profondeur fournit un contexte géométrique robuste aux variations d'éclairage, tandis que la luminance et les caractéristiques sémantiques offrent une guidance consciente du contenu. Les auteurs affirment que leur approche réalise des améliorations globales par rapport aux méthodes existantes tout en maintenant une conception modulaire et extensible.

Cependant, l'article reconnaît modestement une limitation : les avantages de la fusion multimodale dépendent fortement de la fiabilité des modalités. Dans des scénarios où les caractéristiques auxiliaires sont instables (telles que les captures basées sur la vidéo dans les jeux de données SMID et SDSD avec des caractéristiques d'exposition variables), les gains de performance peuvent diminuer. Le cadre est présenté comme une direction prometteuse pour les avancées futures, offrant une base pour l'accueil d'a priori supplémentaires dans les tâches d'amélioration en faible luminosité.