Multi-illuminant Color Constancy via Multi-scale Illuminant Estimation and Fusion

Cet article propose une méthode d'estimation de la constance chromatique sous multi-éclairements qui améliore les performances de l'état de l'art en représentant la carte d'éclairage comme une combinaison linéaire de composantes multi-échelles estimées par un réseau de convolution tri-branche fusionné de manière adaptative via un module d'attention.

L'essentiel

🎨 Le Problème : La Caméra qui a "la tête dans le brouillard"

Imaginez que votre cerveau est un chef cuisinier génial. Si vous mangez une pomme rouge sous une lumière jaune (comme un coucher de soleil) ou sous une lumière bleue (comme un néon), votre cerveau sait immédiatement : "Attends, cette pomme est rouge, c'est juste la lumière qui change la couleur." C'est ce qu'on appelle la constance des couleurs.

Les appareils photo, eux, sont comme des débutants en cuisine. Si vous prenez une photo sous une lumière jaune, la caméra va penser que tout est jaune. Elle va rendre votre peau orange et votre ciel vert. C'est ce qu'on appelle une dominante de couleur.

Le but de la "constance des couleurs" est d'enseigner à la caméra à corriger ces erreurs pour que les couleurs soient naturelles, peu importe la lumière.

🌍 Le Défi : Quand il y a plusieurs soleils dans la même pièce

La plupart des anciennes méthodes de correction supposaient qu'il n'y avait qu'une seule source de lumière dans toute la photo (comme un seul soleil). C'est facile à corriger : on ajuste tout l'image d'un coup.

Mais dans la vraie vie, c'est souvent le chaos ! Imaginez une pièce avec une fenêtre qui laisse entrer la lumière du jour (bleue) et une lampe de bureau allumée (jaune).

• La partie de la photo près de la fenêtre est bleutée.
• La partie près de la lampe est jaunâtre.

Les anciennes méthodes échouent ici. Elles essaient de trouver une seule couleur pour tout corriger, ce qui ne marche pas. Il faut corriger chaque pixel individuellement, comme un artiste qui peindrait la photo pixel par pixel.

💡 La Solution de l'Équipe : La Méthode des "Trois Lunettes"

L'équipe de l'Université de Textile de Wuhan (Hang Luo, Rongwei Li et Jinxing Liang) a eu une idée brillante. Ils se sont dit : "Et si on regardait la photo à différentes tailles pour mieux comprendre la lumière ?"

Imaginez que vous essayez de comprendre la météo d'une ville entière :

1. La vue de l'avion (Grande échelle) : Vous voyez les grands courants d'air, les nuages globaux. C'est flou, mais vous voyez la tendance générale.
2. La vue de la voiture (Moyenne échelle) : Vous voyez les rues et les quartiers. C'est plus précis.
3. La vue du piéton (Petite échelle) : Vous voyez les détails : une flaque d'eau, un parapluie, un détail précis.

Leurs chercheurs ont créé un système avec trois "lunettes" (ou trois réseaux de neurones) qui regardent la même image, mais à trois tailles différentes :

• Lunette 1 (Grande) : Voit les grandes zones de lumière.
• Lunette 2 (Moyenne) : Voit les structures intermédiaires.
• Lunette 3 (Petite) : Voit les détails fins.

Chaque lunette dessine une "carte de lumière" (une carte qui dit quelle couleur de lumière est présente à chaque endroit).

🤝 Le Chef d'Orchestre : Le Module de Fusion

Le vrai génie de leur méthode, c'est ce qu'ils font avec ces trois cartes. Ils ne les mélangent pas bêtement. Ils utilisent un "Chef d'Orchestre intelligent" (qu'ils appellent le module de fusion attentionnel).

Imaginez que vous avez trois experts qui vous donnent des conseils pour réparer une voiture :

• L'expert "Grande Vue" dit : "Le moteur est chaud."
• L'expert "Moyenne Vue" dit : "Il y a une fuite d'huile."
• L'expert "Petite Vue" dit : "Il y a une vis desserrée ici."

Le Chef d'Orchestre écoute les trois, mais il sait qui écouter à quel endroit.

• Pour corriger la couleur du ciel (une grande zone), il écoute l'expert "Grande Vue".
• Pour corriger la couleur d'un visage (un détail), il écoute l'expert "Petite Vue".

Il crée une carte de poids : "Ici, on fait 80% confiance à la petite vue, et là-bas, 80% à la grande vue." Il combine ensuite tout cela pour créer la carte de lumière parfaite.

🏆 Le Résultat : Une Photo Parfaite

En combinant ces trois niveaux de détails avec ce chef d'orchestre intelligent, leur méthode arrive à corriger les photos beaucoup mieux que les anciennes techniques.

• Avant : Une photo avec des zones rouges et bleues bizarres.
• Après : Une photo où les couleurs sont naturelles, même si la pièce avait plusieurs lampes allumées.

Ils ont testé leur système sur des milliers de photos réelles et ils ont battu tous les autres records (ce qu'on appelle le "state-of-the-art").

En résumé

C'est comme si on apprenait à la caméra à ne pas juste regarder une photo d'un coup, mais à la regarder de loin, de près et de très près, puis à utiliser un cerveau très malin pour assembler ces trois vues en une seule correction parfaite. Résultat : des photos qui ressemblent enfin à ce que nos yeux voient vraiment !

Résumé technique

1. Problématique

La constance chromatique vise à corriger les dominantes de couleur (teintes rouges ou bleues) induites par l'éclairage d'une scène, afin de restaurer les couleurs réelles des objets. Bien que le système visuel humain possède cette capacité, les caméras en sont dépourvues.

La majorité des méthodes existantes supposent qu'une scène n'est éclairée que par une source unique (constance chromatique mono-illuminant). Cependant, dans les scènes naturelles réelles, il est fréquent d'avoir multiple sources d'éclairage (multi-illuminant). Les méthodes mono-illuminant échouent alors à corriger simultanément toutes les dominantes locales.

Les méthodes multi-illuminants récentes, basées sur l'apprentissage profond, tentent d'estimer une carte d'éclairage pixel par pixel. Néanmoins, elles négligent souvent l'impact de l'échelle de l'image. Or, la distribution de l'éclairage varie selon l'échelle : elle est plus uniforme à petite échelle (vue globale) et plus diversifiée à grande échelle (détails locaux). L'absence de prise en compte de cette variation dépendante de l'échelle limite la précision de l'estimation.

2. Méthodologie

Les auteurs proposent un cadre de travail novateur basé sur l'estimation et la fusion multi-échelles. L'idée centrale est de représenter la carte d'éclairage finale comme une combinaison linéaire de composantes estimées à partir d'images à différentes échelles.

L'architecture proposée comprend trois composants principaux :

• Estimation Multi-échelle (3 Branches) :
  Le modèle utilise un réseau de convolution à trois branches parallèles. Chaque branche reçoit une image d'une échelle spécifique (grande, moyenne, petite) et utilise un module d'estimation d'éclairage (IEM) basé sur une architecture U-Net.

  • Les branches capturent des caractéristiques à différents niveaux de granularité : les petites échelles fournissent des estimations lisses (coarse-grained), tandis que les grandes échelles capturent les détails fins (fine-grained).
  • Chaque IEM produit une carte de distribution d'éclairage (canaux Rouge et Bleu, le canal Vert étant par défaut à 1).

• Module de Fusion Attentionnelle (AIFM) :
  Pour combiner ces cartes multi-échelles de manière optimale, un module de fusion attentionnelle est introduit.

  • Il concatène les trois cartes d'éclairage estimées.
  • Une couche de convolution suivie d'une fonction Softmax génère trois cartes de poids pixel par pixel.
  • Ces poids déterminent l'importance relative de chaque échelle pour chaque pixel spécifique, permettant une fusion adaptative.

• Formulation Mathématique :
  La carte finale $I_{final}$ est calculée comme suit :
  $$I_{final} = I_l \times W_l + I_m \times W_m + I_s \times W_s$$
  Où $I$ représente les cartes d'éclairage estimées (grande, moyenne, petite échelle) et $W$ les cartes de poids correspondantes.

• Fonction de Perte :
  L'entraînement utilise l'erreur angulaire moyenne (Mean Angular Error) entre la carte prédite et la vérité terrain (Ground Truth).

3. Contributions Clés

1. Décomposition Multi-granularité : Proposition d'une nouvelle perspective décomposant la carte d'éclairage en composantes multi-granulaires estimées à partir d'images multi-échelles.
2. Module de Fusion Adaptative : Conception d'un module de fusion attentionnelle qui attribue automatiquement des poids pixel par pixel aux différentes cartes d'éclairage, identifiant ainsi l'échelle la plus pertinente pour chaque zone de l'image.
3. Architecture Tri-branchée : Mise en œuvre d'un réseau convolutif utilisant trois U-Net parallèles pour extraire des caractéristiques complémentaires, surpassant les approches mono-échelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données LSMI (Large Scale Multi-Illuminant), spécifiquement conçu pour ce domaine, contenant 7 486 images capturées par trois appareils différents (Samsung, Nikon, Sony).

• Performance Quantitative : La méthode proposée a atteint des performances State-of-the-Art (SOTA). Sur le sous-ensemble "Galaxy", l'erreur moyenne angulaire est de 1,96°, surpassant la deuxième meilleure méthode (1,96° contre 2,23° pour One-Net, soit une amélioration de 12 %).
• Étude d'Ablation :
  • La suppression de l'une des trois branches ou du module de fusion entraîne une dégradation des performances, confirmant la nécessité de chaque composant.
  • La visualisation des cartes intermédiaires montre que les branches capturent effectivement des informations complémentaires (lissage vs détails).
• Comparaison Qualitative : Les images corrigées par la méthode proposée présentent des biais de couleur locaux mieux corrigés et sont visuellement plus proches de la vérité terrain que celles des méthodes concurrentes.

5. Signification et Conclusion

Cet article marque une avancée significative dans le domaine de la constance chromatique multi-illuminant en introduisant la notion de dépendance à l'échelle dans l'estimation de l'éclairage.

En démontrant que la combinaison adaptative d'informations à différentes résolutions permet une estimation plus précise et robuste, cette méthode résout les limitations des approches purement profondes qui traitent l'image comme un bloc unique. La capacité à gérer des scènes complexes avec des éclairages multiples et hétérogènes ouvre de nouvelles perspectives pour améliorer la qualité des images et la robustesse des tâches de vision par ordinateur en aval (détection, segmentation, etc.) dans des environnements réels non contrôlés.