On the Global Photometric Alignment for Low-Level Vision

1. Problématique : L'Incohérence Photométrique par Paire

Les modèles de vision de bas niveau (restauration d'images, amélioration, etc.) reposent généralement sur une supervision supervisée par paires, utilisant des pertes pixel-à-pixel (comme le MSE) pour régresser les sorties du réseau vers des images de référence (« ground truth »).

Cependant, les auteurs identifient un problème fondamental : l'incohérence photométrique par paire (per-pair photometric inconsistency).

• Origine du problème : Dans un jeu de données d'entraînement, chaque paire (image dégradée, image cible) peut présenter des décalages globaux différents en termes de luminosité, de balance des blancs ou de température de couleur.
  • Cas intrinsèque : Dans des tâches comme l'amélioration de faible luminosité (LLIE) ou l'amélioration sous-marine, la cible change intentionnellement la photométrie, mais la transformation varie d'une paire à l'autre selon les conditions de capture.
  • Cas induit par l'acquisition : Dans des tâches comme le débruitage ou le défloutage (de-raining), la cible ne devrait pas changer la photométrie, mais les variations d'exposition ou de balance des blancs lors de la collecte des données introduisent des décalages non désirés.
• Conséquence sur l'optimisation : Les pertes de reconstruction standards sont disproportionnellement sensibles à ces décalages globaux. Comme l'erreur photométrique est spatialement dense (elle affecte tous les pixels), elle domine le budget de gradient, étouffant le signal nécessaire à la restauration du contenu structurel (textures, bords). Le réseau passe son temps à essayer de résoudre des conflits photométriques contradictoires plutôt qu'à apprendre la restauration du contenu.

2. Méthodologie : La Perte d'Alignement Photométrique (PAL)

Pour résoudre ce problème, les auteurs proposent la Photometric Alignment Loss (PAL), une fonction de perte flexible qui désamorce les écarts photométriques nuisibles tout en préservant la supervision pour le contenu.

Principe Théorique

• Décomposition Orthogonale : Les auteurs prouvent que, sous une décomposition par moindres carrés, le résidu entre la prédiction et la cible se décompose en deux composantes orthogonales :
  1. Une composante photométrique (décalage global affine).
  2. Une composante structurelle (contenu de restauration).
• Dominance du Gradient : Ils démontrent que l'énergie du gradient de la composante photométrique est massivement supérieure à celle de la composante structurelle (car elle s'accumule sur tous les pixels $N$ contre seulement quelques pixels $M$ pour les structures), ce qui fausse l'entraînement.

Algorithme PAL

Au lieu d'essayer d'apprendre à ignorer ces décalages, PAL les modélise explicitement et les soustrait de la supervision :

1. Modélisation Affine : L'écart photométrique est modélisé comme une transformation affine globale : $I_{gt} \approx C \cdot \hat{I} + b$, où $C$ est une matrice $3\times3$ (couplage entre canaux R, G, B) et $b$ un vecteur de biais $3\times1$.
2. Résolution en Forme Close : Les paramètres optimaux $(C^*, b^*)$ sont calculés analytiquement via une régression linéaire régularisée (Ridge Regression) pour assurer la stabilité numérique, même lorsque la variance de couleur de l'image prédite est faible (zones monochromes).
   • $C^* = \text{Cov}(I_{gt}, \hat{I}) (\text{Cov}(\hat{I}, \hat{I}) + \epsilon E)^{-1}$
   • $b^* = \mu_{gt} - C^* \mu_{\hat{I}}$
3. Calcul de la Perte : La perte est calculée sur le résidu après alignement : $L_{PAL} = \| (C^* \hat{I} + b^*) - I_{gt} \|$.
4. Intégration : PAL est combinée à la perte pixel standard ($L_{pixel}$) avec un poids $\alpha$. Les paramètres $C^*$ et $b^*$ sont calculés en avant (forward) mais traités comme constants (stop-gradient) lors de la rétropropagation, empêchant le réseau de minimiser la perte en modifiant simplement l'alignement sans améliorer le contenu.

Avantages :

• Faible coût computationnel : Nécessite uniquement des statistiques de covariance et une inversion de petite matrice ($3\times3$), représentant moins de 0,1 % du coût du réseau.
• Généralité : Fonctionne sans apprentissage supplémentaire (pas de paramètres apprenables) et s'adapte à n'importe quelle architecture.
• Extensibilité : Peut être étendue à des alignements spatialement variables via des masques (utile pour la suppression d'ombres).

3. Contributions Clés

1. Identification unifiée : Démonstration que l'incohérence photométrique par paire est une source unifiée de pathologie d'optimisation, qu'elle soit intrinsèque à la tâche ou induite par l'acquisition.
2. Proposition de PAL : Introduction d'une perte d'alignement couleur en forme close qui élimine le bruit photométrique du signal de supervision sans coût computationnel significatif.
3. Validation extensive : Validation sur 6 tâches, 16 jeux de données et 16 architectures différentes, montrant des améliorations systématiques.

4. Résultats Expérimentaux

Les auteurs ont évalué PAL sur une large gamme de tâches de vision de bas niveau :

• Tâches d'amélioration (Intrinsèque) :
  • Amélioration de faible luminosité (LOLv1, LOLv2) : Améliorations significatives du PSNR (jusqu'à +1,13 dB pour Retinexformer) et de la qualité structurelle (SSIM, LPIPS).
  • Amélioration sous-marine (EUVP) : Meilleures couleurs naturelles et réduction des artefacts.
• Tâches de restauration (Induite par acquisition) :
  • Défloutage (Dehazing) et Défloutage nocturne : Réduction des résidus de teinte de couleur et amélioration de la clarté.
  • Restauration tout-temps (All-in-one) : PAL gère efficacement les conflits photométriques provenant de la fusion de multiples jeux de données (pluie, neige, brouillard).
• Cas Hybride :
  • Suppression d'ombres : Une version masquée de PAL améliore les résultats en traitant séparément les zones d'ombre (transformation nécessaire) et les zones non-ombragées (décalage d'acquisition).
• Généralisation :
  • Sur des jeux de données non vus (unpaired), les modèles entraînés avec PAL montrent une meilleure qualité perceptuelle (IQA) et esthétique (IAA), indiquant une réduction du surapprentissage aux profils photométriques spécifiques du jeu d'entraînement.

5. Signification et Impact

Ce travail remet en question l'hypothèse implicite selon laquelle chaque différence pixel-à-pixel dans les paires d'entraînement est également pertinente pour l'apprentissage.

• Changement de paradigme : Il déplace l'attention de la simple minimisation de l'erreur vers la compréhension de la nature de cette erreur (bruit photométrique vs signal structurel).
• Efficacité : PAL offre une solution « plug-and-play » qui améliore les performances de l'état de l'art sans nécessiter de réentraînement complexe ou de nouvelles architectures.
• Robustesse : En éliminant le bruit photométrique, PAL permet aux modèles de mieux généraliser à des conditions de capture variées, un défi majeur pour le déploiement réel des modèles de vision par ordinateur.

En résumé, PAL propose une approche mathématiquement fondée et économiquement efficace pour « nettoyer » le signal de supervision, permettant aux réseaux de se concentrer sur ce qui compte vraiment : la restauration du contenu structurel de l'image.