Single Image Reflection Separation via Dual Prior Interaction Transformer

Cet article propose un cadre d'interaction à double priorité basé sur un transformateur (DPIT) et un réseau de correction linéaire locale (LLCN) pour générer et fusionner efficacement des priors de transmission et généraux, permettant ainsi une séparation d'image unique de réflexions performante et nouvelle par rapport à l'état de l'art.

L'essentiel

Le Problème : La Photo "Fantôme"

Imaginez que vous prenez une belle photo d'un paysage à travers une vitre de fenêtre. Le problème ? Vous voyez à la fois le paysage (ce que vous voulez) et le reflet de votre propre visage ou de la pièce derrière vous (ce que vous ne voulez pas). C'est comme essayer d'écouter une conversation dans une pièce bruyante : le signal (le paysage) est noyé dans le bruit (le reflet).

Jusqu'à présent, les ordinateurs avaient du mal à séparer les deux. Ils utilisaient des "indices" (des priors) pour deviner ce qui était réel et ce qui était un reflet, mais ces indices étaient souvent trop grossiers, comme essayer de deviner le contenu d'un coffre-fort en regardant juste la serrure de loin.

La Solution : DPIT (Le Détective à Double Vision)

Les auteurs proposent une nouvelle méthode appelée DPIT. Imaginez que c'est un détective très intelligent qui utilise deux types d'indices différents pour résoudre le mystère de la photo.

1. Le Premier Indice : Le "Guide Local" (LLCN)

Au lieu de demander à l'ordinateur de recréer la photo parfaite à partir de zéro (ce qui est difficile et demande beaucoup de calculs), ils lui demandent de faire un ajustement fin.

• L'analogie : Imaginez que vous avez une vieille photo décolorée. Au lieu de peindre toute la photo de nouveau, vous utilisez un pinceau magique qui dit : "À cet endroit précis, rends la couleur un peu plus vive (facteur 's'), et à cet autre endroit, baisse un peu la luminosité (facteur 'b')".
• En termes techniques : C'est ce qu'ils appellent le LLCN. Au lieu de générer des pixels nouveaux, le réseau apprend à sélectionner et ajuster les pixels existants de la photo mélangée. C'est comme passer d'un sculpteur qui taille une statue dans un bloc de pierre (difficile) à un restaurateur qui nettoie et retouche une statue existante (plus efficace et rapide).

2. Le Deuxième Indice : Le "Guide Global" (Prior Général)

Parfois, le "Guide Local" ne suffit pas car il n'a vu que quelques exemples de photos. Il a besoin d'un expert qui a vu des millions d'images pour comprendre le contexte général (les formes, les objets).

• L'analogie : C'est comme avoir un expert en art qui vous dit : "Attends, ce n'est pas un reflet, c'est un arbre !". Ce guide vient de modèles pré-entraînés (des IA qui connaissent le monde visuel).

3. La Rencontre : Le "Double Flux" (DSCRAB)

Le vrai génie de ce papier, c'est comment ils font travailler ces deux guides ensemble. Habituellement, faire travailler deux IA ensemble est lent et lourd (comme deux personnes qui parlent en même temps dans une petite pièce).

• L'analogie : Imaginez deux équipes de cuisine.
  • L'équipe A (le Guide Local) prépare les ingrédients de base.
  • L'équipe B (le Guide Global) apporte les épices et le contexte.
  • Au lieu de les mettre dans un grand mélangeur géant (qui consomme beaucoup d'énergie), les auteurs ont inventé une organisation intelligente. Ils réorganisent les ingrédients dans les assiettes (les canaux de données) pour que chaque équipe ait exactement ce dont elle a besoin, sans gaspillage.
  • Ils utilisent un mécanisme appelé DSCRAB qui permet aux deux équipes de s'échanger des informations très rapidement, comme des cuisiniers qui se passent les ingrédients par-dessus le comptoir au lieu de courir dans toute la cuisine.

Pourquoi c'est génial ?

1. Efficacité : Ils obtiennent de meilleurs résultats avec moins de "cerveau" (moins de paramètres et moins de calculs) que les méthodes précédentes. C'est comme obtenir une voiture de course avec le moteur d'une citadine.
2. Précision : Ils réussissent à enlever les reflets même dans des situations difficiles (nuit, vitres sales, objets complexes) sans flouter les détails de l'image originale.
3. Équilibre : Ils ne détruisent pas l'image pour enlever le reflet ; ils la nettoient avec une précision chirurgicale.

En résumé

Ce papier propose une nouvelle façon de nettoyer les photos prises derrière des vitres. Au lieu de tout reconstruire, ils apprennent à l'ordinateur à faire des ajustements locaux précis guidés par une connaissance globale. Le tout est orchestré par une architecture intelligente qui permet aux deux types d'informations de collaborer sans se marcher sur les pieds, le tout de manière très rapide et économe en énergie.

C'est un peu comme passer d'un nettoyeur qui frotte toute la vitre au hasard, à un expert qui sait exactement où frotter, avec quelle force, et qui sait à quoi ressemble la vue derrière la vitre.

Résumé technique

1. Problématique

La suppression des reflets sur une seule image (Single Image Reflection Removal - SIRR) est un défi majeur en vision par ordinateur. Lorsque l'image est capturée à travers un milieu transparent (comme une vitre), le contenu de transmission (l'arrière-plan) est mélangé avec une couche de réflexion.

• Défi principal : Le problème est mal posé (ill-posed) car l'information disponible dans une seule image mixte est insuffisante pour séparer parfaitement les deux couches.
• Limites des méthodes existantes : Les approches récentes utilisent des "priors" (a priori) pour guider la restauration, tels que des modèles pré-entraînés (priors généraux) ou des estimations de réflexion explicites. Cependant, ces priors ne fournissent souvent qu'une perception grossière (coarse-grained) du contenu de transmission, limitant l'efficacité de la restauration et laissant des artefacts ou des distorsions de couleur.
• Compromis coût/performance : L'utilisation de réseaux lourds pour générer des priors précis est coûteuse en paramètres, tandis que les réseaux légers manquent de précision.

2. Méthodologie Proposée : DPIT

Les auteurs proposent DPIT (Dual-Prior Interaction Transformer), une architecture qui intègre un prior de transmission fin et un prior général pour améliorer la séparation des couches. L'architecture se compose de quatre modules principaux :

A. Génération de Prior de Transmission : LLCN (Local Linear Correction Network)

Au lieu de générer directement l'image de transmission (ce qui nécessite beaucoup de paramètres), les auteurs proposent un changement de paradigme : passer de la génération de pixels à la sélection de pixels.

• Modèle Physique : Ils reformulent l'estimation de la transmission comme un problème de correction linéaire locale :
  $$\hat{T}_{prior} = sI + b$$
  Où $I$ est l'image mélangée, et $s$ (facteur d'échelle) et $b$ (biais) sont des paramètres appris pixel par pixel.
• Architecture : Le réseau (LLCN) utilise un backbone pré-entraîné (ConvNeXt-Base) et deux décodeurs parallèles pour prédire les cartes $s$ (via une activation Sigmoid) et $b$ (via une activation Tanh).
• Avantage : Cette approche permet de générer un prior de transmission de haute qualité avec un budget de paramètres très faible, en se concentrant sur l'adaptation locale plutôt que sur la reconstruction complète.

B. Interaction des Priors : DSCRAT (Dual-Stream Channel Reorganization Transformer)

Pour fusionner efficacement le prior de transmission (fin) et le prior général (sémantique), l'article introduit un mécanisme d'attention innovant basé sur une architecture à deux flux.

• Réorganisation des Canaux (DSCRAM) : Au lieu de concaténer simplement les flux, le module DSCRAB (Dual-Stream Channel Reorganization Attention Block) réorganise les canaux des deux flux (gauche et droit) en deux sous-ensembles :
  1. Un flux de génération ($F_{gen}$) qui agrège la première moitié des canaux des deux priors.
  2. Un flux d'échange ($F_{exch}$) qui conserve la seconde moitié.
• Mécanisme d'Attention :
  • L'attention intra-flux (self-attention) est calculée uniquement sur le flux de génération pour capturer les dépendances à long terme.
  • L'attention inter-flux (cross-attention) utilise le flux de génération comme requête et le flux d'échange comme clés/valeurs.
• Objectif : Cette conception exploite la complémentarité des caractéristiques hétérogènes et l'exclusivité des objectifs de séparation de couches. Elle permet une séparation efficace des caractéristiques intra-flux et une complémentation croisée, réduisant considérablement la complexité computationnelle par rapport aux méthodes d'attention doubles traditionnelles (comme DSIT).

C. Architecture Globale

Le réseau intègre également un module de résidu non linéaire ($\Phi$) pour capturer les termes résiduels complexes non modélisés par l'addition simple, et utilise une fonction de perte combinée (reconstruction pixel, gradient, perceptuelle et de cohérence de couche).

3. Contributions Clés

1. DPIT : Une nouvelle approche d'interaction de double prior qui utilise un prior de transmission explicite pour guider la séparation, surpassant les méthodes actuelles.
2. LLCN et LLCM : Un modèle de correction linéaire locale ($T = sI + b$) qui génère un prior de transmission fin avec une efficacité paramétrique exceptionnelle, évitant la génération directe de pixels.
3. DSCRAT/DSCRAB : Un mécanisme d'attention à réorganisation de canaux qui permet une interaction efficace entre les deux priors avec une complexité computationnelle réduite, en exploitant la complémentarité des caractéristiques hétérogènes.

4. Résultats Expérimentaux

Les expériences ont été menées sur cinq jeux de données réels (Real20, Objects, Postcard, Wild, Nature) et comparées à l'état de l'art (DSIT, RDNet, DSRNet, etc.).

• Performance Quantitative :
  • DPIT atteint des performances State-of-the-Art (SOTA) avec une PSNR moyenne de 27,21 dB et un SSIM de 0,924.
  • Il surpasse les méthodes concurrentes sur 4 des 5 jeux de données. Par exemple, sur le jeu "Wild", il atteint 28,11 dB contre 27,90 dB pour DSIT.
• Efficacité :
  • Malgré l'ajout d'un prior de transmission, DPIT est plus efficace que DSIT : il réduit les FLOPs de 17,9 % (191,35 G vs 233,09 G) tout en améliorant la performance de 0,50 dB.
  • Comparé à RDNet, DPIT utilise 41,6 % moins de paramètres (131,54 M vs 315,89 M) pour une performance supérieure.
• Qualité Visuelle : Les comparaisons qualitatives montrent que DPIT élimine presque complètement les reflets tout en préservant les détails texturaux et la structure des scènes, là où d'autres méthodes laissent des résidus ou lissent excessivement les images.

5. Signification et Impact

Ce travail est significatif car il résout le compromis classique entre la précision de la restauration et le coût computationnel dans la suppression des reflets.

• Innovation Conceptuelle : Le passage de la "génération de pixels" à la "sélection/correction linéaire" pour la génération de priors ouvre une nouvelle voie pour les tâches de restauration d'images à faible coût.
• Efficacité Architecturale : Le mécanisme DSCRAB démontre qu'une réorganisation intelligente des canaux peut remplacer des mécanismes d'attention lourds, offrant une alternative viable pour les applications temps réel ou embarquées.
• Généralisation : La méthode démontre une robustesse exceptionnelle sur des scénarios réels complexes (lumière faible, reflets non uniformes), validant l'importance de combiner des priors généraux (sémantiques) et des priors spécifiques (transmission fine).

En conclusion, DPIT établit une nouvelle référence pour la suppression des reflets sur une seule image en combinant ingénierie physique (modèle linéaire local) et architectures de transformers optimisées.