💻 computer science

Single Image Reflection Removal with Patch Reflectance Prior

Ce papier propose une approche novatrice pour la suppression des réflexions sur une seule image, qui exploite une priorité générale d'intensité de réflexion, apprise via un réseau d'extraction de priorité de réflexion (RPEN) et intégrée dans un réseau de suppression de réflexion basé sur des priorités (PRRN) utilisant un transformer U-Net, afin d'atteindre des performances de pointe sur des benchmarks du monde réel.

Auteurs originaux : Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prendre une photo d'un magnifique paysage à travers une fenêtre. Malheureusement, la fenêtre est sale, et le reflet de votre propre pièce (et peut-être d'une lampe ou d'une personne) se superpose à la vue extérieure. Le résultat est une image désordonnée et confuse où l'on ne peut pas distinguer ce qui est réel de ce qui n'est qu'un reflet. C'est le problème que l'article aborde : la suppression des réflexions sur une seule image (SIRR).

Voici une explication simple de la manière dont les auteurs ont résolu ce problème, en utilisant des analogies du quotidien.

Le Problème : La « Fenêtre Sale »

Habituellement, les ordinateurs tentent de corriger cela en devinant des règles spécifiques. Par exemple, ils pourraient supposer : « Les réflexions sont toujours floues » ou « Les réflexions ressemblent toujours à des fantômes ».

Le Défaut : Dans le monde réel, les réflexions ne sont pas toujours floues ou fantomatiques. Parfois, elles sont nettes et claires. Lorsque l'ordinateur s'appuie sur une règle spécifique (comme « cela doit être flou »), il échoue lorsqu'il rencontre une réflexion nette. C'est comme essayer de retrouver une clé perdue en ne regardant que sous la lampe ; si la clé est sous le canapé, vous ne la trouverez pas.

La Solution : Une Nouvelle Façon de Mesurer le « Désordre »

Au lieu de deviner à quoi ressemble la réflexion (floue, fantomatique, etc.), les auteurs ont décidé de mesurer l'intensité de la réflexion dans différentes parties de l'image. Ils appellent cela la « Priorité d'Intensité de Réflexion ».

Imaginez l'image non pas comme une grande photo unique, mais comme une pizza coupée en 49 petites parts (patchs).

L'Ancienne Façon : Essayer de deviner la saveur de toute la pizza d'un coup.
La Nouvelle Façon : Goûter chaque petite part individuellement. Certaines parts pourraient être à 90 % de réflexion (principalement le reflet de votre pièce), tandis que d'autres sont à 90 % de transmission (principalement la vue extérieure).

La Machine en Deux Étapes

Les auteurs ont construit un système composé de deux parties principales, travaillant ensemble comme une équipe d'enquêteurs :

1. L'Enquêteur : Réseau d'Extraction de Priorité de Réflexion (RPEN)

C'est l'« œil » de l'opération.

Ce qu'il fait : Il examine la photo de la fenêtre sale et analyse chacune des 49 parts de pizza. Il se demande : « Quelle part de cette part est une réflexion ? »
Comment il apprend : Il a été entraîné sur une immense bibliothèque de photos pour comprendre à quoi ressemble une image « normale ». Lorsqu'il voit une part qui semble étrange ou « encombrée » par rapport à une image normale, il la signale comme ayant une forte réflexion.
La Sortie : Il crée une carte (une « carte thermique ») montrant exactement où la réflexion est forte et où elle est faible.

2. Le Nettoyeur : Réseau de Suppression de Réflexion Basé sur les Priorités (PRRN)

C'est la « main » qui effectue le nettoyage.

Ce qu'il fait : Il prend la photo sale et la carte de l'Enquêteur.
Comment il fonctionne : Au lieu de frotter aveuglément toute l'image, il utilise la carte pour être intelligent. Si la carte indique : « Cette part est à 90 % de réflexion », le Nettoyeur élimine agressivement la réflexion. Si la carte indique : « Cette part est principalement la vue extérieure », le Nettoyeur la laisse intacte.
L'Architecture : Ils ont utilisé un « Transformer U-Net », qui est un nom fancy pour une structure de nettoyage intelligente et efficace, très bonne pour connecter différentes parties d'une image (comme un transformer connecte les mots dans une phrase).

Pourquoi Cela Fonctionne Mieux

L'article a testé cette méthode sur des photos du monde réel (et non pas seulement sur des images générées par ordinateur).

Le Test de la Réflexion « Nette » : De nombreuses anciennes méthodes échouent lorsque la réflexion est nette et claire (comme dans un miroir). Parce que les auteurs n'ont pas supposé que la réflexion était floue, leur système a géré parfaitement les réflexions nettes.
L'Avantage du « Patch » : En découpant l'image en petits morceaux, le système a réalisé que les réflexions ne sont pas uniformes. Une réflexion peut être forte dans le coin supérieur gauche mais faible dans le coin inférieur droit. Traiter l'image entière comme un seul gros bloc fait manquer ces détails.

Les Résultats

Lorsqu'ils ont testé leur système contre les meilleures méthodes existantes :

Il a produit des images plus claires et plus nettes.
Il a mieux fonctionné dans des scénarios difficiles où les réflexions étaient fortes ou nettes.
Il a atteint le « State-of-the-Art » (le meilleur score possible) sur les tests standards.

Résumé

Imaginez que vous essayez d'écouter un ami parler dans une pièce bruyante.

Les anciennes méthodes tentaient de filtrer tout le bruit, en supposant que le bruit ressemblait à un bourdonnement spécifique. Si le bruit était un cri, le filtre échouait.
Cette nouvelle méthode place un microphone sur différentes parties de la pièce. Elle détermine exactement d'où vient le cri (la « Intensité de Réflexion ») et ne coupe le son que de ces endroits spécifiques, laissant la voix de votre ami claire partout ailleurs.

L'article affirme que cette approche est plus flexible et précise car elle se concentre sur l'intensité de la réflexion dans des zones spécifiques, plutôt que de deviner quel type de réflexion il s'agit.

Résumé Technique : Suppression des Reflets sur une Seule Image avec une Priorité de Réflectance par Patch

Énoncé du Problème
La suppression des reflets sur une seule image (SIRR) vise à récupérer une image de transmission propre ( $T$ ) à partir d'une seule image d'entrée ( $I$ ) où la scène est superposée à un reflet ( $R$ ). Cela se formule comme $I = g(T) + f(R)$ , où $g(\cdot)$ et $f(\cdot)$ représentent diverses dégradations telles que le flou, l'absorption de la lumière, la réfraction et les effets de profondeur de champ. La tâche est mal posée en raison de variables inconnues et de l'absence de vérité terrain dans les scénarios du monde réel.

Les méthodes existantes reposent souvent sur des hypothèses de prior spécifiques (par exemple, la parcimonie du gradient d'image, les indices de fantômes ou la régularité relative) pour séparer les couches. Cependant, ces hypothèses échouent fréquemment dans des environnements réels complexes où les caractéristiques des reflets varient considérablement (par exemple, reflets nets vs flous, distances variables des objets et éclairage naturel). De plus, la rareté des données réelles a conduit à une sur-reliance sur des jeux de données synthétiques, entraînant un manque de robustesse des modèles lorsqu'ils sont appliqués à des scènes réelles diverses et non structurées.

Méthodologie
Les auteurs proposent un cadre qui évite les hypothèses de prior spécifiques et rigides en faveur d'une Priorité d'Intensité de Reflet générale. Cette priorité définit l'intensité du phénomène de reflet dans une région locale plutôt que d'assumer un type spécifique de dégradation (comme le flou ou les fantômes). Le cadre se compose de deux composants principaux :

Définition de la Priorité d'Intensité de Reflet :
Au lieu du rapport standard entre le reflet et la transmission (qui peut produire des valeurs infinies pour des reflets forts), les auteurs redéfinissent l'intensité du reflet comme un score normalisé entre 0 et 1 :
$\text{IntensitéReflet} = \frac{\text{Moyenne}(R)}{\text{Moyenne}(R) + \text{Moyenne}(T)}$
Cette métrique est calculée par patch régional pour tenir compte de la nature non uniforme des reflets dans les images superposées.
Réseau d'Extraction de Priorité de Reflet (RPEN) :
Le RPEN est conçu pour estimer la priorité d'intensité de reflet pour chaque patch d'une image d'entrée.
- Architecture : Il utilise une base ResNext101 pré-entraînée sur ImageNet pour comprendre les images régulières, non réfléchies.
- Entraînement : Le réseau est affiné sur un jeu de données composé d'images synthétiques (créées en superposant des reflets issus de CEILNet sur des images PASCAL VOC) et d'images réelles issues du jeu de données CDR.
- Raffinement : Une approche en cascade utilisant le Pooling Pyramidal Spatial à Trous (ASPP) est employée sur les caractéristiques de haut niveau pour capturer les relations globales entre les patches et affiner l'estimation de l'intensité pour chacun des 49 ( $7 \times 7$ ) patches.
Réseau de Suppression de Reflet Basé sur la Priorité (PRRN) :
Le PRRN utilise la priorité d'intensité de reflet estimée pour supprimer adaptativement les reflets.
- Architecture : Il emploie une structure simple de Transformer U-Net, connue pour son succès dans les tâches de restauration d'images.
- Encodage de la Priorité : La priorité d'intensité de reflet pour chaque patch est encodée dans les caractéristiques à l'aide d'un mécanisme d'encodage sinusoïdal (similaire à l'encodage positionnel dans les transformateurs).
- Traitement Adaptatif : Les caractéristiques de priorité encodées sont injectées dans le réseau via des couches Affines au Niveau des Caractéristiques (FWA) au sein des ResBlocks. Cela guide le réseau pour se concentrer sur les régions de reflet et supprimer le bruit de manière adaptative à la région pendant les processus de suréchantillonnage et de sous-échantillonnage.

Contributions Clés

Priorité Générale d'Intensité de Reflet : L'article introduit une définition de priorité exempte d'hypothèses spécifiques sur les types de reflets (par exemple, flou ou fantômes), se concentrant plutôt sur l'intensité locale du phénomène de reflet.
Cadre RPEN et PRRN : Les auteurs proposent un pipeline en deux étapes où le RPEN extrait les priorités régionales d'intensité de reflet, et le PRRN utilise ces priorités au sein d'une architecture Transformer U-Net pour effectuer la suppression.
Analyse par Patch : L'étude démontre que la segmentation des images en patches permet d'apprendre des priorités de reflet non uniformes, ce qui est crucial pour gérer des scénarios réels divers.
Création de Jeu de Données : Un jeu de données de priorité d'intensité de reflet a été créé pour entraîner le module RPEN.

Résultats Expérimentaux
La méthode a été évaluée sur le jeu de données CDR (Catégorisé, Divers et Réel), ainsi que sur les benchmarks Real20, SIR2 et Nature.

Performance : Le PRRN+RPEN proposé a atteint une précision de pointe (SOTA) sur la plupart des benchmarks. Sur le jeu de test CDR, il a atteint un PSNR de 24,31 (contre 22,04 pour le meilleur précédent YTMT-UCS) et un SSIM de 0,815.
Robustesse : La méthode a montré des performances exceptionnelles dans la catégorie SRST (Reflet Net, Transmission Net), où de nombreuses méthodes basées sur des priorités échouent en raison du manque d'indices spécifiques comme les fantômes. Elle a également bien performé dans les scénarios BRST (Reflet Flou) et de forts reflets.
Études d'Ablation :
- Résolution des Patches : Les expériences ont montré que, bien que l'entraînement du RPEN avec des patches plus petits (résolution plus élevée) soit plus difficile, l'utilisation d'une vérité de priorité plus fine comme entrée pour le PRRN améliore considérablement la précision de la suppression.
- Impact du RPEN : L'ajout du module RPEN au PRRN a entraîné une augmentation de 0,87 dB du PSNR. L'analyse visuelle utilisant LayerCAM a confirmé que le RPEN guide le réseau pour concentrer son attention sur les véritables régions de reflet, tandis que le PRRN sans RPEN a tendance à se concentrer sur des zones non réfléchies.

Signification et Revendications
L'article revendique que sa signification principale réside dans la résolution des limitations des méthodes SIRR existantes qui reposent sur des hypothèses de prior spécifiques, souvent fragiles. En définissant une priorité générale d'intensité de reflet et en l'apprenant via le RPEN, l'approche proposée atteint une robustesse dans des scénarios réels divers où les caractéristiques des reflets sont imprévisibles. Les auteurs notent que, bien que leur approche atteigne une précision de pointe, la précision de prédiction de la priorité d'intensité de reflet dans certains cas pourrait potentiellement être améliorée à l'avenir grâce à des conceptions de RPEN multi-résolutions. Le travail souligne que la suppression de reflet adaptative à la région, guidée par des priorités d'intensité apprises plutôt que par des hypothèses fixes, constitue une étape critique en avant pour la restauration d'images réelles.