Résumé Technique : SIRR-LMM

Problématique

La suppression de réflexion sur image unique (SIRR - Single-Image Reflection Removal) est une tâche de vision par ordinateur complexe en raison de la nature intrinsèquement mal posée de la séparation de la lumière réfléchie et transmise, particulièrement dans les régions surexposées. Bien que l'apprentissage profond ait fait progresser le domaine, les progrès sont freinés par la rareté des données d'entraînement de haute qualité. Les jeux de données réels sont difficiles à construire car la capture de la vérité terrain précise (séparation de la réflexion et de la transmission) est physiquement exigeante. À l'inverse, les jeux de données synthétiques existants reposent souvent sur un simple mélange d'images ou des modèles de réflexion simplifiés qui ne parviennent pas à capturer le réalisme physique requis pour un apprentissage robuste, tel que le transport complexe de la lumière, la réfraction et l'atténuation.

Méthodologie

1. Génération d'un jeu de données synthétiques physiquement précis

Les auteurs proposent un nouveau cadre pour générer un jeu de données synthétiques de haute fidélité qui surmonte les limites du mélange d'images traditionnel.

• Rendu par lancer de rayons (Path-Traced Rendering) : Au lieu de mélanger des images 2D, le cadre utilise le lancer de rayons sur des modèles de verre en 3D pour simuler un transport de lumière physiquement précis. Cela implique de résoudre l'équation de rendu pour des surfaces transparentes non émissives, en tenant compte des fonctions de distribution de réflectance bidirectionnelle (BRDF), de la réfraction et des multiples rebonds de lumière (transmission $T$ et réflexion $R$).
• Configuration de scène hybride : Pour éviter la complexité de la modélisation de scènes 3D complètes à partir de zéro, la méthode combine des cartes d'environnement HDR avec des images RGB réelles.
  • Éclairage : Des cartes HDR sont utilisées pour simuler un éclairage et des reflets réalistes, évitant ainsi les problèmes de surexposition courants dans la synthèse basée sur le LDR (Low Dynamic Range).
  • Variations : Le cadre prend en charge diverses configurations, incluant le HDR-HDR, le HDR-LDR (photographe en réflexion) et le LDR-HDR (œuvre d'art derrière le verre), afin de reproduire des scénarios réels comme les musées ou la photographie en extérieur.
• Paramétrage : Le système fait varier systématiquement les propriétés du verre (épaisseur, couleur, indice de réfraction, rugosité) et les paramètres de la caméra (ouverture, distance focale, champ de vision) pour générer divers effets de profondeur de champ et de flou de défocalisation.
• Post-traitement : Les images rendues subissent une correction gamma, une balance des blancs automatique et des artefacts de compression JPEG pour imiter les conditions d'imagerie réelles.

2. Ajustement fin d'un Grand Modèle Multimodal (LMM)

L'article exploite les capacités génératives du modèle FLUX.1 Kontext, un modèle de texte-vers-image de pointe basé sur les Transformers de Diffusion (DiT).

• In-Context LoRA : Plutôt qu'un entraînement à l'échelle de tous les paramètres, les auteurs utilisent l'adaptation de bas rang (LoRA) pour affiner le modèle. Cela permet au modèle d'apprendre la tâche spécifique de suppression de réflexion tout en préservant ses vastes connaissances pré-entraînées.
• Légendage conjoint et concaténation : L'image d'entrée ($I$), la couche de transmission ($T$) et la couche de réflexion ($R$) sont concaténées en une seule image composite $[I:T:R]$. Un prompt unifié décrit l'ensemble de la tâche de décomposition, maintenant implicitement la corrélation entre les couches.
• Stratégie d'entraînement : Le prompt est intégré comme une caractéristique spécifique à la tâche pendant l'entraînement. Lors de l'inférence, le prompt est fixe, permettant au modèle de fonctionner comme un système de suppression de réflexion sur image unique sans nécessiter de description textuelle fournie par l'utilisateur. L'image d'entrée $I$ est également utilisée comme image de contrôle pour renforcer la corrélation entre le conditionnement et les sorties générées.

Principales Contributions

1. Cadre de données synthétiques : Introduction d'un cadre de génération de données par lancer de rayons combinant des cartes d'environnement HDR avec des images réelles pour créer des scénarios de réflexion physiquement précis, évitant les pièges des modèles de mélange simplifiés.
2. Application des LMM : À la connaissance des auteurs, il s'agit du premier travail explorant l'ajustement fin de Grands Modèles Multimodaux pour la suppression de réflexion sur image unique, démontrant que les modèles de fond entraînés sur des milliards d'images possèdent des connaissances préalches sur les matériaux transparents.
3. Performance : Validation empirique montrant que la méthode adaptée par LoRA et des données synthétiques de haute fidélité atteint des performances supérieures par rapport aux architectures neuronales spécialisées de l'état de l'art.

Résultats et Analyse

Performance Quantitative

La méthode a été évaluée sur trois benchmarks réels standards : Real, Nature et SIR2.

• Métriques : La performance a été mesurée via PSNR, SSIM et LPIPS.
• Constats : La méthode proposée (« Ours (syn) ») a obtenu des résultats compétitifs, surpassant ou égalant souvent les méthodes de l'état de l'art (telles que RDNet et DSIT) sur tous les jeux de données. Notamment, la méthode a obtenu ces résultats en utilisant seulement un petit nombre de paires d'images synthétiques de haute qualité (1 000 paires) et un temps d'entraînement réduit (4 000 étapes sur un seul GPU).
• Analyse Régionale : En évaluant spécifiquement l'indice LPIPS au sein des régions de réflexion (plutôt que sur l'image entière), la méthode a montré une amélioration de 18,2 % par rapport aux concurrents, soulignant son efficacité pour traiter les parties les plus difficiles de l'image.

Comparaison Qualitative

• Suppression : Les comparaisons visuelles démontrent que la méthode produit des couches de transmission plus propres avec moins d'artefacts résiduels, particulièrement dans les zones surexposées et les zones avec des occlusions complexes. Elle parvient à reconstruire (inpainting) les zones occultées et à corriger les dérives de couleur (ex: identification des reflets rouges).
• Séparation : Contrairement aux méthodes précédentes qui peinent avec le contenu informatif de la réflexion, l'approche proposée reconstruit des scènes de réflexion significatives même dans des conditions de faible visibilité, en respectant les principes optiques comme la loi de Snell.
• Robustesse : La méthode se généralise bien aux captures réelles non présentes dans l'ensemble d'entraînement, incluant les photos de smartphones et les scénarios complexes de musées ou de galeries.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement de la suppression de réflexion est le manque de données d'entraînement de haute qualité et physiquement réalistes. En abordant ce problème via un cadre synthétique par lancer de rayons, les auteurs démontrent que les modèles de fond (LMM) peuvent être efficacement adaptés pour des tâches de vision spécialisées avec peu de données.

La signification réside dans le changement de paradigme : passer de la conception d'architectures neuronales complexes et spécifiques à l'exploitation des connaissances préalches intrinsèques des modèles génératifs à grande échelle. Les auteurs affirment que leur approche améliore non seulement la performance de la suppression et de la séparation de réflexion, mais offre également une voie évolutive pour l'entraînement sur des données physiquement précises sans le coût prohibitif de la capture de la vérité terrain réelle. Ce travail suggère qu'avec une adaptation appropriée (LoRA) et des données de haute fidélité, les modèles généralistes peuvent surpasser les systèmes spécialisés dans la gestion de phénomènes visuels complexes comme les reflets sur le verre.