SeeClear: Reliable Transparent Object Depth Estimation via Generative Opacification

1. Problématique

L'estimation de profondeur monoculaire (déduire la distance 3D à partir d'une seule image 2D) est une tâche fondamentale pour la reconstruction 3D, la navigation et la manipulation robotique. Cependant, les objets transparents (verre, plastique transparent) posent un défi majeur aux modèles d'état de l'art.

• Limites actuelles : Les réseaux de profondeur modernes reposent sur des hypothèses photométriques (correspondance apparence-géométrie) qui sont violées par les objets transparents. Les effets d'réfraction, de transmission et de réflexion créent des distorsions visuelles qui trompent les modèles, conduisant à des prédictions de profondeur instables, incorrectes ou à l'apparition d'artefacts de translucidité.
• Défis des approches précédentes : Les méthodes existantes tentent souvent d'affiner (fine-tuning) des modèles de profondeur spécifiquement pour les objets transparents. Cela nécessite de vastes ensembles de données appariés (RGB-D transparents) difficiles à obtenir dans le monde réel et rend le modèle dépendant d'une architecture spécifique, obligeant à un réentraînement à chaque mise à jour des modèles de base (backbones).

2. Méthodologie : SeeClear

Les auteurs proposent SeeClear, un cadre « plug-and-play » (prêt à l'emploi) qui ne nécessite pas de réentraînement du modèle de profondeur. L'idée centrale est de transformer l'estimation de profondeur d'objets transparents en un problème de génération d'images opaques géométriquement cohérentes.

Le pipeline se déroule en deux étapes principales :

A. Localisation et Opacification Générative

1. Localisation : Un modèle de segmentation (basé sur Trans4Trans et SAM 3) identifie les régions transparentes et génère un masque binaire ($M_{seg}$).
2. Opacification par Diffusion : Un modèle de diffusion latente conditionnel transforme l'apparence réfractive de l'objet en une apparence opaque diffuse.
   • Conditionnement : Le modèle utilise l'image d'entrée transparente ($I_{tr}$) et le masque ($M_{seg}$) comme conditions spatiales.
   • Sémantique : Pour préserver l'identité de l'objet, un encodeur CLIP (token de classe) fournit un conditionnement sémantique, évitant ainsi d'utiliser des conditions géométriques (normales, profondeur) qui seraient peu fiables pour des objets transparents.
   • Objectif d'entraînement : Le modèle est entraîné à prédire le bruit ajouté (perte DDPM) et à minimiser une perte perceptuelle (LPIPS) pour garantir la fidélité des textures et des bords.

B. Raffinement et Composition

1. Module de Raffinement de Masque (MRM) : Pour éviter les artefacts de bordure (halos) et les décalages de couleur inhérents au décodage VAE, un réseau léger prédit un masque de fusion doux ($\hat{M}_{refine}$).
2. Composition Alpha : L'image opaque générée ($I_{pred}$) est fusionnée avec l'image d'origine ($I_{tr}$) via un mélange alpha utilisant le masque raffiné. Cela préserve le contexte de l'arrière-plan tout en remplaçant l'objet transparent par sa version opaque.
3. Estimation de Profondeur : L'image composite finale est entrée dans un estimateur de profondeur monoculaire « off-the-shelf » (comme Depth Anything V3 ou MoGe-2) sans aucun réentraînement.

3. Contributions Clés

1. Cadre SeeClear : Une nouvelle approche qui convertit les régions transparentes en images opaques cohérentes avec la géométrie, permettant l'utilisation de modèles de profondeur génériques.
2. Adaptateur Plug-and-Play : Un module frontal qui localise et opacifie les objets sans modifier l'architecture ni réentraîner le modèle de profondeur sous-jacent.
3. Dataset SeeClear-396k : La création d'un ensemble de données synthétiques massif (396 000 paires) contenant des rendus appariés d'objets transparents et opaques, avec des profondeurs, normales et masques alignés. Ce dataset est conçu pour couvrir des modes d'échec complexes (réfraction, occlusions, éclairages variés).

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks synthétiques (TransPhy3D) et réels (ClearGrasp), ainsi que sur des images « in-the-wild ».

• Performance Quantitative :
  • Sur ClearGrasp (réel), SeeClear surpasse tous les modèles de base (Depth Anything V3, MoGe-2) et les méthodes spécialisées non réentraînées (Depth4ToM, D4RD, MODEST).
  • Par rapport à DKT (une méthode spécialisée réentraînée sur les données d'évaluation), SeeClear obtient des résultats supérieurs ou comparables en mode zero-shot (sans réentraînement sur les données d'évaluation), notamment sur les métriques d'erreur absolue (RMSE) et de précision seuil.
  • Exemple : Avec Depth Anything V3, l'erreur RMSE sur les objets transparents passe de 24,03 mm à 21,45 mm. Avec MoGe-2, la réduction est encore plus marquée (de 56,83 mm à 26,62 mm).
• Performance Qualitative :
  • Les méthodes de base produisent souvent des surfaces translucides ou floues.
  • SeeClear génère des cartes de profondeur nettes, respectant les contours, les ouvertures (ex: bouchons de bouteille) et la géométrie interne, même dans des scènes complexes avec occlusions et liquides.
• Études d'ablation : Elles confirment l'importance de chaque composant :
  • L'utilisation d'un masque précis est supérieure aux boîtes englobantes ou aux points.
  • Le token CLS de CLIP est le conditionneur sémantique le plus efficace.
  • La perte perceptuelle (LPIPS) est cruciale pour la cohérence géométrique.
  • Le module de raffinement de masque (MRM) élimine les artefacts de bordure.

5. Signification et Impact

Ce travail représente une avancée significative pour la compréhension des scènes physiques complexes :

• Généralisation : Il démontre qu'il est possible de lever les limitations des modèles de fondation (foundation models) face aux matériaux non-Lambertiens sans nécessiter de données réelles massives ni de réentraînement coûteux.
• Robustesse : En convertissant le problème en une tâche de génération d'images, SeeClear contourne les hypothèses photométriques brisées par la transparence.
• Applications : Cette méthode améliore directement la fiabilité de la robotique (préhension d'objets transparents), de la navigation autonome et de la simulation réal-to-sim, où une estimation de profondeur précise est critique pour éviter les collisions et manipuler des objets fragiles ou invisibles.

En résumé, SeeClear propose une solution élégante et efficace en transformant l'obstacle de la transparence en un problème de génération d'images, permettant aux modèles de profondeur actuels de fonctionner de manière fiable sur des objets qu'ils ne pouvaient auparavant pas interpréter correctement.