💻 computer science

GHOST: Geometry-Guided Hallucination of Opaque Surface Textures

L'article propose GHOST, un cadre de prétraitement guidé par la géométrie qui exploite des modèles de fondation visuels pour synthétiser des représentations opaques et riches en textures d'objets transparents, améliorant ainsi considérablement les performances des tâches d'estimation de la profondeur et de reconstruction 3D sans nécessifier de réentraînement de modèle.

Auteurs originaux : Langxu Zhao, Zuan Gu, Tianhan Gao

Publié 2026-07-14

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Langxu Zhao, Zuan Gu, Tianhan Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prendre une photo 3D d'un vase en verre. À vos yeux, il est magnifique, mais pour un appareil photo informatique standard, c'est un cauchemar. Pourquoi ? Parce que la plupart des caméras 3D fonctionnent sur une règle simple : « Si la lumière frappe une surface, elle rebondit. » C'est ce qu'on appelle l'hypothèse lambertienne. Mais le verre ? Le verre suit des règles différentes. Il laisse passer la lumière (transparence) et la fait rebondir de manières brillantes et confuses (réflexion spéculaire).

Lorsqu'une caméra 3D standard essaie de mesurer la profondeur de ce vase en verre, elle est déroutée. Elle voit l'arrière-plan à travers le verre et pense que le verre est plat ou totalement absent. C'est comme essayer de mesurer la hauteur d'un fantôme en regardant le mur derrière lui.

Entrez en scène GHOST (Geometry-Guided Hallucination of Opaque Surface Textures). Voyez GHOST non pas comme une nouvelle caméra, mais comme un outil magique de « pré-peinture ». Avant même que la caméra 3D ne tente son travail, GHOST intervient et « repeint » le verre. Il ne change pas la forme du vase ; il lui donne simplement une peau factice, solide et opaque qui ressemble à un objet réel, afin que la caméra 3D puisse enfin le « voir ».

Le tour de magie en quatre étapes

Les auteurs ont construit un pipeline composé de quatre étapes distinctes pour réaliser cette illusion, et ils l'ont testé rigoureusement sur des jeux de données comme ClearGrasp et ClearPose.

1. Le créateur de masques (TransDINO)
D'abord, le système doit savoir exactement où se trouve le verre. Il utilise un outil appelé TransDINO pour tracer un contour parfait autour de l'objet transparent.

L'analogie : Imaginez un artiste ultra-précis capable de tracer les contours invisibles d'une tasse en verre sur une feuille de papier.
La preuve : Dans les tests, cette étape s'est révélée incroyablement nette. Sur le jeu de données ClearGrasp, TransDINO a atteint une précision de 92,44 % (mesurée par l'mIoU), surpassant d'autres méthodes de pointe comme EBLNet (64,99 %) et TROSNet (71,40 %). Il est si performant qu'il peut même gérer des objets en verre empilés et complexes là où les autres échouent.

2. L'artiste de la « dé-transparence » (TransDecomp)
Une fois le contour tracé, le système doit déterminer de quoi le verre est réellement constitué. Il sépare l'image en deux parties : l'alpha matte (à quel point il est transparent) et le premier plan (la couleur et l'éclat réels du verre lui-même).

L'analogie : Pensez à un chef séparant le bouillon clair des nouilles solides. Le système suppose que si le verre est mince, la lumière ne dévie pas trop, il peut donc mathématiquement « dé-mélanger » l'arrière-plan du verre.
Le bémol : Si le verre est très épais ou dévie la lumière de manière sauvage (réfraction forte), cette étape admet qu'elle pourrait avoir du mal à obtenir la couleur parfaite du « premier plan ». Au lieu de cela, elle abaisse la valeur de « transparence », disant à l'étape suivante : « Hé, cette partie est pratiquement solide, traite-la comme un rocher. »

3. Le détective de forme (DAF-Net)
Maintenant, le système doit connaître les courbes du verre. Les caméras standards ne peuvent pas voir les courbes du verre transparent car il n'y a ni ombres ni textures pour s'y accrocher. DAF-Net intervient pour deviner les angles de surface (les normales).

L'analogie : Imaginez un sculpteur aveugle qui ne peut pas voir la statue mais peut ressentir les courants d'air autour d'elle. DAF-Net utilise des caractéristiques de « ressenti » profondes issues d'un modèle appelé DINOv3 pour deviner les bosses et les courbes du verre, même s'il est invisible.
Le résultat : Cette étape crée une carte de la forme 3D du verre, ce qui est généralement impossible à obtenir avec des outils standards.

4. Le peintre de textures (GeoSemTransNet)
Enfin, le système prend toutes ces informations — le contour, la couleur « dé-transparente » et la carte de forme 3D — et peint une nouvelle image factice. Il remplace le verre transparent par un objet solide et texturé qui possède exactement la même forme 3D.

L'analogie : C'est comme prendre le modèle filaire d'un fantôme et le remplir d'argile et de peinture, pour lui donner l'apparence d'une statue solide.
L'objectif : Le but n'est pas de faire en sorte que le verre paraisse réel pour un humain ; c'est de le faire paraître réel pour une caméra 3D. La caméra voit alors un objet solide et peut calculer sa profondeur parfaitement.

Est-ce que cela fonctionne vraiment ?

Les auteurs n'ont pas seulement supposé ; ils ont analysé les chiffres. Ils ont pris des modèles 3D existants de haut niveau (comme DA3, MoGe2 et VGGT) qui échouent généralement de manière désastreuse sur le verre, leur ont injecté ces images « peintes par GHOST », et ont observé le résultat.

Le test de profondeur :
Lorsqu'ils ont utilisé le modèle MoGe2 sur des images de verre brutes, l'erreur de profondeur (RMSE) était de 0,018. Mais lorsqu'ils ont utilisé la version « peinte par GHOST », l'erreur est tombée à 0,014.

La grande victoire : La précision du modèle pour obtenir la profondeur correcte dans une marge infime (δ1.05) est passée de 86,7 % à 93,3 %.
Le test de forme : L'erreur d'angle pour les normales de surface (la capacité du modèle à deviner les courbes) est passée de 35,64 degrés à 24,37 degrés. C'est une amélioration majeure de la compréhension de la forme.

Le test de reconstruction 3D :
Lorsqu'ils ont tenté de construire un modèle 3D du verre en utilisant ces images peintes, les résultats ont été encore plus spectaculaires.

En utilisant le modèle DUSt3R, l'« Exactitude » (la proximité du modèle 3D avec la réalité) est passée de 0,57 à 0,25 (rappelez-vous, plus le chiffre est bas, mieux c'est ici).
Le « F-Score » (une mesure de la qualité globale) a grimpé de 77,36 à 88,66.

Ce que cela N'EST PAS (Et ce que cela exclut)

Il est important de savoir ce que GHOST ne fait pas, car les auteurs ont été très clairs à ce sujet.

Ce n'est pas une correction de « complétion de profondeur » : Certaines anciennes méthodes tentent de corriger la profondeur après que la caméra a commis une erreur. Les auteurs soutiennent que cela est inefficace et nécessite de réentraîner le modèle de la caméra pour chaque nouveau type de verre. GHOST rejette cela ; il corrige l' entrée afin que la caméra n'ait pas besoin d'être réentraînée.
Ce n'est pas un NeRF (Neural Radiance Field) : D'autres chercheurs tentent d'utiliser des modèles 3D complexes et lents (NeRF) qui nécessitent des heures d'entraînement pour une seule scène. GHOST évite explicitement cela. Il est rapide (0,38 seconde par image sur un GPU RTX 4090 puissant) et fonctionne avec des modèles standards et prêts à l'emploi.
Ce n'est pas une solution magique pour tout : L'article note que si le verre présente une réfraction très forte (déviation importante de la lumière), l'étape de « dé-transparence » pourrait ne pas obtenir la couleur parfaite. Cependant, le système est assez intelligent pour signaler que l'objet est « essentiellement solide », de sorte que l'étape suivante fonctionne tout de même.

L'essentiel

L'article suggère qu'en « hallucinant » une texture solide sur des objets transparents, nous pouvons tromper les caméras 3D standards pour qu'elles voient ce qu'elles ne peuvent habituellement pas percevoir. C'est un contournement ingénieux qui ne nécessite pas de construire de nouvelles caméras ou de réentraîner des modèles d'IA à partir de zéro.

Les auteurs ont démontré que cette méthode améliore considérablement les performances des outils existants. Sur le jeu de données ClearGrasp, leur méthode a permis aux modèles standards d'atteindre une précision de profondeur qui rivalise avec, voire dépasse, celle de modèles spécialisés pour le verre. C'est une solution « plug-and-play » : vous prenez votre objet en verre, vous le passez par GHOST, et soudain votre scanner 3D fonctionne à merveille.

Comme l'indiquent les auteurs, cela crée une nouvelle façon de résoudre le problème du « silo de perception », où nous devons habituellement construire un outil séparé et étroit pour voir le verre. Avec GHOST, nous pourrons peut-être enfin voir le verre en utilisant les mêmes outils que pour tout le reste.

Résumé Technique : GHOST (Geometry-Guided Hallucination of Opaque Surface Textures)

1. Énoncé du Problème

Les objets transparents présentent un défi fondamental pour les systèmes de pointe d'estimation de la profondeur et de reconstruction 3D. Ces systèmes reposent généralement sur l'hypothèse de réflexion diffuse lambertienne, qui est violée par les surfaces transparentes en raison de la transmission de la lumière, de la réflexion spéculaire et de la réfraction. Par conséquent, les modèles standards souffrent d'une dégradation géométrique sévère, prédisant souvent la profondeur de l'arrière-plan plutôt que la surface réelle du verre ou de l'objet transparent.

Les solutions existantes font face à des limitations significatives :

Complétion de profondeur et NeRF : Les méthodes comme la complétion de profondeur nécessitent souvent des données de vérité terrain coûteuses (obtenues via du matériel spécialisé ou de la pulvérisation de poudre) et un entraînement spécifique de bout en bout, ce qui conduit à une faible généralisation sur des matériaux non vus. Les approches basées sur NeRF souffrent d'une faible efficacité d'inférence, nécessitant des entrées multi-vues et un entraînement par scène prolongé, créant un « silo de perception » qui force l'abandon des modèles de pointe (SOTA) polyvalents.
Segmentation : Les modèles de segmentation actuels luttent contre le couplage de l'apparence de l'objet et de l'arrière-plan dû à la réfraction et à la réflexion, échouant souvent en cas de faible contraste ou d'occlusion complexe.

Le défi central est de permettre aux modèles de vision 3D génériques et prêts à l'emploi de traiter les objets transparents sans réentraînement, tout en évitant le coût élevé de l'acquisition d'étiquettes de profondeur de vérité terrain pour les matériaux transparents.

2. Méthodologie

Les auteurs proposent GHOST (Geometry-guided Hierarchical Opaque Style Transfer), un cadre de prétraitement universel. Au lieu de modifier les modèles en aval, GHOST « repeint » les régions transparentes en représentations opaques structurellement cohérentes en utilisant des modèles de fondation visuelle. Le pipeline se compose de quatre modules topologiquement interconnectés :

2.1. TransDINO : Localisation d'Objets Transparents

TransDINO est un cadre de segmentation hybride conçu pour extraire des masques sémantiques de haute qualité pour les objets transparents.

Architecture : Il utilise une structure U-Net avec un mécanisme d'encodage à double flux. Un flux extrait des caractéristiques spatiales multi-échelles à l'aide d'un backbone ResNet-34 pré-entraîné, tandis que l'autre traite les caractéristiques de DINOv3 (un modèle de fondation visuelle) pour capturer des frontières sémantiques denses.
Fusion : Un nouveau module TransFusionChannelAttn aligne les caractéristiques hétérogènes via une attention spatiale croisée, traitant les caractéristiques RGB comme requêtes (queries) et les caractéristiques sémantiques de DINOv3 comme clés (keys) et valeurs (values). Un mécanisme d'attention de canal par double pooling supprime le bruit, et un facteur d'échelle apprenable stabilise l'entraînement de la fusion profonde.

2.2. TransDecomp : Décomposition de l'Alpha et de l'Avant-plan

TransDecomp décompose la région de l'objet transparent en un masque alpha ( $\alpha_{trans}$ ) et une carte de gris de l'avant-plan ( $F_g$ ).

Hypothèse Physique : Sous l'hypothèse de la « réfraction faible » (où le déplacement de la lumière est faible), l'interaction est approximée par un mélange alpha (alpha blending). Pour une réfraction forte, le réseau génère des valeurs alpha plus faibles pour signaler la non-transparence.
Architecture : Un U-Net avec des convolutions à porte (gated convolutions) et un goulot d'étranglement Transformer. Les convolutions à porte distinguent les caractéristiques valides de l'objet du bruit de l'arrière-plan, tandis que le goulot d'étranglement ViT capture les dépendances à longue portée pour résoudre les ambiguïtés de réfraction.
Décodage à Double Tête : Le réseau produit une Tête d'Opacité (prédisant $\alpha$ ) et une Tête d'Avant-plan (prédisant la couleur intrinsèque/réflexions spéculaires). Celles-ci sont contraintes par le masque de l'objet et entraînées à l'aide d'une perte de reconstruction par rapport à l'image originale, guidée par un a priori d'arrière-plan pré-calculé via InpaintAnything.

2.3. DAF-Net : Estimation de la Normale de Surface

DAF-Net récupère les normales de surface ( $N$ ) fines pour encoder la courbure géométrique.

Architecture : Il comble le fossé entre les a priori sémantiques et les indices géométriques locaux en fusionnant les caractéristiques gelées de DINOv3 avec un Adaptateur Spatial Multi-Modal (MMSA) qui extrait des détails géométriques alignés sur les pixels à partir de l'RGB, des masques, des masques alpha et de la guidance de l'avant-plan.
Fusion : Un bloc de Fusion Sensible à la Fidélité utilise un mécanisme de Squeeze-and-Excitation (SE) pour supprimer de manière adaptative le bruit des régions transparentes.
Perte : L'objectif d'entraînement combine une perte probabiliste Von Mises-Fisher (vMF) (pour gérer l'ambiguïté d'orientation) et un a priori de lissage sensible aux bords guidé par le masque alpha.

2.4. GeoSemTransNet : Synthèse de Texture Opaque

Ce module synthétise l'image RGB opaque finale riche en textures.

Mécanisme : Il s'agit d'un réseau encodeur-décodeur qui fusionne les caractéristiques DINOv3 via des modules SPADE (Spatially-Adaptive Normalization). Les blocs SPADE modulent l'activation de l'encodeur de texture en utilisant des a priori géométriques ( $N$ , masque, avant-plan) pour garantir que la texture synthétisée adhère strictement à la géométrie 3D de l'objet.
Perte Sensible à la Physique : La génération est contrainte par :
1. Shape-from-Shading : Assurant la cohérence de la luminance avec les normales de surface prédites.
2. Cohérence des Gradients : Alignant les bords texturaux avec les discontinuités géométriques.
3. Termes de Reconstruction : Assurant la cohérence des bordures et de l'avant-plan.

3. Contributions Clés

TransDINO : Un modèle de segmentation basé sur U-Net injectant des caractéristiques DINOv3 pour une extraction robuste des masques d'objets transparents, surpassant les modèles spécialisés sur plusieurs jeux de données.
TransDecomp : Une architecture ViT à double tête qui désentrelace les propriétés physiques (transparence et valeurs d'avant-plan) sous des hypothèses de réfraction faible.
DAF-Net : Un estimateur de normales de surface exploitant les caractéristiques sémantiques profondes pour l'intégrité structurelle et les caractéristiques superficielles pour le flux de réfraction/spéculaire local.
GeoSemTransNet : Un encodeur-décodeur qui injecte hiérarchiquement les a priori géométriques via SPADE pour synthétiser des textures opaques guidées par la géométrie.
Prétraitement Universel : Le cadre permet aux modèles existants d'estimation de la profondeur et de reconstruction SOTA de traiter les objets transparents sans réentraînement, en « repeignant » efficacement la scène pour restaurer les indices photométriques.

4. Résultats Expérimentaux

Les auteurs ont évalué GHOST sur les jeux de données ClearGrasp, ClearPose et Trans10K-v2.

Segmentation : TransDINO a atteint des scores mIoU de pointe (ex: 92,44 % sur ClearGrasp, 86,82 % sur Trans10K-v2), surpassant de manière significative des modèles spécialisés comme EBLNet et TROSNet.
Estimation de la Profondeur : Lorsque les images traitées par GHOST ont été injectées dans des estimateurs de profondeur génériques (ex: DA3, MoGe2, DepthPro, VGGT), la précision s'est considérablement améliorée. Par exemple, en utilisant MoGe2, l'RMSE est passé de 0,018 à 0,014, et la précision $\delta_{1.25}$ s'est améliorée de 0,999 à 1,000. La méthode a surpassé les estimateurs de profondeur spécialisés pour objets transparents (ex: HDCNet, SwinDRNet).
Reconstruction 3D : Dans les tâches de reconstruction de type feed-forward (en utilisant des modèles comme DUst3R, $\pi^3$ , VGGT), les entrées traitées par GHOST ont conduit à des améliorations significatives de l'Exactitude (Accuracy), de la Complétude (Completeness) et du F-Score. Par exemple, le F-Score de DUst3R est passé de 77,36 à 88,66.
Études d'Ablation : Les expériences ont confirmé que l'ensemble du pipeline est nécessaire. Supprimer des composants (ex: utiliser uniquement les masques sans les normales ou les indices d'avant-plan) a entraîné des sorties de type bruit ou des performances inférieures aux images brutes originales, soulignant l'interdépendance des modules.

5. Signification et Revendications

L'article affirme que GHOST fournit un mécanisme de prétraitement universel qui résout le « silo de perception » créé par les modèles spécialisés pour les objets transparents. En transformant les régions transparentes en représentations opaques et structurellement cohérentes, GHOST permet :

Généralisation : Des modèles SOTA polyvalents et prêts à l'emploi peuvent être appliqués aux objets transparents sans besoin de réentraînement spécifique à la tâche ou d'acquisition coûteuse de profondeur de vérité terrain.
Efficacité : Il évite la surcharge de calcul de l'entraînement NeRF par scène et la dépendance matérielle de la complétion de profondeur traditionnelle.
Changement de Paradigme : Il offre une nouvelle approche pour résoudre les goulots d'étranglement des objets transparents dans les tâches de vision 3D générales en exploitant les modèles de fondation visuelle pour halluciner les indices géométriques et photométriques manquants.

Les auteurs soulignent que ce travail fait progresser le domaine de l'apprentissage automatique en démontrant comment les modèles de fondation peuvent être intégrés dans un pipeline pour surmonter les limitations physiques fondamentales (hypothèses lambertiennes) dans les tâches de vision par ordinateur.