DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects

Le papier présente DiffTrans, un cadre de rendu différentiable qui décompose et reconstruit avec précision la géométrie et les matériaux d'objets transparents dans des scènes complexes en utilisant des FlexiCubes et un traceur de rayons récursif optimisé.

L'essentiel

🌟 Le Défi : Reconstruire l'Invisible

Imaginez que vous essayez de reconstituer un objet en verre (comme un vase ou un bijou) à partir de plusieurs photos prises sous différents angles. C'est un cauchemar pour les ordinateurs. Pourquoi ? Parce que le verre ne se contente pas de réfléchir la lumière comme un miroir ou d'absorber comme un mur. Il déforme la lumière (réfraction) et la filtre (absorption).

C'est un peu comme essayer de deviner la forme d'un objet caché derrière une vitre déformante, tout en sachant que la vitre elle-même change de couleur et d'épaisseur. Les méthodes précédentes échouaient souvent : elles reconstruisaient une forme bizarre ou ne comprenaient pas que l'objet était fait de verre.

🚀 La Solution : DiffTrans (Le "Détective de la Lumière")

Les auteurs proposent un nouvel outil appelé DiffTrans. Imaginez-le comme un détective très intelligent qui ne se contente pas de regarder les photos, mais qui simule physiquement comment la lumière voyage à travers l'objet pour comprendre sa vraie forme et sa composition.

Voici comment ça marche, étape par étape, avec des analogies simples :

1. L'Ébauche : Le Sculpteur de Silhouettes 🗿

Au début, le système ne sait pas à quoi ressemble l'objet à l'intérieur. Il regarde juste les contours noirs (les silhouettes) sur les photos.

• L'analogie : Imaginez un sculpteur qui reçoit une série de photos d'ombres projetées. Il commence par tailler un bloc de pierre grossièrement pour qu'il corresponde à ces ombres.
• La technique : Ils utilisent une méthode appelée FlexiCubes. C'est comme un bloc de mousse numérique qu'on peut étirer et façonner pour qu'il colle parfaitement aux contours de l'objet sur les photos. Pour éviter que la mousse ne soit trop "cassée" ou pleine de trous, ils ajoutent un peu de "gel" (régularisation) pour lisser la surface.

2. Le Contexte : La Carte du Monde 🌍

Avant de comprendre l'objet, il faut comprendre où il se trouve.

• L'analogie : Si vous regardez à travers une vitre, vous voyez ce qui est derrière. Le système doit donc d'abord cartographier le "fond" de la scène (l'environnement) en utilisant les parties des photos qui ne contiennent pas l'objet.
• La technique : Ils créent une carte lumineuse 3D de l'environnement, comme un décor de cinéma virtuel, pour savoir exactement quelle lumière arrive sur l'objet.

3. Le Cœur du Système : Le Ray Tracer Récurssif (Le Voyageur de Lumière) ✨

C'est l'étape la plus magique. Une fois qu'ils ont une forme de base et un décor, ils lancent des "rayons de lumière" virtuels à travers l'objet.

• L'analogie : Imaginez que vous lancez des balles de ping-pong (la lumière) à travers un objet en verre.
  • Si la balle touche le verre, elle peut rebondir (réflexion) ou passer au travers en se courbant (réfraction).
  • Si le verre est teinté (comme un verre à vin rouge), la balle perd un peu d'énergie en traversant (absorption).
• La magie de DiffTrans : Contrairement aux anciennes méthodes qui faisaient des suppositions, DiffTrans simule ce voyage de manière précise et réversible. Il ajuste en même temps :
  1. La forme de l'objet (pour que les rebonds soient justes).
  2. L'indice de réfraction (combien le verre courbe la lumière, comme l'eau vs le diamant).
  3. Le taux d'absorption (la couleur et l'opacité de l'intérieur).

Tout cela se fait "en boucle" : le système regarde le résultat, se dit "ce n'est pas tout à fait ça", ajuste un peu la forme ou la couleur, et recommence le voyage de la lumière, jusqu'à ce que l'image virtuelle soit identique à la photo réelle.

4. La Vitesse : Le Turbo CUDA 🏎️

Un problème avec ces simulations est qu'elles sont très lentes. DiffTrans a été codé directement sur la puce graphique (GPU) de l'ordinateur (via CUDA).

• L'analogie : C'est la différence entre faire un calcul à la main (lent) et utiliser une super-calculatrice (rapide). Cela permet de faire des millions de simulations de lumière en quelques secondes, rendant le processus rapide et efficace.

🎁 Le Résultat : Un Jouet Magique

Grâce à cette méthode, le système ne reconstruit pas seulement un objet en 3D, il reconstruit l'âme de l'objet :

• Il sait si c'est du verre, du plastique ou du cristal.
• Il sait si l'intérieur est teinté ou pur.
• Il peut même changer l'éclairage de la scène après coup ! Vous pouvez dire : "Et si on éclairait ce vase avec une lumière rouge ?" ou "Et si on le mettait sous la pluie ?" et l'ordinateur le simule parfaitement, car il a compris comment la lumière interagit avec la matière.

En Résumé

DiffTrans est comme un chef cuisinier qui, en goûtant un plat (les photos), arrive non seulement à dire quels ingrédients sont dedans (la forme), mais aussi à quel point le sel est salé (l'absorption) et comment les saveurs se mélangent (la réfraction), le tout en cuisinant des milliers de versions du plat à la seconde pour trouver la recette parfaite.

C'est une avancée majeure pour pouvoir recréer des objets fragiles et complexes (comme des bijoux, des bouteilles ou des décorations en résine) dans le monde virtuel avec un réalisme époustouflant.

Résumé technique

1. Problématique

La reconstruction géométrique et matérielle d'objets transparents à partir d'images multi-vues est un problème complexe et mal posé (ill-posed). Contrairement aux objets opaques, l'apparence des objets transparents dépend intrinsèquement de la réfraction de la lumière à travers leur volume et de leur interaction avec l'environnement.

• Limites des méthodes existantes : Les approches précédentes sont souvent limitées à des scénarios spécifiques (topologie uniforme, transparence idéale, réflexion spéculaire uniquement) ou ne modélisent que la surface, ignorant les propriétés d'absorption interne. Aucune méthode actuelle ne parvient efficacement à reconstruire des objets transparents possédant à la fois une topologie complexe, des textures internes absorbantes et des matériaux réalistes.
• Défi principal : La séparation simultanée de la géométrie, de l'indice de réfraction (IoR) et du taux d'absorption (matériau) dans un cadre d'inférence inverse.

2. Méthodologie : Le cadre DiffTrans

Les auteurs proposent DiffTrans, un cadre de rendu différentiable conçu pour décomposer et reconstruire simultanément la géométrie et les matériaux des objets transparents. L'approche se déroule en trois étapes progressives :

A. Initialisation de la Géométrie et de l'Environnement

• Géométrie initiale : Utilisation de FlexiCubes (une représentation d'iso-surface) pour reconstruire une géométrie initiale à partir des masques multi-vues de l'objet.
  • Pour éviter les artefacts et les fissures, les auteurs appliquent une régularisation par dilatation (pénalisant les valeurs SDF pour remplir les vides) et une régularisation de lissage (sur les gradients de profondeur et de normales en espace écran).
• Environnement : Récupération du champ de luminance de l'environnement (light radiance field) en utilisant les pixels situés en dehors du masque de l'objet, via une représentation de type NeRF (grille voxel + triplanes).

B. Interaction Lumière-Matière

Le modèle simplifie les équations de transport radiatif en faisant trois hypothèses clés pour rendre le problème traitable :

1. L'indice de réfraction est cohérent à l'intérieur de l'objet (trajectoires linéaires).
2. Le matériau est défini uniquement par l'indice de réfraction et le taux d'absorption (pas de rugosité de surface).
3. La surface présente un comportement purement spéculaire.

• Modélisation :
  • Réflexion/Réfraction : Calculées de manière déterministe via les équations de Fresnel.
  • Absorption : Modélisée par la loi de Beer-Lambert, où la luminance décroît exponentiellement le long du rayon en fonction du taux d'absorption $\mu_t(x)$.

C. Traceur de Rayons Maillage Différentiable Récursif

C'est le cœur de la méthode. Un traceur de rayons récursif est conçu pour optimiser conjointement la géométrie, l'IoR et l'absorption de manière end-to-end.

• Fonctionnement : Pour chaque rayon de caméra, le traceur suit le chemin de la lumière à travers l'objet (réflexions et réfractions multiples) jusqu'à une profondeur maximale ou une sortie de l'objet.
• Implémentation : Le traceur est implémenté en CUDA via OptiX, ce qui permet une exécution très rapide et une réduction significative des coûts de calcul par rapport aux méthodes basées sur des MLPs lourds.
• Optimisation : Les sommets du maillage, le champ d'absorption 3D et l'IoR sont optimisés ensemble. Des régularisations supplémentaires (sur la tonalité des couleurs et la régularité de l'absorption) sont utilisées pour stabiliser l'entraînement et éviter les gradients erronés dus aux arrière-plans réfractés.

3. Contributions Clés

1. Cadre DiffTrans : Un nouveau framework de rendu différentiable capable de décomposer et reconstruire la géométrie et les matériaux (IoR + absorption) d'objets transparents complexes.
2. Initialisation Robuste : Utilisation de FlexiCubes avec régularisation de dilatation et de lissage pour obtenir une géométrie initiale fiable uniquement à partir de masques, sans besoin de géométrie de départ précise.
3. Traceur de Rayons Récursif Différentiable : Conception d'un traceur de rayons maillé implémenté en CUDA/OptiX, permettant une optimisation efficace et end-to-end de la géométrie et des propriétés physiques (réfraction/absorption).
4. Reconstruction de Matériaux Complexes : Capacité unique à modéliser des textures d'absorption internes (comme les bijoux ou les résines), là où les méthodes précédentes échouaient.

4. Résultats Expérimentaux

Les expériences ont été menées sur des données synthétiques (jeux de données NEMTO, Lyu et al.) et réelles (captures iPhone).

• Qualité Géométrique : DiffTrans surpasse les méthodes de l'état de l'art (NeRO, NU-NeRF, NeRRF) en termes de distance de Chamfer (CD) et de score F1. Il réussit à reconstruire des structures complexes (ex: la main d'un singe, les détails d'un cheval) là où les autres méthodes produisent des surfaces rugueuses ou remplissent incorrectement les vides.
• Précision des Matériaux : La méthode prédit avec précision l'indice de réfraction (IoR) et le taux d'absorption, se rapprochant fortement des valeurs de vérité terrain.
• Édition de Scène (Relighting) : Grâce à la décomposition correcte de la géométrie et des matériaux, DiffTrans permet un réalighting (changement d'éclairage) de haute qualité. Les métriques (PSNR, SSIM, LPIPS) montrent une supériorité nette par rapport aux méthodes concurrentes qui ne simulent pas correctement la réfraction.
• Efficacité : L'implémentation CUDA permet un temps d'entraînement raisonnable (1-2 heures par scène) et une consommation de mémoire maîtrisée.

5. Signification et Impact

Ce travail représente une avancée majeure dans le domaine de la reconstruction 3D d'objets transparents.

• Réalisme Physique : En intégrant explicitement l'absorption et la réfraction dans un pipeline différentiable, DiffTrans comble le fossé entre les reconstructions purement géométriques et la réalité physique des objets transparents.
• Applicabilité : La capacité à reconstruire des objets avec des textures internes complexes (bijoux, verre décoratif, résine) ouvre la voie à des applications en réalité augmentée, en effets visuels et en analyse industrielle.
• Efficacité Computationnelle : L'utilisation d'un traceur de rayons matériel optimisé en CUDA démontre qu'il est possible d'obtenir des résultats de haute fidélité sans le coût prohibitif des méthodes basées uniquement sur des réseaux de neurones profonds (MLPs) pour le rendu volumétrique.

En résumé, DiffTrans établit un nouvel état de l'art pour la reconstruction d'objets transparents complexes, offrant une solution robuste, précise et capable d'édition de scène.