DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects

DiffTrans is een differentieerbaar renderingkader dat geometrie en materialen van transparante objecten succesvol decomposeert en reconstrueert in complexe scènes door gebruik te maken van FlexiCubes voor initiële geometrie, een radiance field voor de omgeving en een recursieve differentieerbare ray tracer voor gezamenlijke optimalisatie.

De kern

🪞 DiffTrans: De Magische Spiegel voor Onzichtbare Voorwerpen

Stel je voor dat je een glazen vaas, een diamanten ring of een stukje gekleurd glas wilt fotograferen en vervolgens een perfecte 3D-modellen wilt maken van deze voorwerpen. Dat klinkt makkelijk, maar voor computers is dit een nachtmerrie.

Waarom? Omdat glas niet doet wat een muur doet. Een muur blokkeert licht; glas laat licht door, buigt het (breking) en absorbeert soms een beetje kleur. Als je door een glas kijkt, zie je niet alleen het glas zelf, maar ook de wereld erachter, maar dan vervormd. Het is alsof je probeert de vorm van een rimpel in een vijver te bepalen door alleen naar de rimpel te kijken, terwijl je ook nog eens de bomen op de oever ziet die erin worden weerkaatst.

DiffTrans is een nieuwe slimme computerprogramma dat deze puzzel oplost. Het kan van een reeks foto's een perfect 3D-model maken van transparante voorwerpen, inclusief hun vorm, hun "glans" en hoe donker ze van binnen zijn.

Hier is hoe het werkt, stap voor stap:

1. De Eerste Schets: Het Silhouet (De "Schaduwen")

Stel je voor dat je een schim van een voorwerp tegen een muur ziet. Je weet dat er iets is, maar je weet niet precies hoe het eruit ziet.

• Wat DiffTrans doet: Het begint met het kijken naar de "schaduwen" (de silhouetten) van het voorwerp op de foto's. Het maakt een ruwe, grove schets van de vorm.
• De truc: Om ervoor te zorgen dat deze schets niet uit gaten en rare stukken bestaat, gebruikt het een techniek die we kunnen vergelijken met het opzwellen van een ballon. Het zorgt ervoor dat de vorm eerst een beetje "dikker" wordt om alle gaten te vullen, en maakt het daarna weer glad. Zo krijg je een solide basis.

2. De Achtergrond: De "Verkeerslichten"

Een transparant voorwerp is niets zonder de omgeving. Als je door een raam kijkt, zie je de bomen erachter. Als je die bomen niet kent, kun je het raam niet goed reconstrueren.

• Wat DiffTrans doet: Het kijkt naar de delen van de foto buiten het voorwerp. Het bouwt een virtuele wereld op rondom het voorwerp, alsof het een 360-graden camera heeft die de achtergrond vastlegt. Dit is cruciaal, want het glas reflecteert en buigt precies deze achtergrond.

3. De Grote Doorbraak: De "Licht-Loop" (De Ray Tracer)

Dit is het meest ingenieuze deel. De meeste oude methoden proberen het glas te simuleren alsof het licht in een rechte lijn gaat. Maar licht gaat door glas heen en buigt!

• De Analogie: Stel je voor dat je een laserstraal door een doolhof van spiegels en glazen blokken schiet. De straal kaatst heen en weer, breekt en verliest een beetje energie (kleur) onderweg.
• De Uitdaging: Computers zijn normaal gesproken traag als ze dit moeten berekenen voor elke pixel.
• De Oplossing van DiffTrans: De auteurs hebben een super-snel, speciaal gebouwd "licht-robot" (een ray tracer) gemaakt die direct in de grafische chip (GPU) van de computer werkt. Deze robot kan duizenden lichtstralen tegelijkertijd door het virtuele glas jagen.
  • Hij kijkt: "Hoeveel licht wordt er gebroken?"
  • Hij kijkt: "Hoeveel kleur wordt er opgegeten door het glas?" (bijvoorbeeld: is het groen glas donkerder dan het lichtgroene?)
  • Hij doet dit allemaal in één keer, terwijl hij tegelijkertijd de vorm van het glas en de eigenschappen van het materiaal aanpast. Het is alsof je een beeldhouwer bent die tegelijkertijd de vorm van het marmer en de kleur van het pigment aanpast, terwijl je de beelden van de toeschouwers in de gaten houdt.

4. Het Resultaat: Een Perfecte Kopie

Na deze processen heeft DiffTrans niet alleen de vorm van het glas, maar ook:

• De Brekingsindex: Hoeveel het licht buigt (is het water, glas of diamant?).
• De Absorptie: Hoe donker of gekleurd het materiaal van binnen is.
• De Achtergrond: Een perfecte 3D-omgeving.

Waarom is dit cool?
Omdat je nu met dit 3D-model kunt spelen. Je kunt het voorwerp verplaatsen, de belichting veranderen (alsof je de zon verplaatst), en het ziet er nog steeds realistisch uit. Je kunt het glas veranderen van helder naar donkerblauw, en het model past zich automatisch aan.

Samenvatting in één zin

DiffTrans is als een slimme, digitale detective die door een reeks foto's van glazen voorwerpen kijkt, de achtergrond reconstrueert, en met een supersnelle licht-robot de vorm, de kleur en de breking van het glas berekent, zodat we deze onzichtbare voorwerpen eindelijk in 3D kunnen vastleggen en bewerken.

Het is een enorme stap voorwaarts voor virtual reality, film-effecten en het ontwerp van producten, omdat het eindelijk transparante objecten behandelt zoals ze echt zijn: complexe, lichtbuigende wonderen.

Technische samenvatting

Probleemstelling

Het reconstrueren van de geometrie en materialen van transparante objecten op basis van een reeks meervoudige weergaven (multi-view images) is een uiterst complexe en slecht gestelde (ill-posed) opgave. Dit komt door de ingewikkelde interactie van lichtbreking (refractie) tussen het oppervlak van het object en de omgeving. In tegenstelling tot ondoorzichtige objecten, is het uiterlijk van transparante objecten sterk verweven met hun geometrie; zelfs kleine veranderingen in de scene kunnen leiden tot grote variaties in het uiterlijk.

Bestaande methoden hebben vaak beperkingen:

• Ze zijn vaak specifiek ontworpen voor ideale scenario's (uniforme topologie, perfecte transparantie).
• Ze negeren vaak de interne materialen, zoals absorptie (bijv. bij juwelen of gekleurd glas).
• Methoden die gebaseerd zijn op eikonaal-velden of SDF's (Signed Distance Fields) hebben moeite om betrouwbare mesh-structuren te extraheren, vooral bij objecten met complexe texturen of interne absorptie.
• Bestaande technieken modelleren vaak alleen oppervlaktematerialen en niet de interne absorptie, wat leidt tot inferieure reconstructies in realistische scènes.

Methodologie: DiffTrans

De auteurs stellen DiffTrans voor, een differentieel renderingsframework dat de geometrie en materialen van transparante objecten efficiënt decomposeert en reconstrueert. Het framework werkt in drie progressieve fasen:

1. Initiële Geometrie en Omgeving (Initialisatie):

   • Geometrie: In plaats van complexe implicitere representaties, gebruiken de auteurs FlexiCubes als iso-surface representatie. Deze worden geoptimaliseerd op basis van de silhouetten (masks) van het object in meerdere weergaven.
   • Regularisatie: Om artefacten en scheuren in het mesh te voorkomen, worden dilatie-regularisatie (om gaten te vullen) en gladheidsregularisatie (op diepte en normaalvectoren) toegepast.
   • Omgeving: De omgevingsverlichting wordt gereconstrueerd met behulp van een radiance field (gebaseerd op MERF/NeRF-architectuur met voxelroosters en tri-planes), getraind op de pixels buiten het objectmasker.

2. Lichtinteractie en Fysica:

   • Het model maakt aannames om het probleem hanteerbaar te maken: een constante brekingsindex (IoR) per object, geen ruwheid (alleen spiegelende reflectie en breking), en een focus op absorptie in plaats van in-scattering.
   • Lichtverval: De straling in het object wordt gemodelleerd volgens de wet van Lambert-Beer, waarbij de straling afneemt afhankelijk van de absorptiecoëfficiënt ($\mu_t$) en de afgelegde afstand.
   • Fresnel: De verhouding tussen reflectie en transmissie wordt berekend met de Fresnel-vergelijkingen.

3. Differentieel Recursief Ray Tracing (De Kern):

   • De meest cruciale stap is een differentieel recursief mesh ray tracer. Dit traceert lichtstralen recursief door het object (reflectie en breking) totdat ze de scene verlaten of een maximale diepte bereiken.
   • Unified Optimization: Dit systeem optimaliseert simultaan en end-to-end de geometrie (mesh vertices), de brekingsindex (IoR) en de absorptiesnelheid (absorption rate).
   • Implementatie: De ray tracer is geïmplementeerd in OptiX en CUDA, wat zorgt voor een aanzienlijke reductie in rekentijd en een hoge efficiëntie, in tegenstelling tot traditionele CPU-gedreven differentieel renderers.

Belangrijkste Bijdragen

• DiffTrans Framework: Een nieuw framework dat in staat is om zowel geometrie als complexe interne materialen (absorptie) van transparante objecten te decomponeren en te reconstrueren.
• FlexiCubes met Regularisatie: Het gebruik van FlexiCubes met dilatie en gladheidsregularisatie om een robuuste initiële geometrie te verkrijgen uitsluitend op basis van silhouetten.
• Differentieel Recursief Ray Tracer: Een uniek, in CUDA geïmplementeerd ray tracing-systeem dat de fysica van lichtbreking en absorptie in transparante objecten direct differentieel maakt, waardoor een gezamenlijke optimalisatie mogelijk is.
• Scène Editing: Door de decompositie van geometrie en materialen is het mogelijk om scènes te bewerken, zoals het opnieuw belichten (relighting) van het object.

Resultaten

De auteurs hebben DiffTrans getest op zowel synthetische datasets (zoals NEMTO en datasets met objecten als paard, aap, konijn) als real-world datasets (bloemen, vastgelegd met een iPhone).

• Geometrie Kwaliteit: DiffTrans overtreft state-of-the-art methoden (zoals NeRO, NU-NeRF, NeRRF) significant in termen van Chamfer Distance (CD) en F1-score. Het slaagt erin om complexe topologieën en interne structuren correct te reconstrueren, waar andere methoden vaak mislukken (bijv. door gaten of vervormingen).
• Materiaalherstel: Het model kan nauwkeurig de brekingsindex en absorptieprofielen voorspellen, wat resulteert in realistische weergaven van objecten met complexe texturen (zoals gekleurd glas of juwelen).
• Relighting: De resultaten van het opnieuw belichten tonen aan dat DiffTrans realistische reflecties en brekingen onder nieuwe lichtomstandigheden kan simuleren, terwijl basismethoden vaak onrealistische resultaten leveren door het negeren van refractie of materiaal.
• Efficiëntie: Dankzij de CUDA-implementatie is de trainingstijd beperkt (1-2 uur per scène) en is het geheugengebruik beheersbaar.

Betekenis en Impact

Dit werk is significant omdat het een van de eerste methoden is die succesvol de interne absorptie en geometrie van transparante objecten in één unified framework combineert. Het overbrugt de kloof tussen theoretische inverse rendering en praktische toepasbaarheid in complexe, realistische scènes.

De mogelijkheid om transparante objecten met complexe texturen (zoals handgemaakte harsen, glasdecoraties en edelstenen) nauwkeurig te reconstrueren, opent de deur voor geavanceerde toepassingen in:

• Digitale productie en VFX: Realistische integratie van transparante objecten in CGI-scènes.
• Augmented Reality (AR): Betere weergave van transparante objecten in gemengde realiteit.
• Robotica en Visie: Betere perceptie van transparante objecten door robots.

Kortom, DiffTrans biedt een robuuste en efficiënte oplossing voor een van de meest uitdagende problemen in computer vision: het begrijpen en reconstrueren van transparantie.