SeeClear: Reliable Transparent Object Depth Estimation via Generative Opacification

Probleemstelling

Monoculaire diepsschatting (het schatten van diepte uit één afbeelding) is een fundamentele taak voor 3D-reconstructie, navigatie en robotica. Hoewel moderne modellen uitstekende prestaties leveren voor ondoorzichtige objecten, falen ze vaak bij doorzichtige objecten (zoals glas of transparant plastic).

• Oorzaak: Doorzichtige materialen veroorzaken breking (refractie) en transmissie, waardoor de achtergrond zichtbaar wordt en vervormd. Dit schendt de standaard fotometrische aannames die dieptenetwerken gebruiken (waarbij oppervlakte-uitstraling direct correleert met geometrie).
• Huidige beperkingen: Bestaande oplossingen vereisen vaak specifieke fine-tuning van diepmodellen op grote datasets van doorzichtige objecten met gepaarde RGB-dieptedata. Dit is moeilijk te verkrijgen in de echte wereld en vereist hertraining bij elke update van de onderliggende dieptearchitectuur.

Methodologie: SeeClear Framework

SeeClear is een "plug-and-play" front-end framework dat transparante objecten omzet in geometrisch consistente ondoorzichtige (opake) afbeeldingen, zodat bestaande, niet-getrainde dieptemodellen deze correct kunnen interpreteren. Het proces verloopt in twee hoofdstadia:

1. Generatieve Opacificatie (Generative Opacification):

   • Locatie: Een segmentatiemodel (SAM 3, aangedreven door Trans4Trans) lokaliseert het doorzichtige object en genereert een masker ($M_{seg}$).
   • Generatie: Een conditionele Latent Diffusion Model (LDM) transformeert de brekende, doorzichtige verschijning van het object naar een diffuse, ondoorzichtige textuur.
   • Conditionering: Het model wordt gestuurd door:
     • Het invoerbeeld ($I_{tr}$) en het masker ($M_{seg}$) als ruimtelijke gids.
     • Semantische conditionering via een CLIP-image encoder (gebruikmakend van de class token) om de objectidentiteit te behouden zonder lokale achtergrondlekken.
   • Training: Het model wordt getraind op een nieuwe synthetische dataset (zie hieronder) met een combinatie van een DDPM-verlies (voor de latent space) en een perceptueel verlies (LPIPS) om textuur en randen te behouden.

2. Masker-Refinement en Compositing:

   • Directe inpainting kan randartefacten of kleurverschuivingen veroorzaken door de VAE-encoder/decoder.
   • Een lichtgewicht Mask Refinement Module (MRM) voorspelt een zacht mengmasker ($\hat{M}_{refine}$) om de gegenereerde ondoorzichtige regio naadloos te samenvoegen met de originele achtergrond van het invoerbeeld.
   • Het resultaat is een "geblendde" afbeelding ($I_{blend}$) die voor het dieptemodel lijkt op een scène met alleen ondoorzichtige objecten.

3. Diepsschatting:

   • De gecompositeerde afbeelding wordt ingevoerd in een bestaand, state-of-the-art monoculair dieptemodel (zoals Depth Anything V3 of MoGe-2) zonder dat dit model opnieuw getraind of aangepast hoeft te worden.

Dataset: SeeClear-396k

Om het generatieve model te trainen, hebben de auteurs een grote synthetische dataset samengesteld:

• Omvang: 396.000 gepaarde renderings van doorzichtige en ondoorzichtige objecten.
• Inhoud: 11 doorzichtige objecten (meubels, huishoudelijke items) in 10 binnenruimtes.
• Variatie: Systematische variatie in camera-hoek, belichting en anisotrope vervorming van objectvormen.
• Ground Truth: Voor elke configuratie worden gepaarde afbeeldingen gegenereerd: één met een glasachtig materiaal (doorzichtig) en één met een diffuse Lambertian-materiaal (ondoorzichtig), maar met identieke geometrie, camera-pose en belichting. Dit levert perfect uitgelijnde diepte-, normaal- en maskerground truth op.

Resultaten

De auteurs evalueren SeeClear op zowel synthetische (TransPhy3D) als real-world (ClearGrasp) datasets.

• Prestaties: SeeClear overtreft significant bestaande state-of-the-art methoden (zoals Depth4ToM, D4RD, MODEST) en generische dieptemodellen.
• Zero-Shot Capabiliteit: Het werkt uitstekend in een zero-shot setting (zonder training op de testdata). Bijvoorbeeld, op de ClearGrasp-dataset verlaagt SeeClear de RMSE (Root Mean Square Error) voor het MoGe-2-model van 56,83 mm naar 26,62 mm.
• Vergelijking met Fine-tuning: Zelfs vergeleken met methoden die specifiek zijn gefine-tuned op de testdata (zoals DKT), presteert SeeClear beter of vergelijkbaar op de meeste metrieken, zonder dat er extra training nodig is.
• Kwaliteit: Visuele resultaten tonen aan dat SeeClear scherpe objectgrenzen herstelt, doorzichtigheid elimineert en accurate dieptekaarten genereert voor complexe scenario's (zoals objecten met vloeistof of overlappende objecten), terwijl concurrenten vaak wazige randen of "transparante" dieptefouten vertonen.

Bijdragen en Significantie

1. Nieuw Paradigma: In plaats van het dieptemodel zelf aan te passen, transformeert SeeClear de invoerdata naar een domein dat door bestaande modellen goed wordt begrepen (van doorzichtig naar ondoorzichtig).
2. Plug-and-Play Compatibiliteit: Het framework is onafhankelijk van de onderliggende dieptearchitectuur. Het werkt met elke moderne foundation model voor diepte en blijft compatibel met toekomstige updates zonder hertraining.
3. Data-creatie: De introductie van SeeClear-396k biedt een waardevolle benchmark en trainingsbron voor het probleem van doorzichtige objecten.
4. Praktische Toepasbaarheid: De methode lost een kritiek probleem op voor robotica en augmented reality, waar het correct begrijpen van de geometrie van glazen kasten, flessen of ramen essentieel is voor botsingsvermijding en manipulatie.

Kortom, SeeClear lost het probleem van onbetrouwbare diepsschatting bij doorzichtige objecten op door gebruik te maken van generatieve AI om de visuele eigenschappen van het object te "repareren" voordat de diepteanalyse plaatsvindt, waardoor robuuste en accurate resultaten worden bereikt zonder de complexiteit van gespecialiseerde training.