Technische Samenvatting: Masked Depth Modeling voor Ruimtelijke Perceptie (LingBot-Depth)

1. Probleemstelling

Nauwkeurige 3D ruimtelijke perceptie is cruciaal voor fysieke toepassingen zoals autonoom rijden en robotmanipulatie. Hoewel RGB-D-camera's de enige modaliteit zijn die in staat is om real-time, absolute metrieke schaal en pixel-uitgelijnde dichte geometrie te leveren, lijden ze onder inherente hardwarebeperkingen. Specifiek zijn de stereo-matching algoritmen die in deze sensoren worden gebruikt zeer gevoelig voor verschijningsvorm-ambiguïteiten, wat leidt tot ernstige datacorruptie en ontbrekende waarden (gaten) in uitdagende scenario's zoals oppervlakken met lage textuur, spiegelende reflecties en complexe verlichting.

Huidige benaderingen behandelen deze ontbrekende metingen vaak als ruis die moet worden weggegooid. Dit artikel betoogt echter dat deze onnauwkeurigheden niet louter fouten zijn, maar "gemaskeerde" signalen die inherent de onderliggende geometrische en verschijningsvorm-ambiguïteiten reflecteren. De kernuitdaging is om deze van nature voorkomende ontbrekende regio's te benutten om robuuste, metriek-schaalbare diepte-representaties te leren die de geometrie kunnen voltooien, zelfs waar sensoren falen.

2. Methodologie: Masked Depth Modeling (MDM)

De auteurs stellen LingBot-Depth voor, een diepte-completeringsmodel gebaseerd op een nieuw Masked Depth Modeling (MDM) framework. Deze aanpak past de principes van zelfgesuperviseerde masked image modeling (bijv. MAE) aan, maar verschuift de doelstelling van verschijningsvorm-reconstructie naar dieptekaartvoorspelling met behulp van RGB-D inputs.

2.1 Kernarchitectuur

Het model maakt gebruik van een Vision Transformer (ViT-Large) encoder en een ConvStack decoder.

• Gescheiden Patch Embedding: De RGB-afbeelding en de dieptekaart worden verwerkt via afzonderlijke patch embedding-lagen om uitgelijnde RGB- en diepte-tokens te genereren.
• Positionele Embeddings: Het systeem maakt gebruik van zowel gedeelde 2D ruimtelijke positionele embeddings als modaliteit-specifieke embeddings (om onderscheid te maken tussen RGB- en diepte-tokens) om de ruimtelijke locatie en de identiteit van de inputbron vast te leggen.
• Joint Embedding: De encoder leert een gezamenlijke representatie door aandacht te schenken aan de volledige, niet-gemaskeerde RGB-context en de resterende geldige diepte-tokens.
• ConvStack Decoder: In tegen tegenstelling tot standaard MAE, die een ondiepe Transformer decoder gebruikt voor pixelreconstructie, gebruikt LingBot-Depth een hiërarchische ConvStack decoder. Dit is beter geschikt voor dichte geometrische voorspelling. De decoder verwerpt latente diepte-tokens en reconstrueert de volledige dieptekaart vanuit de verbeterde contextuele tokens (RGB-features die verrijkt zijn met globale scènecontext via de [cls] token).

2.2 Maskeringsstrategie

Een belangrijke innovatie is de interpretatie van sensorfouten als "natuurlijke maskers".

• Natuurlijke Maskering: In plaats van willekeurige maskering, maskeert het model diepte-tokens die overeenkomen met ontbrekende of ongeldige sensormetingen.
• Adaptieve Maskering: Voor patches die een mix bevatten van geldige en ongeldige waarden, wordt een hoge waarschijnlijkheid (bijv. 0,75) van maskering toegepast. Als de natuurlijke maskerverhouding onvoldoende is, worden aanvullende geldige tokens willekeurig gemaskeerd om een doelverhouding van 60–90% te bereiken.
• Leersignaal: Het model wordt gedwongen om ontbrekende dieptewaarden af te leiden door te redeneren over de correlatie tussen de volledige RGB-context en de schaarse geldige diepte-tokens. Dit verenigt de doelstellingen van monoculaire diepte-estimatie (wanneer alle diepte is gemaskeerd) en diepte-complementatie (wanneer alleen ongeldige tokens zijn gemaskeerd).

2.3 Data Curatie Pipeline

Om grootschalige MDM-training te ondersteunen, hebben de auteurs een schaalbare datapipeline gebouwd die 3 miljoen RGB-D paren genereert (2M echt, 1M synthetisch):

• Synthetische Tak (LingBot-Depth-S): Gebruikt zelfgehoste 3D-assets in Blender om RGB-afbeeldingen, perfecte diepte en stereo-paren te renderen. Cruciaal is dat het real-world sensorartefacten simuleert door Semi-Global Matching (SGM) toe te passen op de stereo-paren om "sensor-achtige" dieptekaarten met natuurlijke imperfecties te genereren.
• Real-World Tak (LingBot-Depth-R): Maakt gebruik van een modulaire, 3D-geprinte capture rig die compatibel is met diverse consumenten RGB-D camera's (bijv. Intel RealSense, Orbbec Gemini, ZED). Pseudo-diepte labels worden gegenereerd via stereo matching op gevangen IR-paren, met consistentiecontroles om fouten te filteren.
• Aanvullende Data: De trainingsset is uitgebreid met 7 open-source RGB-D datasets, waarbij maskeringstrategieën zijn aangepast aan hun specifieke datakenmerken.

3. Belangrijkste Resultaten

3.1 Diepte-complementatie

LingBot-Depth werd geëvalueerd op standaard benchmarks (iBims, NYUv2, DIODE, ETH3D) onder twee protocollen: block-wise depth masking en schaarse SfM inputs.

• Prestaties: Het model presteerde consequent beter dan state-of-the-art methoden (OMNI-DC, PromptDA, PriorDA) over alle moeilijkheidsgraden.
• Metrieken: Op indoor benchmarks verminderde het de RMSE met meer dan 40% vergeleken met de beste concurrent in extreme settings. Op het uitdagende ETH3D sparse SfM protocol behaalde het state-of-the-art resultaten, met een reductie in RMSE van 47% (indoor) en 38% (outdoor).
• Kwalitatief: Het model produceert scherpere dieptegrenzen en meer coherente structuren, met name in regio's met ernstige occlusie of schaarse observaties.

3.2 Monoculaire Diepte-estimatie

Wanneer gebruikt als pretraining backbone voor MoGe (als vervanging voor DINOv2), demonstreerde de MDM-pre-trained encoder superieure prestaties in monoculaire diepte-estimatie over 10 diverse benchmarks (indoor, outdoor, synthetisch en real-world).

• Generalisatie: Het model vertoonde consistente verbeteringen in affine-invariant, scale-invariant en disparity-invariant metrieken, wat suggereert dat MDM effectief 3D geometrische kennis destilleert in de encoder.

3.3 FoundationStereo Integratie

Het gebruik van LingBot-Depth als prior voor FoundationStereo resulteerde in:

• Snellere Convergentie: Het model bereikte sterke prestaties bij epoch 5, wat de vanilla baselines aanzienlijk overtrof.
• Stabiliteit: Het vermeed de trainingsinstabiliteit die werd waargenomen bij MoGe-gebaseerde varianten.
• Finale Nauwkeurigheid: Het behaalde de beste of vergelijkbare resultaten over alle geteste benchmarks (ETH3D, Middlebury, Booster, etc.) tegen epoch 15.

3.4 Downstream Toepassingen

Het artikel demonstreert het nut van LingBot-Depth in zero-shot of minimale fine-tuning scenario's:

• Video Diepte-complementatie: Ondanks dat het getraind is op statische beelden, produceert het model temporeel consistente dieptestromen. Het slaagt erin ontbrekende regio's in transparante en reflecterende oppervlakken (bijv. glazen wanden, aquariumtunnels) in te vullen waar zowel gestructureerde licht- als stereo-sensoren falen.
• 3D Point Tracking: Geïntegreerd in SpatialTrackerV2, maakt de verfijnde diepte vloeiendere en nauwkeurigere camera-traject-estimatie en dynamische objecttracking mogelijk in scènes met uitgebreide glazen oppervlakken.
• Robotische Manipulatie (Grasping): In een real-world dexterous grasping taak (Rokae arm + X Hand-1), maakte het model succesvolle manipulatie mogelijk van uitdagende objecten (transparante glazen, reflecterende kommen) die de ruwe sensordiepte versloegen. De succesratio's verbeterden aanzienlijk (bijv. 17/20 vs. 13/20 voor stalen bekers; 16/20 vs. 12/20 voor transparante bekers).

4. Betekenis en Claims

Het artikel beweert dat LingBot-Depth een paradigmaverschuiving vertegenwoordigt in de omgang met RGB-D sensorbeperkingen. Door sensorfouten te behandelen als "natuurlijke maskers" in plaats van ruis, leert het model geometrie af te leiden uit visuele context, waardoor de kloof tussen schaarse/ongeldige sensordata en dichte, metriek-nauwkeurige 3D perceptie effectief wordt overbrugd.

De auteurs benadrukken dat hun aanpak:

1. Hardware overtreft: Het model presteert beter dan top-tier commerciële RGB-D camera's in zowel diepteprecisie als pixeldekking, met name onder moeilijke licht- en materiaalomstandigheden.
2. Taken verenigt: Het MDM-framework dient als een veelzijdige generalist, in staat om zowel als diepte-complementatie tool als monoculaire diepte-estimator te fungeren, afhankelijk van de maskeringstrategie.
3. Robotische Bruikbaarheid mogelijk maakt: De robuuste dieptevoorspellingen en uitgelijnde latente representaties maken betrouwbare manipulatie van objecten mogelijk die typisch conventionele sensoren verslaan, wat direct praktisch nut aantoont voor ruimtelijke perceptie in robotica.

De auteurs stellen de code, checkpoints en de gecureerde 3M RGB-depth dataset beschikbaar aan de community om verder onderzoek in ruimtelijke perceptie te faciliteren.