WildDet3D: Scaling Promptable 3D Detection in the Wild

Probleemstelling

Het begrijpen van objecten in 3D vanuit één enkele afbeelding (monoculaire 3D-objectdetectie) is een fundamentele uitdaging voor ruimtelijke intelligentie, essentieel voor toepassingen zoals robotica, AR/VR en autonoom rijden. Bestaande methoden hebben echter drie belangrijke beperkingen die hun toepasbaarheid in de "echte wereld" (in the wild) belemmeren:

1. Gebrek aan generalisatie: Bestaande modellen zijn vaak beperkt tot gesloten sets van objectcategorieën en presteren slecht op ongeziene objecten.
2. Stijve interactiemodi: Methoden zijn meestal gespecialiseerd in één type prompt (bijv. alleen tekst of alleen 2D-bounding boxes), terwijl praktische toepassingen flexibiliteit vereisen (tekst, klikken op punten, of rechthoeken).
3. Onbenutte geometrische aanwijzingen: Veel systemen kunnen geen gebruik maken van extra geometrische informatie (zoals dieptekaarten van LiDAR of stereo-camera's) wanneer deze beschikbaar zijn, of ze falen volledig als deze ontbreken.
4. Data-schaarste: Er is een gebrek aan grote, open datasets met gedetailleerde 3D-annotaties voor diverse objectcategorieën in realistische omgevingen.

Methodologie

Het paper introduceert twee hoofdcomponenten om deze problemen op te lossen: het WildDet3D-model en het WildDet3D-Data-dataset.

1. WildDet3D: Een Unificerend Architectuur

WildDet3D is een geometrie-bewust model dat monoculaire 3D-detectie uitvoert op basis van één RGB-afbeelding, optionele dieptekaarten en flexibele prompts.

• Dual-Vision Encoder:
  • Het model gebruikt twee parallelle encoders: een Image Encoder (gebaseerd op ViT-H/SAM3) voor rijke semantische kenmerken en een RGBD Encoder (gebaseerd op DINOv2) die optionele dieptekaarten verwerkt.
  • Een Depth Fusion Module (geïnspireerd op ControlNet) voegt de diepte-latents (ruwe dieptekennis) naadloos toe aan de semantische kenmerken van de beeldencoder. Dit zorgt ervoor dat het model geometrisch onderbouwde informatie gebruikt wanneer diepte beschikbaar is, maar degradeert gracefully naar monoculaire modus als deze ontbreekt.
• Promptable Detector:
  • Het model accepteert vier soorten prompts in één architectuur: tekst (categorie-naam), punten (2D-coördinaten), boxes (2D-bounding boxes) en exemplaren (visuele voorbeelden).
  • Prompts worden gecodeerd en gebruikt als cross-attention memory om de detectie te sturen.
• 3D Detection Head:
  • Voorspelt 3D-bounding boxes (centrum, afmetingen, rotatie, vertrouwen) met een unieke normalisatie voor rotatie om ambiguïteit op te lossen (bijv. verwisselen van breedte/hoogte bij symmetrische objecten).
  • Gebruikt deep supervision waarbij elke decoder-laag bijdraagt aan het verlies, wat leidt tot snellere convergentie.
• Multi-task Learning:
  • Het model wordt getraind met een combinatie van 3D-regressie, 3D-vertrouwensscores, geometrische verliesfuncties (diepte en camera-intrinsieken) en een auxiliary 2D-detectieloss. Dit helpt bij het verbeteren van de algehele prestaties.

2. WildDet3D-Data: Schaalbaar Dataset

Om generalisatie mogelijk te maken, hebben de auteurs een groot dataset gecreëerd:

• Data-aanmaak: Ze genereren kandidaat-3D-bounding boxes voor bestaande 2D-annotaties (van COCO, LVIS, Objects365, V3Det) met behulp van vijf verschillende modellen (o.a. 3D-MOOD, SAM-3D, RANSAC-PCA).
• Filtering & Selectie: Een multi-stadia pipeline filtert onwaarschijnlijke kandidaten:
  1. Rule-based filtering: Geometrische checks (occlusie, randcontact).
  2. VLM-filtering: Een Vision-Language Model (Molmo2) scoort kandidaten op criteria zoals schaal, vorm en rotatie.
  3. Human Annotation: Menselijke annotatoren selecteren de beste kandidaten voor een subset.
• Resultaat: Een dataset met >1 miljoen afbeeldingen en 13.500 objectcategorieën in diverse realistische omgevingen (binnen, buiten, natuur), wat een 138-voudige toename is ten opzichte van eerdere benchmarks zoals Omni3D.

Kernresultaten

WildDet3D behaalt state-of-the-art resultaten op meerdere benchmarks:

• WildDet3D-Bench (Open-wereld benchmark):
  • Bereikt 22.6 AP3D met tekstprompts en 24.8 AP3D met box-prompts. Dit is een enorme verbetering ten opzichte van eerdere methoden (bijv. 3D-MOOD scoorde slechts 2.3 AP).
  • Met ground-truth diepte als input stijgt de prestatie naar 41.6 AP (tekst) en 47.2 AP (box), wat aantoont dat het model dieptesignalen effectief benut.
• Omni3D Benchmark:
  • Bereikt 34.2 AP3D (tekst) en 36.4 AP3D (box), wat beter is dan bestaande SOTA-methoden, terwijl het model slechts 12 epochs nodig heeft voor training (tegenover 80-120 epochs voor concurrenten).
• Zero-shot Generalisatie:
  • Getraind op Omni3D en getest op Argoverse 2 en ScanNet zonder extra training, bereikt het respectievelijk 40.3 ODS en 48.9 ODS. Dit toont sterke overdraagbaarheid naar nieuwe domeinen en categorieën.
• Stereo4D (Real-world diepte):
  • Bij gebruik van echte stereo-diepte stijgt de prestatie van 7.5 AP naar 27.7 AP, wat de flexibiliteit van het model bevestigt.

Significantie en Toepassingen

De bijdrage van dit werk is tweeledig en significant voor het veld van ruimtelijke AI:

1. Unificatie van 3D-perceptie: Het is het eerste model dat tekst, punten en boxes in één architectuur verenigt en optionele diepte dynamisch integreert. Dit maakt het ideaal voor interactieve toepassingen waar gebruikers op verschillende manieren met het systeem kunnen communiceren.
2. Schaling naar de Open Wereld: Door het creëren van WildDet3D-Data, hebben de auteurs de barrière voor open-vocabulary 3D-detectie verlaagd. De dataset biedt de diversiteit die nodig is om modellen te trainen die niet beperkt zijn tot specifieke scenario's zoals autowegen of kantoorruimtes.
3. Praktische Deployments: Het paper demonstreert succesvolle implementaties in:
   • Mobiele apps: Real-time 3D-detectie op iPhones.
   • AR/VR: Integratie met Meta Quest 3 voor ruimtelijke overlays.
   • Robotica: Open-vocabulary grijpen van objecten door een robotarm.
   • VLM-integratie: Koppeling met Vision-Language Modellen voor complexe ruimtelijke redenering (bijv. "vind het duurste object").

Conclusie:
WildDet3D zet een nieuwe standaard voor monoculaire 3D-objectdetectie door de kloof tussen gesloten sets en de open wereld te overbruggen. Door een geavanceerde, geometrie-bewuste architectuur te combineren met een massaal, mens-geverifieerd dataset, biedt het een robuust en flexibel platform voor de volgende generatie ruimtelijke intelligentietoepassingen.