Boxer: Robust Lifting of Open-World 2D Bounding Boxes to 3D

Probleemstelling

Het lokaliseren van objecten in de 3D-ruimte is een fundamenteel probleem in computer vision, essentieel voor contextuele AI, robotica, augmented reality (AR) en digitale tweelingen. Hoewel 2D-objectdetectie aanzienlijke vooruitgang heeft geboekt, blijft 3D-objectlocalisatie voor open-wereld categorieën (objecten die niet beperkt zijn tot een vooraf gedefinieerde set klassen) een onopgeloste uitdaging.

De belangrijkste obstakels zijn:

1. Data-annotatie-dispariteit: Het verzamelen en annoteren van metrische 3D-bounding boxes (3DBB's) vereist gespecialiseerde setups (zoals LiDAR of gecalibreerde multi-view systemen), wat leidt tot datasets die orders van grootte kleiner zijn dan 2D-datasets.
2. Fragmentatie: Bestaande datasets zijn versnipperd over verschillende sensoren (dichte dieptekaarten vs. sparsere puntwolken) en camera-modellen, waardoor modellen moeilijk te generaliseren zijn.
3. Afhankelijkheid van gesloten sets: Veel bestaande methoden zijn beperkt tot een gesloten set van klassen of vereisen zware 3D-supervisie voor zowel detectie als localisatie, wat de schaalbaarheid beperkt.

Er is behoefte aan een universele interface die krachtige 2D-semantiek koppelt aan metrische 3D-geometrie, zonder afhankelijk te zijn van specifieke sensorconfiguraties.

Methodologie: Boxer

Boxer is een algoritme dat 2D-bounding boxes van open-wereld detectoren "lift" naar metrische 3D-bounding boxes. Het proces is opgedeeld in twee hoofdstadia: 2D-localisatie gevolgd door 3D-lifting.

1. 2D Detectie (Input)

Boxer maakt gebruik van bestaande, kant-en-klare open-wereld 2D-detectoren (zoals DETIC, OWLv2 of SAM3). Deze modellen lokaliseren objecten in het beeld op basis van tekstprompts en genereren 2D-bounding boxes met bijbehorende confidence scores. Boxer leunt hierop voor de semantische dekking en hoeft zelf geen 2D-detectie te leren.

2. BoxerNet: Het Lifting Model

De kern van het systeem is BoxerNet, een transformer-gebaseerd netwerk dat 2D-boxen omzet in 7-vrijheidsgraden (7-DoF) 3D-bounding boxes.

• Architectuur: Het model gebruikt een self-attention encoder die visuele features (via een DINOv3 backbone), camerakalibratie (stralen/features) en optionele dieptedata combineert.
• Flexibele Diepte-input: In tegenstelling tot eerdere werken (zoals CuTR) die alleen dichte dieptekaarten vereisen, ondersteunt BoxerNet zowel dichte dieptekaarten als sparsere puntwolken. Dit wordt bereikt door een median depth patch encoding, waarbij de mediaan diepte binnen een beeldpatch wordt berekend.
• Uncertainty Modeling: Het model voegt een aleatorische onzekerheidshead toe. Dit helpt bij het regelen van regressie in situaties met hoge observatieruis of ambiguïteit.
• Output: Voor elke 2D-box voorspelt het model een 3D-box (centrum, afmetingen, rotatie rond de zwaartekrachtas) en een confidence score. De uiteindelijke score is het gemiddelde van de 2D- en 3D-confidence scores.

3. Multi-View Temporal Fusion

Om een consistent wereldbeeld te creëren, worden per-frame 3D-detecties gefuseerd over tijd en verschillende gezichtspunten:

• Geometrische en Semantische Filtering: Detecties worden alleen samengevoegd als ze een hoge 3D-IoU hebben en semantisch consistent zijn (gebaseerd op tekst-embeddings).
• Clustering: Een graafalgoritme groepeert compatibele detecties tot objectclusters.
• Fusie: Binnen een cluster worden de parameters (positie, grootte, richting) gewogen gemiddeld. Rotatie-ambiguïteit (door 90° symmetrie) wordt opgelost voordat het gemiddelde wordt berekend.
• Non-Maximum Suppression (NMS): Een laatste stap verwijdert resterende duplicaten.

Kernbijdragen

1. Boxer Algorithm: Een volledig algoritme voor het schatten van open-wereld, globale en gedupliceerde 3D-bounding boxes uit geposeerde video's, met optionele ondersteuning voor sparsere puntwolken of dichte dieptekaarten.
2. BoxerNet: Een transformer-model dat 2D-detecties lift naar 3D. Het verbetert eerdere architecturen (CuTR) door aleatorische onzekerheid en mediane diepte-encoding in te bouwen, wat training op grote schaal (over 1,22 miljoen unieke 3DBB's) mogelijk maakt.
3. Schaalbaarheid en Robuustheid: Het systeem is getraind op data van vier verschillende apparaattypes (Project Aria, Quest, iPad, Kinect) en presteert goed zonder dat het model specifiek is aangepast aan een bepaalde camera- of sensorconfiguratie.
4. Open Source: De code en modellen zijn vrijgegeven om inferentie op diverse inputdata mogelijk te maken.

Resultaten

BoxerNet presteert significant beter dan state-of-the-art baselines in open-wereld 3D-lifting taken:

• Egocentrische Settings (zonder dichte diepte): Op de NymeriaPlus-dataset (geen dichte diepte, alleen sparsere SLAM-punten) behaalt BoxerNet een mAP van 0.532 met ground-truth 2D-boxen, vergeleken met slechts 0.010 mAP voor CuTR.
• Met Dichte Diepte: Op de CA-1M dataset (met dichte diepte) behaalt BoxerNet 0.412 mAP versus 0.250 mAP voor CuTR.
• Generalisatie: Het model toont superieure prestaties op zowel egocentrische data (Project Aria) als niet-egocentrische data (CA-1M, Omni3D), wat aantoont dat het de "domain gap" overbrugt.
• Ablatie Studies: Het verwijderen van de onzekerheidshead of de diepte-input leidt tot een aanzienlijke daling in prestaties, wat het belang van deze componenten bevestigt. Ook blijkt training op interne data essentieel voor de prestaties op open-wereld datasets.

Betekenis en Impact

Boxer biedt een praktische en schaalbare oplossing voor het construeren van consistente 3D-scène-representaties. Door de afhankelijkheid van zware 3D-annotatie te verminderen en in te zetten op de kracht van bestaande 2D-modellen, opent het de deur voor robuuste 3D-perceptie in open-wereld scenario's.

Dit is cruciaal voor:

• Robotica en Navigatie: Agenten kunnen objecten herkennen, schalen en oriënteren voor doelgerichte navigatie en manipulatie.
• Augmented Reality: Naadloze integratie van digitale content in fysieke ruimtes vereist nauwkeurige 3D-geometrie van onbekende objecten.
• Toekomstige VLM's: De mogelijkheid om bestaande gesloten datasets (zoals ScanNet) te verrijken met pseudo-annotaties voor open-wereld objecten, kan helpen bij het trainen van grotere Vision-Language Models.

Kortom, Boxer overbrugt de kloof tussen 2D-semantiek en 3D-geometrie, waardoor systemen beter kunnen omgaan met de complexiteit en variatie van de echte wereld.