Technische Samenvatting: POMA-3D

Probleemstelling

Het begrijpen van 3D-scènes is fundamenteel voor embodied agents en AR-systemen, maar het veld staat voor een aanzienlijke knelpunt: het gebrek aan grote schaal, voorgetrainde 3D-priors in vergelijking met de data op miljarden-schaal die beschikbaar is voor 2D vision-language modellen. Bestaande methoden voor 3D vision-language learning (VLL) vertrouwen doorgaans op point clouds, dieptekaarten of 3D Gaussian splats. Deze modaliteiten verschillen echter aanzienlijk van de invoerformaten van krachtige 2D foundation modellen (bijv. CLIP), wat effectieve kennisoverdracht belemmert. Bovendien hebben huidige benaderingen vaak moeite om een "CLIP-moment" te bereiken in 3D-begrip, waarbij een enkel model kan generaliseren over diverse taken zoals vragen beantwoorden, navigatie en retrieval zonder taakspecifieke architecturale wijzigingen.

Methodologie

Kernconcept: Point Maps

Het artikel stelt POMA-3D voor, het eerste zelftoezicht 3D-representatiemodel dat wordt geleerd vanuit point maps. Een point map codeert expliciete 3D-coördinaten $(x, y, z)$ op een gestructureerd 2D-rooster, waarbij de globale 3D-geometrie behouden blijft terwijl compatibiliteit met het invoerformaat van 2D foundation modellen wordt gehandhaafd. Deze modaliteit overbrugt de kloof tussen 2D-priors en 3D-structuur.

Dataset: ScenePoint

Om grootschalige pretraining te faciliteren, introduceren de auteurs ScenePoint, een dataset bestaande uit:

• 6.562 Kamer-niveau Scènes: Opgebouwd uit RGB-D datasets (ScanNet, 3RScan, ARKitScenes). Elke scène bevat multi-view point maps gekoppeld aan door LLM gegenereerde captions op view-niveau en scene-niveau.
• 1 Miljoen Single-View Scènes: Gegenereerd vanuit de ConceptualCaptions dataset. Met behulp van het VGGT-model worden 2D-afbeeldingen omgezet in single-view point maps met voorspelde diepte en cameraparameters.
• Annotaties: Captions worden gegenereerd met InternVL3-14B, met een selectieproces gebaseerd op cosinus-similariteit met FG-CLIP embeddings om kwaliteit te waarborgen.

Modelarchitectuur en Training

POMA-3D hanteert een twee-fasen pretraining paradigma met behulp van een view-to-scene vision-language alignment strategie en een novel POMA-JEPA doelstelling.

1. View-to-Scene Vision-Language Alignment:

   • Het model aligneert point map embeddings met bevroren image en text embeddings van FG-CLIP.
   • View-level alignment: Moedigt aan dat embeddings van point maps, afbeeldingen en captions van dezelfde view aligneren, terwijl ze contrasteren met andere views in de batch.
   • Scene-level alignment: Aggregeert multi-view embeddings tot een scene-representatie en aligneert deze met de scene-level caption.
   • Deze strategie transferreert rijke 2D semantische priors naar het 3D-domein.

2. POMA-JEPA (Joint Embedding-Predictive Architecture):

   • Om geometrische consistentie over meerdere views af te dwingen, introduceren de auteurs POMA-JEPA.
   • Mechanisme: Een context-encoder verwerkt zichtbare patches van multi-view point maps, terwijl een target-encoder (bijgewerkt via Exponential Moving Average) de volledige point maps verwerkt. Een predictor reconstrueert de target embeddings van gemaskerde patches.
   • Innovatie: In tegenstelling tot standaard JEPA, dat uitgaat van een vaste 2D-roosterorde, houdt POMA-JEPA rekening met de orde-agnostische aard van point clouds in wereldcoördinaten. Het maakt gebruik van Chamfer Distance als verliesfunctie in plaats van MSE, waardoor het model permutatie-invariante embedding-predicties kan verwerken zonder mode collapse.

3. Trainingsfasen:

   • Warm-up: Pretraining op single-view point maps afgeleid van 2D-afbeeldingen met uitsluitend de view-level alignment loss ($L_{view}$).
   • Hoofdfase: Gecombineerde optimalisatie op multi-view kamer-scènes met alignment losses ($L_{view} + L_{scene}$) en de POMA-JEPA loss ($L_{pjepa}$).

Belangrijkste Bijdragen

1. POMA-3D: Het eerste zelftoezicht 3D-model dat representaties direct leert vanuit point maps, waardoor effectieve overdracht van 2D foundation model priors naar 3D mogelijk wordt.
2. ScenePoint Dataset: Een grootschalige dataset die 6,5K real-world kamer-niveau scènes en 1M synthetische single-view scènes combineert, specifiek gecureerd voor point map pretraining.
3. Novel Trainingsdoelstellingen: De introductie van view-to-scene alignment en POMA-JEPA, die expliciet omgaan met de geometrische consistentie en de orde-agnostische aard van multi-view 3D-data.
4. Modaliteitsefficiëntie: Aantonen dat point maps dienen als een superieure intermediaire modaliteit voor 3D VLL, die dieptekaarten en point clouds overtreft in het overdragen van 2D-priors.

Experimentele Resultaten

POMA-3D werd geëvalueerd als backbone voor zowel specialist (BERT-gebaseerde) als generalist (LLM-gebaseerde) modellen over vier taken:

• 3D Vragen Beantwoorden (ScanQA, SQA3D, Hypo3D):
  • Het specialist model (POMA-3Dspec) presteerde beter dan state-of-the-art point cloud-gebaseerde modellen (bijv. SceneVerse) op SQA3D (+6,2% EM@1) en Hypo3D (+4,5% EM@1), ondanks het gebruik van alleen ongekleurde geometrische invoer.
  • Het generalist model (POMA-3Dllm) overtrof bestaande 2D LLM's en 3D LLM's op situational reasoning taken.
• Embodied Navigatie (MSNN):
  • POMA-3Dspec behaalde de hoogste prestaties in 4-richtingsnavigatie, terwijl POMA-3Dllm uitblonk in 8-richtingsnavigatie, wat wijst op sterke capaciteiten in complexe ruimtelijke redenering.
• Scene Retrieval:
  • POMA-3D presteerde aanzienlijk beter dan 3D VLL-methoden en zelfs de RGB-gebaseerde FG-CLIP baseline in zero-shot retrieval, waarbij het succesvol scènes ophaalde op basis van complexe tekstuele beschrijvingen (bijv. "ronde voetenkruk naast twee boekenkasten").
• Grove Lokalisatie:
  • Het model toonde het vermogen om specifieke point map views op te halen die overeenkomen met situational tekstqueries (bijv. "Ik sta tussen twee schoolborden"), waardoor het actief gebied van een agent effectief wordt gelokaliseerd in een zero-shot setting.

Ablatie Studies bevestigden dat:

• De 2D warm-up-fase cruciaal is voor het leren van robuuste features.
• Kamer-niveau scene alignment de prestaties verbetert over alle benchmarks.
• POMA-JEPA consistente winsten oplevert, met name in redeneringsintensieve taken.
• Point maps dieptekaarten overtreffen als invoermodaliteit voor 3D VLL.

Betekenis en Claims

Het artikel claimt dat POMA-3D de langdurige uitdaging van datatekort in 3D-representatieleren aanpakt door gebruik te maken van de enorme beschikbaarheid van 2D vision-language data. Door de point map te introduceren als een superieure intermediaire modaliteit, toont het werk aan dat 3D-begrip kan worden geschaald zonder uitsluitend te vertrouwen op dure 3D-scan-data.

De auteurs stellen dat POMA-3D een sterke, generaliseerbare backbone biedt die zowel lightweight specialist modellen als grote generalist LLM's ten goede komt. De resultaten suggereren dat het aligneren van 3D-geometrie met 2D-priors via point maps een veelbelovende richting is voor het bouwen van schaalbare foundation modellen voor 3D-begrip. Het artikel concludeert dat, hoewel de huidige resultaten sterk zijn met alleen geometrische invoer, toekomstig werk moet onderzoeken hoe point maps kunnen worden gefuseerd met kleurfeatures om geünificeerde scene-representaties te creëren.