Technische Samenvatting: CasaMaestro

Probleemstelling

De snelle ontwikkeling van embodied AI voor huiselijke omgevingen vereist snelle, metrisch nauwkeurige 3D-reconstructie van woonruimtes om navigatie en uitvoering van taken met een lange horizon te ondersteunen. Huidige state-of-the-art 3D-reconstructiepipelines vertrouwen primair op pinhole camera vision foundation models (VFMs). Deze methoden kampen met aanzienlijke beperkingen wanneer ze worden toegepast op huis-schaal binnenruimtes:

1. Beperkt gezichtsveld (FoV): Pinhole camera's vereisen dichte beeldsequenties (duizenden afbeeldingen) om meerdere kamers te dekken, wat leidt tot hoge computationele kosten en menselijke inspanning.
2. Drift en accumulatiefouten: Lange ketens van incrementele uitlijning in dichte sequenties verergeren drift, wat leidt tot ernstige reconstructiefouten.
3. Falen bij ijle opnames (Sparse Capture): Bestaande pinhole-modellen hebben moeite met ijle gezichtspunten (minder afbeeldingen) en falen vaak in het herstellen van de scènegeometrie door onvoldoende overlap.
4. Hardwareafhankelijkheid: Hoewel LiDAR hoogwaardige assets biedt, is het kostbaar en hardwareafhankelijk, terwijl visuele oplossingen een gebrek aan robuustheid vertonen voor grootschalige, ijle panoramische inputs.

Bestaande panoramische benaderingen zijn grotendeels beperkt tot dieptevoorspelling met één enkel beeld of kleinschalige, kort bereikende multi-view instellingen (bijv. 2–5 views), en slagen er niet in de uitdaging van huis-schaal reconstructie vanuit ijle multi-view panorama's aan te pakken.

Methodologie

CasaMaestro wordt geïntroduceerd als het eerste feedforward model dat in staat is tot extrinsiek-vrije, multi-view panoramische 3D-reconstructie met behulp van ijle huis-schaal opnames (20–50 panorama's). De architectuur volgt een minimalistische designfilosofie, gebouwd op een DINOv2 backbone met gespecialiseerde heads voor diepte en pose.

1. Unified Multi-View Backbone

Het model maakt gebruik van een vanilla DINOv2 transformer backbone om een willekeurig aantal input panoramische views ($V$) te verwerken.

• Tokenisatie: Input panorama's worden behandeld als afzonderlijke views. Patch embeddings worden gegenereerd voor elke view.
• Aandachtsmechanisme: De backbone wisselt af tussen intra-view self-attention (het onafhankelijk verwerken van individuele views) en cross-view self-attention (het platmaken van de view-dimensie om tokens van verschillende views informatie te laten uitwisselen). Deze globale interactie injecteert uitgebreide scènecontext, wat de robuustheid tegen grote verschuivingen in gezichtspunten verbetert.
• Output: De backbone produceert gedeelde representaties die worden gebruikt voor zowel diepte- als pose-estimatie.

2. Panoramic Camera Pose Decoder

Om de specifieke geometrische uitdagingen van panoramische inputs aan te pakken, is een speciale, lichtgewicht camera pose decoder geïntroduceerd die de pose-estimatie loskoppelt van de hoofdbackbone.

• Motivatie: Terwijl de backbone kenmerken extraheert, is pose-estimatie een globale geometrische taak die uitlijning over views vereist. Onafhankelijke regressie (MLP per view) mist expliciete informatie-uitwisseling.
• Architectuur:
  • Feature Projectie: Inputs worden geprojecteerd naar de modeldimensie.
  • Per-view Verfijning: Een pre-attention MLP met residuele verbindingen conditioneert de tokens.
  • Cross-view Attention: Een transformer decoderlaag aggregeert informatie over de view-dimensie, waarbij een optionele attention mask wordt gebruikt om ongeldige regio's (bijv. camerastangen) af te handelen.
  • Pose Heads: Afzonderlijke lineaire heads regresseren translatie ($\mathbf{t} \in \mathbb{R}^3$) en rotatie (unit quaternion $\mathbf{q} \in \mathbb{R}^4$). De rotatie wordt expliciet genormaliseerd om geometrische validiteit te garanderen.
• Voordeel: Dit ontwerp zorgt ervoor dat de backbone zich kan richten op feature extractie, terwijl de decoder expliciet globale consistentie afdwingt voor pose-voorspelling.

3. ERP Data Augmentatie

Om het tekort aan diverse gezichtspunten in bestaande datasets (waar views vaak minimale relatieve rotatie hebben) te overwinnen, stellen de auteurs een nieuwe Equirectangular Projection (ERP) data augmentatie strategie voor.

• Proces: Willekeurige rotaties (yaw, pitch, roll) worden gesampled en toegepast op het bronpanorama via ray-rotatie en remapping.
• Consistentie: De augmentatie behoudt strikt de 3D-geometrie door gelijktijdig de RGB-beelden en dieptekaarten te vervormen en de camera-extrinsieke matrices (rotatieblok) bij te werken via rechtsvermenigvuldiging.
• Impact: Dit genereert overvloedige pose-view paren, wat de robuustheid van het model tegen oriëntatieveranderingen aanzienlijk vergroot en cross-view redeneren stimuleert.

Belangrijkste Bijdragen

1. CasaMaestro Model: Het eerste feedforward model voor metrische, huis-schaal panoramische reconstructie. Het accepteert 20–50 ijle binnen-panorama's en voorspelt direct metrische diepte en cameraposes, wat directe point-cloud reconstructie van volledige huizen mogelijk maakt.
2. Lichtgewicht Pose Decoder: Een gespecialiseerde decoder ontworpen om grote verschuivingen in panoramische inputs op te vangen, wat superieure pose-estimatie nauwkeurigheid bereikt door cross-view attention mechanismen.
3. ERP Data Augmentatie: Een nieuwe strategie om diverse pose-view paren te genereren uit bestaande data, waarmee het tekort aan beperkte viewpoint rotatie in huidige trainingsdatasets wordt aangepakt.

Experimentele Resultaten

Het model is getraind op de Realsee3D dataset en geëvalueerd op zowel real-world als synthetische scènes, inclusief zero-shot tests op ongeziene datasets (PanoSUNCG, HM3D, Replica).

• Pose Estimatie: CasaMaestro presteert aanzienlijk beter dan bestaande methoden (inclusief PanoPose, SPR, VGGT en Pi3).
  • Op Realsee-Real bereikt het een AUC@30 van 0,903, wat een verbetering van 84% is ten opzichte van het beste vorige resultaat.
  • Op Realsee-Syn bereikt het een AUC@30 van 0,927, wat een verbetering van 119% is.
  • Het vertoont een gebalanceerde lage rotatie- en translatiefout, terwijl andere methoden vaak lijden onder hoge rotatiefouten of falen in het reconstrueren van huisstructuren onder ijle views.
• Diepte Estimatie:
  • CasaMaestro bereikt een AbsRel van 0,078 op Realsee-Real en 0,079 op Realsee-Syn.
  • In zero-shot evaluaties op ongeziene datasets laat het een gemiddelde afname van 21,98% in AbsRel zien vergeleken met de beste vorige panoramische diepte-estimatiemethoden, ondanks dat het niet uitsluitend voor diepte is ontworpen.
• Kwalitatieve Prestaties: Visuele vergelijkingen laten zien dat terwijl andere methoden rommelige of beschadigde reconstructies produceren met ijle inputs, CasaMaestro huisstructuren accuraat herstelt met volledige dekking en geometrische consistentie.

Betekenis en Claims

Het artikel beweert dat CasaMaestro een nieuw paradigma voor 3D-reconstructie vestigt door aan te tonen dat feedforward "any-view" reconstructie niet beperkt is tot pinhole camera's. Door gebruik te maken van multi-view panorama's, bereikt het model:

• Efficiëntie: Het verkorten van de reconstructietijd van ~25s (dichte pinhole) naar 0,56s voor huis-schaal scènes.
• Robuustheid: Succesvol het afhandelen van ijle inputs (20–50 views) waar traditionele methoden falen.
• Fundament voor Simulatie: Het bieden van een sterk fundament voor het verwerven van huis-schaal 3D binnen-assets voor closed-loop simulatie in embodied AI.

De auteurs concluderen dat de opkomst van Vision Foundation Models gebouwd op panorama's en fisheye camera's een nieuwe revolutie in 3D-taken kan betekenen, waarbij de beperkingen van smalle gezichtsveld pinhole-modellen worden overstegen.