Technische Samenvatting: Gecombineerde Panoramische Geometrie-schatting via Multi-View Foundation-modellen (PaGeR)

Probleemstelling

Hoewel monokulaire geometrie-schatting vanuit perspectiefafbeeldingen aanzienlijk is gematiseerd dankzij foundation-modellen die capable zijn van zero-shot 3D-reconstructie, blijft het uitbreiden van deze capaciteiten naar panoramische (360°) beelden uitdagend. Bestaande panoramische benaderingen staan voor twee primaire beperkingen:

1. Data-schaarste en Overfitting: Hoogwaardige panoramische datasets met meetkundig nauwkeurige diepte en oppervlaktenormaal zijn arbeidsintensief om te verzamelen en schaars, waardoor modellen overfitten op kleine datasets en moeite hebben met generalisatie.
2. Geometrische Distorsie: De meeste methoden vertrouwen op Equirectangular Projection (ERP), wat ernstige niet-lineaire distorsies introduceert (extreme rekking nabij de polen). Deze domeinverschuiving vermindert de effectiviteit van translatie-invariante architecturen die zijn getraind op perspectiefdata en belemmert de overdracht van krachtige perspectief-priors naar het panoramische domein.

Methodologie

De auteurs introduceren PaGeR (Panoramic Geometry Reconstruction), een framework ontworpen om state-of-the-art perspectief foundation-modellen (specifiek Depth Anything 3, of DA3) naar het panoramische domein te tillen zonder dat enorme hertraining of aangepaste architecturen nodig zijn.

Kernstrategie: Kubuskaart-Representatie

In plaats van panorama's te verwerken als vervormde equirectangulaire afbeeldingen, representeert PaGeR de invoer als een kubuskaart (cubemap) — zes perspectiefafbeeldingen met een gezichtsveld van 90° die zijn gemapt op de vlakken van een eenheidskubus. Deze aanpak:

• Sluit aan bij de inductieve priors van op perspectief getrainde modellen.
• Biedt uniforme sampling van de straalruimte.
• Vermijdt de geometrische distorsies inherent aan ERP.

Architecturale Aanpassingen

Om de multi-view transformer-ruggegraat (DA3) aan te passen voor holistische 360°-schatting, implementeren de auteurs enkele cruciale modificaties:

1. Impliciete Encoder-synchronisatie: De Vision Transformer (ViT)-encoder wordt fijngefineerd op panoramische data zonder structurele wijzigingen. Door vaste cameramatrixen en as-uitgelijnde extrinsieken voor de zes vlakken aan te leveren, leert het netwerk context te routeren en features over aangrenzende kubuskaartvlakken te synchroniseren via cross-view attention-lagen.
2. Sferisch Bewuste Decoder-vulling: Om geometrische en fotometrische discontinuïteiten aan de grenzen van de kubuskaartvlakken tijdens dichte upsampling te voorkomen, maakt de decoder gebruik van cross-face valid padding. In plaats van standaard zero-padding, extraheren deze laag dynamisch features van geometrisch aangrenzende vlakken, wat naadloze overgangen over het sferische manifold garandeert.
3. Hybride Trainingsregime: Om de rijke priors van het voorgeïnstalleerde perspectiefmodel te behouden en de sim-to-real-domeinverschuiving te mitigeren, ondergaat het model gemengde training. Het wisselt af tussen:
   • Panoramische batches: Verwerking van de volledige zes-vlakconfiguratie met actieve cross-face padding.
   • Perspectief-batches: Verwerking van enkele real-world afbeeldingen (vervormd naar 90° FoV) met standaard zero-padding.
     Deze strategie voorkomt catastrofaal vergeten terwijl het model leert om continue sferische waarnemingen te hanteren.

Gecombineerde Multi-Task Decoding

PaGeR maakt gebruik van een gedeelde transformer-ruggegraat met gespecialiseerde, gekoppelde taakhoofden om meerdere geometrische modaliteiten in één forward-pass te decoderen:

• Schaalonafhankelijke (SI) Diepte: Voorspelt lokale log-planaire diepte om metrische variantie te comprimeren. Het maakt gebruik van een samengestelde loss die pixelprecisie, gradiëntbehoud en normal-consistentie in evenwicht brengt.
• Oppervlaktenormaal: Een parallelle tak, geïnitieerd met voorgeïnstalleerde diepteweegs, geoptimaliseerd met een gezamenlijk doel dat cosinus-similariteit en perceptuele loss combineert om oververzachting te voorkomen.
• Metrische Schaal: Een ruwe, lage-resolutie decoder voorspelt een globale schaalfactor door de SI-diepte af te stemmen op een ruwe metrische log-dieptekaart. Dit ontkoppelt de schatting van absolute schaal van de reconstructie van hoge-resolutiestructuren.
• Luchtsegmentatie: Een lichtgewicht tak segmenteert de lucht om oneindige diepteregio's expliciet te ontkoppelen, wat de metrische regressie voor eindige structuren stabiliseert.

Belangrijkste Bijdragen

1. Nieuwe Aanpassingsstrategie: Een methode om perspectief foundation-modellen naar het 360°-domein te transfereren met behulp van kubuskaart-representatie en hybride training, waarbij ERP-distorsies worden omzeild.
2. PaGeR Framework: Een unificerend model met een gedeelde transformer-ruggegraat en gespecialiseerde hoofden voor gelijktijdige voorspelling van SI-diepte, metrische diepte, oppervlaktenormaal en luchtmasks.
3. ZüriPano Benchmark: Een nieuwe dataset van real-world buitenstedelijke panorama's met hoog-nauwkeurige LiDAR-scans, samengesteld om het gebrek aan rigoureuze evaluatiedata voor langafstandsbuitenscenario's aan te pakken.
4. State-of-the-Art Prestaties: Gedemonstreerde zero-shot generalisatie over diverse binnen- en buitenomgevingen, waarbij bestaande methoden die beperkt zijn tot specifieke instellingen worden overtroffen.

Experimentele Resultaten

De auteurs evalueerden PaGeR op zowel binnen- (Matterport3D360, Stanford2D3DS) als buiten- (ZüriPano) datasets.

• Kwantitatieve Prestaties: PaGeR behaalde state-of-the-art resultaten op alle benchmarks. Op de uitdagende buiten-dataset ZüriPano verlaagde het de Absolute Relatieve Fout (AbsRel) van 18,27 (vorige beste, RPG360) naar 9,36. Bij metrische diepteschatting behaalde het een RMSE van 530,85 op ZüriPano, wat significant beter is dan de volgende beste methode (716,38).
• Oppervlaktenormaal: Op de Structured3D-dataset behaalde PaGeR een Gemiddelde Hoekfout van 5,49° en een MSE van 174,9, waarmee het gespecialiseerde architecturen zoals PanoNormal en HyperSphere overtrof.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat PaGeR scherpere grenzen en nauwkeurigere globale structuren herstelt in vergelijking met baselines zoals DAP en DA2, die vaak lijden aan oververzachting. Puntwolkreconstructies demonstreren het vermogen van het framework om ingewikkelde binnenstructuren en complexe buiten-topografieën te behouden zonder de grensartefacten die bij andere methoden gebruikelijk zijn.
• Efficiëntie: Het model verwerkt een volledig 2K-panorama in 0,5 seconden op een enkele consumentengpu, met een geheugengebruik van 12,8 GB.

Betekenis en Claims

Het artikel stelt dat PaGeR een nieuwe state of the art vestigt voor zero-shot panoramische geometrie-reconstructie. De primaire betekenis ligt in het aantonen dat krachtige perspectief foundation-modellen effectief kunnen worden aangepast aan het sferische domein door minimale architecturale wijzigingen (kubuskaart-representatie en cross-face padding) en een hybride trainingsstrategie.

De auteurs benadrukken dat hun aanpak:

• Rijke Priors Behoudt: Door gebruik te maken van de voorgeïnstalleerde DA3-ruggegraat, behoudt het model een sterk begrip van 3D-oppervlaktestructuur zonder opnieuw van nul te hoeven leren.
• Wereldwijde Consistentie Zorgt: De cross-face padding en gesynchroniseerde encoder zorgen voor naadloze reconstructie over het volledige 360°-beeld, waardoor de grensdiscontinuïteitsproblemen van eerdere multi-vlakbenaderingen worden opgelost.
• Robuust Generaliseert: Het framework presteert uitzonderlijk goed in onbekende omgevingen, inclusief langafstandsbuitenscenario's waar eerdere methoden vaak falen.

Het artikel concludeert dat hoewel de huidige instantiatie DA3 gebruikt, de architecturale principes compatibel zijn met andere geometrische transformers, wat een gegeneraliseerde methodologie biedt voor het overbruggen van de domeinverschuiving tussen perspectief en panoramisch 3D-scenaverstaan. De auteurs erkennen beperkingen die gemeen zijn aan monokulaire schatting, zoals moeilijkheden met spiegelende of transparante oppervlakken, en merken op dat subtiele grens-misaligneringen nog kunnen optreden in zeldzame, structureel complexe scènes.