MTPano: Multi-Task Panoramic Scene Understanding via Label-Free Integration of Dense Prediction Priors

1. Probleemstelling

Panoramische scene-understanding is cruciaal voor immersive toepassingen (VR, robotica), maar staat voor twee primaire knelpunten:

• Data-schaarste: Hoogwaardige, pixel-voor-pixel annotaties voor 360° panorama-afbeeldingen over meerdere taken (semantische segmentatie, diepte, oppervlaktenormaal) zijn onbetaalbaar duur en arbeidsintensief om te creëren.
• Geometrische en Taakconflicten:
  • Vervorming: Standaard perspectief-foundationmodellen falen wanneer ze direct worden toegepast op panoramische data vanwege ernstige vervormingen door Equirectangular Projection (ERP) (poolstrekking).
  • Taakinterferentie: Bij Multi-Task Learning (MTL) hebben verschillende dichte voorspellingstaken conflicterende geometrische eigenschappen. Rotatie-invariante taken (bijv. semantische segmentatie, diepte) zijn afhankelijk van relatieve ruimtelijke context, terwijl rotatie-variante taken (bijv. oppervlaktenormaal) strikt gekoppeld zijn aan de absolute cameraoriëntatie. Het naïef delen van features tussen deze groepen leidt tot "negatieve transfer", waarbij taken elkaars prestaties verslechteren.

2. Methodologie

De auteurs stellen MTPano voor, een unified framework dat een Label-Free Training Pipeline combineert met een nieuw architectuur genaamd Panorama-Dual-BridgeNet (PD-BridgeNet).

A. Label-Free Training Pipeline

Om het gebrek aan geannoteerde panoramische data te overwinnen, maakt MTPano gebruik van krachtige voorgeöefende perspectief-foundationmodellen (bijv. InternImage-H, MoGe-2) als docenten.

1. Reciproque Projecties: Ongeannoteerde panorama-afbeeldingen worden geprojecteerd naar meerdere willekeurige perspectiefpatches (het simuleren van virtuele camera's met willekeurige FoV, yaw en pitch).
2. Pseudo-label Generatie: Kant-en-klare perspectiefmodellen genereren hoogwaardige dichte voorspellingen op deze vervormingsvrije patches.
3. Patch-voor-patch Supervisie: In plaats van voorspellingen te naaien (wat artefacten veroorzaakt), worden de pseudo-labels terug geprojecteerd naar het sferische domein. Het model wordt getraind met een gerandomiseerde patch-voor-patch supervisiestrategie, waardoor het netwerk wordt gedwongen een consistente distributie over weergaven te leren terwijl projectieruis wordt gefilterd.

B. Panorama-Dual-BridgeNet (PD-BridgeNet)

De architectuur is ontworpen om ERP-vervorming te hanteren en taakconflicten op te lossen via drie kerncomponenten:

1. Geometrie-bewuste Feature Disentanglement:

   • Het netwerk splitst zich in twee parallelle streams: een Invariant Stream ($M_{inv}$) voor rotatie-invariante taken (segmentatie, diepte) en een Variant Stream ($M_{var}$) voor rotatie-variante taken (normaal).
   • Invariant Stream: Richt zich op intrinsieke objecteigenschappen zonder absolute oriëntatie-priors.
   • Variant Stream: Injecteert absolute sferische coördinaat-priors (3D-straalrichting en positie) via Geometry-Aware Modulation (FiLM)-lagen. Dit stelt het netwerk in staat oriëntatie-gevoelige attributen zoals oppervlaktenormaal te begrijpen.

2. ERP Token Mixer:

   • Om niet-uniforme vervorming in ERP-afbeeldingen aan te pakken, wordt een breedte-adaptieve dual-kernelstrategie toegepast. Dit fuseert dynamisch standaard $3\times3$ kernels (voor equatoriale regio's) en brede $3\times9$ kernels (voor poolregio's) op basis van pixelbreedte, waardoor uniforme ruimtelijke aggregatie wordt gewaarborgd.

3. Gradient-Truncated Bridge Mechanisme:

   • Om heilzame cross-task interactie mogelijk te maken zonder negatieve transfer, worden de streams verbonden via een BridgeNet.
   • Auxiliaire Taken: Dichte auxiliaire taken (Image Gradient, Edge Distance Field, Metric Point Map) bieden rijke structurele aanwijzingen.
   • Truncated Gradient Flow: Een cruciale innovatie waarbij cross-stream features worden geaggregeerd via Cross-Attention voor forward propagation (context delen) maar losgekoppeld worden tijdens backpropagation. Dit blokkeert conflicterende gradiënten van het stromen tussen de invariante en variante streams, waardoor optimalisatie-interferentie wordt voorkomen.

3. Belangrijkste Bijdragen

1. Label-Free Foundation Model: MTPano is het eerste multi-task panoramische foundationmodel dat wordt getraind zonder handmatige annotaties, en distilleert effectief kennis van perspectief-foundationmodellen naar het sferische domein.
2. Geometrisch Conflictoplossing: Het paper identificeert en lost het fundamentele conflict op tussen rotatie-invariante en rotatie-variante taken in panoramische MTL via de PD-BridgeNet-architectuur.
3. Nieuwe Architecturale Componenten:
   • PD-BridgeNet: Een dual-stream architectuur met geometrie-bewuste modulatie.
   • ERP Token Mixer: Een vervormingsbewust mechanisme voor sferische feature-extractie.
   • Truncated Gradient Flow: Een mechanisme om synergetische informatie-uitwisseling te faciliteren terwijl conflicterende gradiënten worden geïsoleerd.
4. Integratie van Auxiliaire Taken: De introductie van specifieke dichte auxiliaire taken (Gradient, EDF, Point Map) om cross-task learning te bevruchten.

4. Experimentele Resultaten

MTPano werd geëvalueerd op standaard benchmarks: Structured3D (synthetisch), Stanford2D3D (real-world) en Matterport3D.

• State-of-the-Art Prestaties: MTPano presteert beter dan zowel single-task specialisten als bestaande multi-task baselines over alle metrieken.
  • Semantische Segmentatie: Bereikte 75,66% mIoU op Structured3D (een verbetering van +3,69% ten opzichte van de vorige beste).
  • Diepteschattting: Verminderde de Absolute Relative error tot 0,0248 op Structured3D (tegenover 0,0341 voor de specialist DAP).
  • Oppervlaktenormaal: Bereikte een gemiddelde hoekfout van 3,85° op Structured3D (tegenover 5,56° voor PanoNormal).
• Robuustheid: Het model toont sterke generalisatie op real-world datasets (Stanford2D3D) en synthetische data "in the wild", met behoud van hoge geometrische fideliteit.
• Ablatie Studies:
  • Het verwijderen van feature disentanglement of gradient truncatie leidt tot significante prestatiedalingen (negatieve transfer), wat de noodzaak van het dual-stream ontwerp bevestigt.
  • Schalen van de trainingsdata (tot 140k panorama's) verbetert consistent de generalisatie.
  • Het gebruik van DINOv3 als backbone levert superieure resultaten op in vergelijking met ImageNet-initialisatie.

5. Betekenis

MTPano vertegenwoordigt een paradigma-shift in panoramische scene-understanding door:

• Afhankelijkheid van Annotatie te Elimineren: Het bewijzen dat hoogwaardige multi-task panoramische modellen kunnen worden gebouwd met alleen ongeannoteerde data en perspectief-priors.
• Geometrische Conflicten Oplossen: Het bieden van een theoretische en architecturale oplossing voor de specifieke uitdagingen van sferische geometrie in multi-task learning, die eerdere methoden negeerden.
• Schaalbaarheid: Het aanbieden van een robuust, schaalbaar foundationmodel dat eenvoudig kan worden aangepast aan nieuwe taken of domeinen, en de weg effent voor meer immersive en intelligente 360° vision-systemen.

De code en modellen zijn publiek vrijgegeven, wat verder onderzoek in sferische computer vision faciliteert.