🤖 AI

PanoWorld: Towards Spatial Supersensing in 360 $^\circ$ Panorama World

Dit artikel introduceert PanoWorld, een nieuw raamwerk dat multimodale grote taalmodellen in staat stelt robuuste 360-graden ruimtelijke redenering uit te voeren door equirectangulaire panorama's te behandelen als continue, waarnemer-gecentreerde ruimtes via toewijding aan sferische geometrische aanpassing en een nieuwe diagnostische benchmark.

Oorspronkelijke auteurs: Changpeng Wang, Xin Lin, Junhan Liu, Yuheng Liu, Zhen Wang, Donglian Qi, Yunfeng Yan, Xi Chen

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Changpeng Wang, Xin Lin, Junhan Liu, Yuheng Liu, Zhen Wang, Donglian Qi, Yunfeng Yan, Xi Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in het midden van een kamer staat en je hebt een camera die alles om je heen tegelijk kan fotograferen—360 graden, van vloer tot plafond, zonder blinde vlekken. Dit is een 360-graden panorama.

Lange tijd zijn de slimste AI-visiemodellen (zogenaamde MLLM's) getraind om de wereld te bekijken zoals een mens met een smal gezichtsveld: ze zien één platte foto tegelijk, alsof ze door een raam kijken. Als je wilt dat ze een hele kamer begrijpen, moet je ze een reeks kleine, losse snapshots tonen en ze vragen te raden hoe de stukken bij elkaar passen. Het is alsof je probeert een hele puzzel te begrijpen door telkens één stukje te bekijken en hoopt dat je herinnert waar de andere stukken waren.

PanoWorld is een nieuw systeem dat AI leert stoppen met kijken door "ramen" en begint met het zien van de hele bol tegelijk. Hier is hoe ze dat deden, simpel uitgelegd:

1. Het Probleem: De "Platte Kaart" versus de "Wereldbol"

Het artikel betoogt dat huidige AI een 360-graden afbeelding behandelt als een platte, uitgerekte kaart (zoals een wereldkaart die de polen vervormt). Maar de echte wereld is een bol.

De Oude Manier: De AI ziet een vervormde afbeelding waarbij de boven- en onderkant zijn ingedrukt en de linker- en rechterranden ver uit elkaar liggen. Het beseft niet dat de linker- en rechterrand in de echte wereld eigenlijk tegen elkaar aanliggen.
De PanoWorld Manier: De AI leert de afbeelding te behandelen als een continue, waarnemer-gecentreerde bol. Het begrijpt dat als je je hoofd 180 graden draait, het object links nu rechts staat, en dat de "naad" waar de afbeelding omwikkelt slechts een lijn is, geen muur.

2. De Oplossing: Het Leren van "Sferische Intuïtie" aan de AI

Om dit op te lossen, bouwden de onderzoekers een nieuw trainingsysteem met drie hoofdonderdelen:

A. De "Super-Leraar" Data-pijplijn

Ze konden de AI niet zomaar willekeurige afbeeldingen voeden. Ze hadden een manier nodig om het de regels van de 3D-ruimte te leren.

De Analogie: Stel je voor dat je een kind aardrijkskunde leert. Je kunt ze niet zomaar een platte kaart laten zien; je hebt een wereldbol nodig.
Wat ze deden: Ze bouwden een enorme pijplijn die 570.000 echte 360-graden foto's uit de echte wereld verwerkte. Ze gebruikten andere slimme tools om objecten (zoals stoelen of mensen) te vinden, de afstand te meten en hun exacte positie op de "bol" te labelen (met hoeken zoals "30 graden naar rechts en 10 graden omhoog"). Vervolgens verifieerden ze deze data tweemaal om ervoor te zorgen dat de labels correct waren. Dit creëerde een "gouden standaard" leerboek voor de AI.

B. De "Sferische GPS" in het Brein

Ze pasten de architectuur van de AI (het "brein" van het model) aan om een speciale module op te nemen genaamd Sferische Ruimtelijke Cross-Attention.

De Analogie: Denk aan een standaard AI als een persoon die een boek leest op een platte tafel. PanoWorld voegt een 360-graden GPS toe in het hoofd van de lezer.
Hoe het werkt: Elke keer dat de AI naar een pixel in de afbeelding kijkt, vertelt deze GPS het: "Deze pixel zit niet alleen op coördinaten (x, y); deze wijst eigenlijk in een specifieke richting in de 3D-ruimte." Hierdoor kan de AI begrijpen dat een object aan de uiterste linkerkant van de afbeelding fysiek dicht bij een object aan de uiterste rechterkant ligt, zelfs als ze op het scherm ver uit elkaar lijken.

C. De "Vier Superkrachten"

Het artikel definieert vier specifieke vaardigheden die de AI moest leren om hierin te meesterschappen:

Semantische Verankering: Weten wat dingen zijn (bijv. "Dat is een rode brandkraan").
Sferische Verankering: Weten waar ze zich op de bol bevinden (bijv. "Het is 45 graden rechts van mij").
Referentiekader-transformatie: Begrijpen hoe dingen bewegen als jij je omdraait (bijv. "Als ik linksom draai, staat de brandkraan nu achter mij").
Dieptebewust Redeneren: Begrijpen hoe ver dingen verwijderd zijn en hun 3D-relatie (bijv. "De auto staat achter de boom").

3. De Resultaten: Waarom het Belangrijk is

De onderzoekers testten hun nieuwe model, PanoWorld, tegen de beste bestaande AI-modellen (inclusief grote namen zoals GPT-4o en Qwen).

De Test: Ze gebruikten een nieuwe benchmark genaamd PanoSpace-Bench, speciaal ontworpen om te testen of een AI het "omwikkeld"-karakter van 360-graden beelden begrijpt.
De Uitkomst: PanoWorld verpletterde de concurrentie. Terwijl andere modellen moeite hadden om uit te zoeken waar objecten zich ten opzichte van elkaar bevonden in een volledige cirkel, had PanoWorld het de meeste keren goed.
Transitie naar de Echte Wereld: Ze testten het ook op taken zoals robotnavigatie en het vinden van specifieke mensen of objecten in een kamer. Zelfs al hadden ze de AI niet specifiek getraind voor die taken, het presteerde beter dan modellen die er jarenlang voor waren getraind.

De Conclusie

Het artikel beweert dat je om een 360-graden wereld echt te begrijpen, niet zomaar platte foto's aan elkaar kunt naaien. Je moet de AI leren denken in bollen. Door de AI een "native" begrip van panoramische geometrie te geven, creëerden ze een systeem dat kan redeneren over ruimte, afstand en richting op een manier die veel natuurlijker en menselijker aanvoelt voor immersieve omgevingen.

Kortom: Ze hielden op met het behandelen van 360-graden foto's als vervormde platte kaarten en begonnen ze te behandelen als de 3D-bollen die ze eigenlijk zijn, wat resulteerde in een AI die de hele kamer tegelijk kan "zien" zonder in de war te raken.

Technische Samenvatting: PanoWorld: Naar Ruimtelijke Supersensatie in een 360° Panorama-Wereld

Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) hebben momenteel moeite met robuuste ruimtelijke redenering omdat ze voornamelijk worden getraind op perspectiefbeelden, waarbij ze een smal gezichtsveld (FoV) erven dat hun vermogen beperkt om de volledige omringende omgeving waar te nemen. Hoewel 360° panoramische waarneming "supersensatie" biedt door de volledige observer-gecentreerde omgeving vast te leggen, ontleden bestaande MLLM-pijplijnen deze panorama's doorgaans in meerdere discrete perspectiefweergaven. Deze aanpak behandelt de sferische structuur van equirectangulaire projectie (ERP) als impliciet, waardoor het niet gebruikmaakt van de globaal consistente, wrap-around continuïteit en het perspectief-afhankelijke ruimtelijke relaties die inherent zijn aan panorama-gegevens.

Het direct overdragen van op perspectief gebaseerde modellen naar panorama's is uitdagend vanwege fundamentele representatiekloven, waaronder geometrische vervorming, niet-uniforme ruimtelijke bemonstering en discontinuïteiten aan de randen. Bovendien is het huidige onderzoek naar panoramische MLLM's gefragmenteerd, met een gebrek aan een systematische taxonomie van vaardigheden en een unificerend benchmark om ruimtelijke redenering te evalueren die verder gaat dan standaard Visual Question Answering (VQA)-metrieken.

Methodologie

De auteurs stellen PanoWorld voor, een unificerend kader voor "pano-native" ruimtelijk leren dat MLLMs in staat stelt om direct te redeneren over continue, observer-gecentreerde ERP panorama's. De methodologie bestaat uit drie kerncomponenten:

1. Taxonomie van Vaardigheden

Het paper definieert pano-native begrip via vier vaardigheidsfamilies, die dienen als fundament voor supervisie en benchmarking:

Semantische Verankering: Taal verankeren aan visuele entiteiten, attributen en de globale scène-topologie.
Sferische Grounding: Het lokaliseren van entiteiten op het kijk-sfere met behulp van yaw- en pitch-parameters in plaats van planaire beeldcoördinaten.
Referentiekader-transformatie: Redeneren over ruimtelijke relaties onder observatorrotatie (camera-rotatie) of object-geconditioneerde heroriëntatie, inclusief naad-bewuste wrap-around continuïteit.
Diepte-bewuste 3D Ruimtelijke Redenering: Het verbinden van sferische waarnemingen met 3D-structuur, inclusief diepte, relatieve afstand en observer-gecentreerde relaties (bijv. links/rechts, voor/achter).

2. Pijplijn voor Constructie van Groot-Schalige Metadata

Om deze taxonomie te ondersteunen, hebben de auteurs een dataset van 570K hoogwaardige ERP panorama's samengesteld uit gemengde bronnen (binnen/buiten, synthetisch/echt). Ze ontwikkelden een verifieerbare metadata-pijplijn om geometrie-bewuste, taal-gegrounde en diepte-bewuste supervisie te genereren:

Geometrie-bewuste Detectie: Panorama's worden geprojecteerd in overlappende perspectiefweergaven voor detectie, en vervolgens gereprojecteerd naar ERP-coördinaten met geometrische verificatie (IoU-gebaseerde suppressie, cross-view consistentie) om vervorming en naad-splitsing aan te pakken.
Taal-gegrounde Semantiek: Een MLLM genereert semantische annotaties en verwijzende zinsdelen, die worden geverifieerd via een "beschrijving-herdetectie"-lus om uitlijning tussen tekst en visuele gebieden te waarborgen.
Diepte-associatie: Entiteiten worden geassocieerd met diepteggevens uit brondata of geschat via panoramische dieptemodellen.
Gestructureerde Grafiek: Deze elementen vormen een metadata-grafiek $G=(V, E)$ die entiteiten en hun sferische/3D-relaties weergeeft, waaruit 2,998M instructie-tuning voorbeelden worden afgeleid.

3. Pano-bewuste Modeladaptatie (PanoWorld)

Het model is gebaseerd op Qwen3.5-VL en uitgebreid met een Sferische Ruimtelijke Cross-Attention (SSCA) module.

Constructie van Sferische Tokens: Voor elk visueel patch berekent het model het centrum in ERP-coördinaten en mapt dit naar een sferische richting $(\lambda, \phi)$ . Deze richtingen worden gecodeerd via sinusoidale sferische encoding en geprojecteerd in de visuele verborgen ruimte om sferische tokens $S$ te creëren.
Injectie van Cross-Attention: Direct na de patch-embedding queryen visuele tokens $H^{(0)}$ de sferische tokens $S$ via cross-attention. Dit stelt het model in staat om geometrie-bewuste signalen op te halen op basis van observer-gecentreerde richtingen.
Gated Fusie: Het resulterende geometrie-bewuste signaal wordt via een gated residual-update teruggevoegd in de visuele stream, waarbij de vooraf getrainde backbone behouden blijft terwijl sferische geometrie wordt ingebracht.

Belangrijkste Bijdragen

Taxonomie van Vaardigheden: Een systematische formulering van panoramische ruimtelijke redenering, ontbonden in semantische verankering, sferische grounding, referentiekader-transformatie en diepte-bewuste 3D-redenering.
Data & Benchmark: Een schaalbare, metadata-gedreven pijplijn die 570K panorama's produceert met geverifieerde grafieken, en PanoSpace-Bench, een diagnostische benchmark die ERP-native ruimtelijke redenering evalueert op het gebied van lokalisatie, relationele redenering, 3D ruimtelijk begrip en naadcontinuïteit.
Modelarchitectuur: Het PanoWorld model met Sferische Ruimtelijke Cross-Attention, dat sferische geometrie injecteert in de visuele stream voor geometrie-consistente understanding.
Empirische Validatie: Uitgebreide experimenten die aantonen dat toewijding aan pano-native supervisie en geometrie-bewuste adaptatie noodzakelijk zijn voor robuuste panoramische redenering.

Experimentele Resultaten

Het voorgestelde kader werd geëvalueerd op PanoSpace-Bench, H*Bench (Human-centric Visual Search) en R2R-CE Val-Unseen (Vision-and-Language Navigation).

PanoSpace-Bench: PanoWorld behaalde een algehele nauwkeurigheid van 56,5%, wat aanzienlijk beter is dan propriëtaire modellen (bijv. GPT-4o met 31,8%) en open-source baselines. Opmerkelijke winsten werden waargenomen in BFOV-lokalisatie (73,3% mIoU versus <5% voor baselines) en naadcontinuïteitsredenering (65,5% versus ~37%).
H*Bench Transfer: In een zero-shot setting behaalde PanoWorld 56,1% algehele nauwkeurigheid, wat aanzienlijk boven de beste perspectiefweergave-baseline (38,4%) uitkomt. Na fine-tuning bereikte het 70,1%, wat aantoont dat de geleerde representatie effectief overdraagbaar is naar downstream zoekopdrachten zonder over te fitten op de trainingsbenchmark.
R2R-CE Val-Unseen: Met uitsluitend ERP panorama's als invoer behaalde PanoWorld een Success Rate (SR) van 54,3% en een SPL van 52,1%, wat beter is dan recente RGB-only VLN-modellen en waypoint-predictor methoden, ondanks het gebruik van slechts 80% van de standaard trainingsdata.
Efficiëntie: Directe ERP-inferentie vereist één forward pass, terwijl perspectiefweergave-rotatiemethoden 3,5–6,3 sequentiële interactiestappen vereisen, waardoor PanoWorld aanzienlijk efficiënter is in termen van interactiestappen en tokengebruik.

Betekenis en Claims

Het paper betoogt dat robuuste panoramische redenering niet kan worden bereikt door ERP-afbeeldingen simpelweg te behandelen als brede 2D-afbeeldingen of te vertrouwen op coördinatiebeschrijvingen op prompt-niveau. In plaats daarvan vereist het toegewijde pano-native supervisie en geometrie-bewuste modeladaptatie.

De auteurs claimen dat hun werk aantoont:

Noodzaak van Pano-Native Learning: Algemeen doel MLLM's falen bij sferische redenering; specifieke architecturale injectie van sferische geometrie en training op vaardigheids-gealigneerde data zijn essentieel.
Unificerende Representatie: Direct redeneren over continue panoramische ruimte is efficiënter en effectiever dan het ontleden van scènes in gefragmenteerde lokale weergaven.
Overdraagbaarheid: De ruimtelijke priors die zijn geleerd uit pano-native supervisie generaliseren naar diverse downstream taken, waaronder human-centric visuele zoekopdrachten en belichaamde navigatie, en presteren beter dan methoden die vertrouwen op perspectiefweergave-ontdekking.

Het paper concludeert dat PanoWorld en PanoSpace-Bench een fundament vormen voor het bevorderen van full-surround ruimtelijke intelligentie, verder gaand dan de beperkingen van het perspectiefbeeld-paradigma.