🤖 AI

PanoWorld: Towards Spatial Supersensing in 360 $^\circ$ Panorama World

Ce papier présente PanoWorld, un cadre novateur permettant aux modèles de langage multimodaux de grande envergure d'effectuer un raisonnement spatial robuste à 360 degrés en traitant les panoramas équirectangulaires comme des espaces continus centrés sur l'observateur, grâce à une adaptation dédiée de la géométrie sphérique et à une nouvelle norme de diagnostic.

Auteurs originaux : Changpeng Wang, Xin Lin, Junhan Liu, Yuheng Liu, Zhen Wang, Donglian Qi, Yunfeng Yan, Xi Chen

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Changpeng Wang, Xin Lin, Junhan Liu, Yuheng Liu, Zhen Wang, Donglian Qi, Yunfeng Yan, Xi Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes au milieu d'une pièce et que vous possédez un appareil photo capable de capturer tout ce qui vous entoure en une seule prise de vue — 360 degrés, du sol au plafond, sans angle mort. C'est ce qu'on appelle un panorama à 360 degrés.

Pendant longtemps, les modèles de vision artificielle les plus avancés (appelés MLLM) ont été entraînés à observer le monde comme un humain doté d'un champ de vision étroit : ils voyaient une seule image plate à la fois, comme en regardant par une fenêtre. Si vous vouliez qu'ils comprennent une pièce entière, vous deviez leur montrer une série de petites instantanés déconnectés et leur demander de deviner comment les pièces s'assemblaient. C'est comme essayer de comprendre un puzzle entier en observant une seule pièce à la fois, en espérant se souvenir où étaient les autres.

PanoWorld est un nouveau système qui apprend à l'IA à arrêter de regarder à travers des « fenêtres » et à commencer à voir la sphère entière d'un seul coup. Voici comment ils ont procédé, expliqué simplement :

1. Le Problème : La « Carte Plate » contre le « Globe »

L'article soutient que l'IA actuelle traite une image à 360 degrés comme une carte plate et étirée (comme une carte du monde qui déforme les pôles). Mais le monde réel est une sphère.

L'Ancienne Méthode : L'IA voit une image déformée où le haut et le bas sont écrasés et où les bords gauche et droit sont éloignés l'un de l'autre. Elle ne réalise pas que le bord gauche et le bord droit se touchent en réalité dans le monde réel.
La Méthode PanoWorld : L'IA apprend à traiter l'image comme une sphère continue centrée sur l'observateur. Elle comprend que si vous tournez la tête de 180 degrés, l'objet à votre gauche se retrouve maintenant à votre droite, et que la « couture » où l'image se referme n'est qu'une ligne, pas un mur.

2. La Solution : Enseigner à l'IA l'« Intuition Sphérique »

Pour corriger cela, les chercheurs ont conçu un nouveau système d'entraînement composé de trois parties principales :

A. Le Pipeline de Données du « Super-Profs »

Ils ne pouvaient pas simplement nourrir l'IA avec des images au hasard. Ils avaient besoin d'un moyen de lui enseigner les règles de l'espace 3D.

L'Analogie : Imaginez essayer d'enseigner la géographie à un enfant. Vous ne pouvez pas simplement lui montrer une carte plate ; il vous faut un globe.
Ce qu'ils ont fait : Ils ont construit un pipeline massif qui a utilisé 570 000 photos réelles à 360 degrés. Ils ont utilisé d'autres outils intelligents pour identifier des objets (comme des chaises ou des personnes), mesurer leur distance et étiqueter leur position exacte sur la « sphère » (en utilisant des angles comme « 30 degrés à droite et 10 degrés vers le haut »). Ils ont ensuite vérifié ces données deux fois pour s'assurer que les étiquettes étaient correctes. Cela a créé un manuel de référence « or » pour l'IA.

B. Le « GPS Sphérique » dans le Cerveau

Ils ont modifié l'architecture de l'IA (le « cerveau » du modèle) pour inclure un module spécial appelé Attention Croisée Spatiale Sphérique.

L'Analogie : Imaginez une IA standard comme une personne lisant un livre sur une table plate. PanoWorld ajoute un GPS à 360 degrés dans la tête du lecteur.
Comment ça marche : Chaque fois que l'IA regarde un pixel de l'image, ce GPS lui indique : « Ce pixel n'est pas seulement aux coordonnées (x, y) ; il pointe en réalité dans une direction spécifique dans l'espace 3D. » Cela permet à l'IA de comprendre qu'un objet situé tout à gauche de l'image est physiquement proche d'un objet situé tout à droite, même s'ils semblent éloignés sur l'écran.

C. Les « Quatre Super-pouvoirs »

L'article définit quatre compétences spécifiques que l'IA devait apprendre pour maîtriser cela :

Ancrage Sémantique : Savoir ce que sont les choses (par exemple, « C'est un hydrant rouge »).
Ancrage Sphérique : Savoir où elles se trouvent sur la sphère (par exemple, « Il est à 45 degrés à ma droite »).
Transformation du Repère de Référence : Comprendre comment les choses bougent si vous vous tournez (par exemple, « Si je tourne à gauche, l'hydrant est maintenant derrière moi »).
Raisonnement Conscient de la Profondeur : Comprendre la distance des objets et leur relation 3D (par exemple, « La voiture est derrière l'arbre »).

3. Les Résultats : Pourquoi Cela Compte

Les chercheurs ont testé leur nouveau modèle, PanoWorld, contre les meilleurs modèles d'IA existants (y compris des noms connus comme GPT-4o et Qwen).

Le Test : Ils ont utilisé un nouveau benchmark appelé PanoSpace-Bench, conçu spécifiquement pour tester si une IA comprend la nature « enroulée » des vues à 360 degrés.
Le Résultat : PanoWorld a écrasé la concurrence. Alors que les autres modèles peinaient à déterminer où se trouvaient les objets les uns par rapport aux autres sur un cercle complet, PanoWorld avait raison la plupart du temps.
Transfert vers le Monde Réel : Ils l'ont également testé sur des tâches comme la navigation robotique et la recherche de personnes ou d'objets spécifiques dans une pièce. Même s'ils n'avaient pas entraîné l'IA spécifiquement pour ces tâches, elle a mieux performé que des modèles entraînés pendant des années sur ces mêmes tâches.

La Conclusion

L'article affirme que pour vraiment comprendre un monde à 360 degrés, on ne peut pas simplement assembler des images plates. Il faut apprendre à l'IA à penser en sphères. En donnant à l'IA une compréhension « native » de la géométrie panoramique, ils ont créé un système capable de raisonner sur l'espace, la distance et la direction d'une manière qui semble beaucoup plus naturelle et humaine pour les environnements immersifs.

En bref : Ils ont cessé de traiter les photos à 360 degrés comme des cartes plates déformées et ont commencé à les traiter comme les globes 3D qu'elles sont réellement, aboutissant à une IA capable de « voir » toute la pièce d'un seul coup sans se perdre.

Résumé Technique : PanoWorld : Vers une Supersensibilité Spatiale dans le Monde des Panoramas à 360°

Énoncé du Problème

Les Modèles de Langage Multimodaux à Grande Échelle (MLLM) peinent actuellement à réaliser un raisonnement spatial robuste car ils sont principalement entraînés sur des images en perspective, héritant d'un champ de vision (FoV) étroit qui limite leur capacité à percevoir l'environnement complet qui les entoure. Bien que la détection panoramique à 360° offre une « supersensibilité » en capturant l'environnement entier centré sur l'observateur, les pipelines MLLM existants décomposent généralement ces panoramas en plusieurs vues en perspective discrètes. Cette approche traite la structure sphérique de la projection équirectangulaire (ERP) comme implicite, échouant à exploiter la continuité globale cohérente, l'enroulement et les relations spatiales dépendantes du point de vue inhérentes aux données panoramiques.

Le transfert direct de modèles basés sur la perspective vers les panoramas est difficile en raison de lacunes fondamentales de représentation, notamment la distorsion géométrique, l'échantillonnage spatial non uniforme et les discontinuités aux frontières. De plus, la recherche actuelle sur les MLLM panoramiques est fragmentée, manquant d'une taxonomie systématique des capacités et d'un benchmark unifié pour évaluer le raisonnement spatial au-delà des métriques standard de Réponse aux Questions Visuelles (VQA).

Méthodologie

Les auteurs proposent PanoWorld, un cadre unifié pour l'apprentissage spatial « natif-panorama » permettant aux MLLM de raisonner directement sur des panoramas ERP continus centrés sur l'observateur. La méthodologie se compose de trois composants principaux :

1. Taxonomie des Capacités

L'article définit la compréhension native-panorama à travers quatre familles de capacités, qui servent de fondement à la supervision et au benchmarking :

Ancrage Sémantique : Ancrer le langage aux entités visuelles, aux attributs et à la topologie globale de la scène.
Ancrage Sphérique : Localiser les entités sur la sphère de visualisation en utilisant des paramètres de lacet (yaw) et de tangage (pitch) plutôt que des coordonnées d'image planes.
Transformation du Repère de Référence : Raisonner sur les relations spatiales sous rotation de l'observateur (rotation de la caméra) ou réorientation conditionnée par l'objet, incluant la continuité d'enroulement consciente des coutures.
Raisonnement Spatial 3D Sensible à la Profondeur : Relier les observations sphériques à la structure 3D, incluant la profondeur, la distance relative et les relations centrées sur le spectateur (par exemple, gauche/droite, devant/derrière).

2. Pipeline de Construction de Métadonnées à Grande Échelle

Pour soutenir cette taxonomie, les auteurs ont construit un ensemble de données de 570 000 panoramas ERP de haute qualité provenant de sources mixtes (intérieur/extérieur, synthétique/réel). Ils ont développé un pipeline de métadonnées vérifiable pour générer une supervision sensible à la géométrie, ancrée dans le langage et sensible à la profondeur :

Détection Sensible à la Géométrie : Les panoramas sont projetés en vues en perspective se chevauchant pour la détection, puis reprojetés dans les coordonnées ERP avec une vérification géométrique (suppression basée sur l'IoU, cohérence inter-vues) pour gérer la distorsion et le découpage des coutures.
Sémantique Ancrée dans le Langage : Un MLLM génère des annotations sémantiques et des phrases de référence, qui sont vérifiées via une boucle « description-redétection » pour assurer l'alignement entre le texte et les régions visuelles.
Association de Profondeur : Les entités sont associées à des informations de profondeur issues des données sources ou estimées via des modèles de profondeur panoramique.
Graphe Structuré : Ces éléments forment un graphe de métadonnées $G=(V, E)$ représentant les entités et leurs relations sphériques/3D, à partir duquel 2,998 millions d'exemples d'ajustement par instruction sont dérivés.

3. Adaptation du Modèle Conscient du Panorama (PanoWorld)

Le modèle est construit sur Qwen3.5-VL et étendu par un module d'Attention Croisée Spatiale Sphérique (SSCA).

Construction de Tokens Sphériques : Pour chaque patch visuel, le modèle calcule son centre dans les coordonnées ERP et le mappe vers une direction sphérique $(\lambda, \phi)$ . Ces directions sont encodées via un encodage sphérique sinusoïdal et projetées dans l'espace caché visuel pour créer des tokens sphériques $S$ .
Injection par Attention Croisée : Immédiatement après l'embedding des patches, les tokens visuels $H^{(0)}$ interrogent les tokens sphériques $S$ via une attention croisée. Cela permet au modèle de récupérer des signaux sensibles à la géométrie basés sur des directions centrées sur l'observateur.
Fusion par Porte : Le signal sensible à la géométrie résultant est fusionné dans le flux visuel via une mise à jour résiduelle à porte, préservant le backbone pré-entraîné tout en injectant la géométrie sphérique.

Contributions Clés

Taxonomie des Capacités : Une formulation systématique du raisonnement spatial panoramique décomposée en ancrage sémantique, ancrage sphérique, transformation du repère de référence et raisonnement 3D sensible à la profondeur.
Données et Benchmark : Un pipeline évolutif piloté par les métadonnées produisant 570 000 panoramas avec des graphes vérifiés, et PanoSpace-Bench, un benchmark diagnostique évaluant le raisonnement spatial natif-ERP pour la localisation, le raisonnement relationnel, la compréhension spatiale 3D et la continuité des coutures.
Architecture du Modèle : Le modèle PanoWorld avec Attention Croisée Spatiale Sphérique, qui injecte la géométrie sphérique dans le flux visuel pour une compréhension cohérente géométriquement.
Validation Empirique : Des expériences extensives démontrant qu'une supervision dédiée native-panorama et une adaptation du modèle sensible à la géométrie sont nécessaires pour un raisonnement panoramique robuste.

Résultats Expérimentaux

Le cadre proposé a été évalué sur PanoSpace-Bench, H*Bench (Recherche Visuelle Centrée sur l'Humain) et R2R-CE Val-Unseen (Navigation Visuelle et Linguistique).

PanoSpace-Bench : PanoWorld a atteint une précision globale de 56,5 %, surpassant significativement les modèles propriétaires (par exemple, GPT-4o à 31,8 %) et les bases de référence open-source. Des gains notables ont été observés dans la localisation BFOV (73,3 % mIoU contre <5 % pour les bases de référence) et le raisonnement sur la continuité des coutures (65,5 % contre ~37 %).
Transfert H*Bench : Dans un cadre zero-shot, PanoWorld a atteint 56,1 % de précision globale, dépassant largement la meilleure base de référence en vue perspective (38,4 %). Après ajustement fin, il a atteint 70,1 %, démontrant que la représentation apprise se transfère efficacement aux tâches de recherche en aval sans surapprentissage au benchmark d'entraînement.
R2R-CE Val-Unseen : En utilisant uniquement des panoramas ERP comme entrée, PanoWorld a atteint un Taux de Succès (SR) de 54,3 % et un SPL de 52,1 %, surpassant les modèles VLN récents basés uniquement sur RGB et les méthodes de prédiction de points de passage, malgré l'utilisation de seulement 80 % des données d'entraînement standard.
Efficacité : L'inférence directe ERP nécessite un seul passage avant, tandis que les méthodes de rotation en vue perspective nécessitent 3,5 à 6,3 étapes d'interaction séquentielles, rendant PanoWorld significativement plus efficace en termes d'étapes d'interaction et d'utilisation de tokens.

Importance et Revendications

L'article soutient qu'un raisonnement panoramique robuste ne peut être obtenu en traitant simplement les images ERP comme des images 2D larges ou en s'appuyant sur des descriptions de coordonnées au niveau des invites. Au contraire, cela nécessite une supervision dédiée native-panorama et une adaptation du modèle sensible à la géométrie.

Les auteurs affirment que leur travail démontre :

Nécessité de l'Apprentissage Natif-Panorama : Les MLLM à usage général échouent dans le raisonnement sphérique ; une injection architecturale spécifique de la géométrie sphérique et un entraînement sur des données alignées avec les capacités sont essentiels.
Représentation Unifiée : Le raisonnement direct sur l'espace panoramique continu est plus efficace et plus performant que la décomposition des scènes en vues locales fragmentées.
Transférabilité : Les priors spatiaux appris à partir de la supervision native-panorama se généralisent à diverses tâches en aval, y compris la recherche visuelle centrée sur l'humain et la navigation incarnée, surpassant les méthodes qui reposent sur l'exploration en vue perspective.

L'article conclut que PanoWorld et PanoSpace-Bench fournissent une fondation pour faire progresser l'intelligence spatiale à 360°, dépassant les limites du paradigme de l'image en perspective.