360{\deg} Image Perception with MLLMs: A Comprehensive Benchmark and a Training-Free Method

Ce papier présente 360Bench, un benchmark de questions-réponses visuelles pour évaluer les modèles de langage multimodaux sur des images à 360°, et propose Free360, une méthode sans entraînement basée sur des graphes de scène pour améliorer leur perception spatiale.

L'essentiel

🌍 Le Problème : Le "Vertige" des Images à 360°

Imaginez que vous portez des lunettes de réalité virtuelle. Vous pouvez tourner la tête à gauche, à droite, en haut, en bas, et voir tout l'environnement autour de vous en une seule fois. C'est une image à 360°.

Maintenant, imaginez que vous demandez à un super-intelligent (une IA appelée MLLM) de vous décrire cette scène. Le problème, c'est que ces IA sont entraînées sur des photos "plates" (comme celles de votre téléphone).

Quand on leur montre une image à 360°, c'est comme si on leur donnait une peau d'orange qu'on a étalée à plat sur une table.

• La distorsion : Les pôles (le haut et le bas de la sphère) sont étirés comme de la pâte à modeler.
• La fragmentation : Un objet qui fait le tour de la photo (comme un mur) est coupé en deux : une partie à l'extrême gauche, l'autre à l'extrême droite.

Pour une IA, c'est le chaos. Elle ne comprend pas bien où sont les objets les uns par rapport aux autres. Elle se perd dans ce "monde plat" qui a été mal étiré.

🛠️ La Solution 1 : Le Nouveau Terrain de Jeu (360Bench)

Les chercheurs ont d'abord créé un nouveau "stade de test" appelé 360Bench.

• L'analogie : Imaginez un gymnase d'entraînement spécial pour les IA, rempli de 1 500 photos à 360° ultra-détaillées (en haute définition).
• Le but : Au lieu de demander "Quel est ce chat ?", on pose des questions pièges du type : "Combien de remotes sont sur la table ?" ou "Où se trouve la boutique de jouets par rapport à l'épicerie ?".
• Le résultat : Ils ont fait passer 7 IA différentes dans ce gymnase. Résultat ? Même les plus intelligentes (comme GPT-4o) ont eu de très mauvaises notes. Elles se perdaient complètement dans les distorsions et ne savaient pas compter les objets correctement. C'était comme demander à un humain de faire du calcul mental en étant sur un tapis roulant qui tourne.

🚀 La Solution 2 : La Méthode "Free360" (Sans entraînement)

Au lieu de forcer l'IA à réapprendre tout depuis zéro (ce qui coûte cher et prend du temps), les chercheurs ont inventé Free360. C'est une méthode "gratuite" (sans entraînement) qui agit comme un chef d'orchestre ou un assistant personnel.

Voici comment ça marche, étape par étape, avec une analogie simple :

Imaginez que l'IA est un détective un peu myope qui regarde une photo étalée. Free360 lui dit : "Attends, ne regarde pas tout d'un coup. On va procéder par étapes."

1. Le découpage (La loupe) :
   Au lieu de regarder la photo entière étirée, Free360 découpe l'image en 6 faces d'un cube (comme si on enveloppait la photo dans un cube). Cela enlève la distorsion. C'est comme passer d'une carte du monde déformée à un globe terrestre que l'on peut tourner.
2. La chasse aux indices (Reconnaissance) :
   Le détective regarde chaque face du cube pour trouver les objets importants (les "nœuds" du problème).
3. Le tour de magie (La rotation sphérique) :
   C'est la partie géniale. Si le détective veut comparer deux objets (ex: la boutique A et la boutique B), Free360 fait tourner l'image virtuelle pour mettre ces deux objets bien au centre, face à face.
   • Analogie : Au lieu de chercher deux amis dans une foule immense, on fait tourner la foule pour qu'ils soient juste devant nous. On voit enfin qui est à gauche de qui !
4. Le plan du crime (Le graphe de scène) :
   Toutes ces informations (qui est où, à quoi ça ressemble, comment c'est relié) sont écrites sur un petit bout de papier (un "graphe").
5. La réponse finale :
   Ce petit papier est donné à l'IA. Grâce à cette carte claire, l'IA peut enfin répondre correctement : "Ah oui, la boutique de jouets est juste en face de l'épicerie !".

🏆 Les Résultats

Grâce à cette méthode, l'IA a fait un bond en avant :

• Elle a gagné jusqu'à 23% de précision sur certaines tâches difficiles.
• Elle reste rapide (quelques secondes), ce qui est comparable au temps de réflexion d'un humain.
• Elle ne nécessite pas de réentraîner l'IA, ce qui est économique et écologique.

En Résumé

Cette recherche nous dit : "Ne forcez pas l'IA à regarder le monde de travers. Donnez-lui des outils pour tourner la tête et regarder les choses sous le bon angle."

C'est une avancée majeure pour les robots qui doivent naviguer dans le monde réel (voitures autonomes, robots d'assistance), car ils ont besoin de comprendre l'espace complet autour d'eux, pas juste une photo plate.

Résumé technique

1. Problématique

Les modèles de langage multimodaux (MLLM) ont démontré des capacités impressionnantes pour comprendre et raisonner sur des images conventionnelles (planaires). Cependant, leur perception des images à 360° (omnidirectionnelles) reste largement sous-exploitée. L'utilisation de ces images pose des défis uniques :

• Complexité du raisonnement spatial : Contrairement aux images 2D, les images 360° capturent l'environnement entier, nécessitant un raisonnement spatial holistique sur une sphère continue.
• Distorsion géométrique : La projection des images sphériques sur des formats 2D (comme la projection équatoriale ERP ou la projection cubique CMP) introduit des distorsions sévères (étirement aux pôles, fragmentation des objets aux bords), ce qui perturbe la perception des modèles.
• Manque de benchmarks adaptés : Les datasets existants sont souvent de faible résolution, générés automatiquement ou limités à des tâches spécifiques, ne permettant pas une évaluation fine de la perception, du raisonnement spatial et de la robustesse aux distorsions.
• Limites du fine-tuning : L'ajustement fin (fine-tuning) des modèles pour ces tâches est coûteux en calcul, laborieux et risque d'effacer les connaissances générales acquises lors du pré-entraînement.

2. Méthodologie

Les auteurs proposent une approche en deux volets : un nouveau benchmark et une méthode d'amélioration sans entraînement.

A. Le Benchmark : 360Bench

Pour évaluer systématiquement les capacités des MLLM, les auteurs introduisent 360Bench :

• Données : 1 532 échantillons uniques d'images 360° haute résolution (7K), couvrant des scènes intérieures, extérieures et aériennes.
• Annotations : Toutes les annotations (questions, réponses, boîtes englobantes) sont réalisées manuellement par des humains en mode réalité virtuelle (VR) pour garantir une compréhension précise du contenu.
• Tâches : Le benchmark comprend 7 sous-tâches regroupées en 4 catégories :
  1. Perception fine-granulaire (FP) : Reconnaissance d'instances (FP-IR) et comptage (FP-IC) d'objets subtils ou textuels.
  2. Perception des distorsions (PP) : Reconnaissance (PP-IR) et comptage (PP-IC) d'objets fragmentés ou étirés par la projection.
  3. Raisonnement spatial (SR) : Relations entre objets (SR-Os) et entre objets et le spectateur (SR-OV).
  4. Don de directions (DG) : Planification de trajets basée sur des indices visuels.

B. La Méthode : Free360

Pour pallier les faiblesses des modèles, les auteurs proposent Free360, un cadre sans entraînement (training-free) basé sur la génération de graphes de scène (Scene Graph Generation - SGG).

Le processus se décompose en quatre étapes modulaires :

1. Identification des entités : Utilisation d'une image en projection cubique (CMP) pour détecter les entités pertinentes par rapport à la question, minimisant ainsi les distorsions géométriques lors de la détection.
2. Extraction des attributs : Cropping des régions d'intérêt pour extraire des attributs fins (texte, motifs) via le MLLM, évitant la perte de détail due à la résolution globale.
3. Détection des relations inter-entités : Pour chaque paire d'entités, l'image sphérique (ERP) est rotatée pour centrer les deux objets. Cela permet au MLLM de raisonner sur les relations spatiales dans un cadre de vue naturel, imitant le déplacement humain.
4. Détection des relations Entité-Vue : Les entités sont mappées aux six faces du cube (vue avant, arrière, gauche, droite, haut, bas) pour contextualiser leur position par rapport au spectateur.

Ces informations sont structurées en un graphe de scène sérialisé (texte structuré) qui est ensuite fourni au MLLM pour générer la réponse finale et l'analyse de raisonnement. Cette approche combine les forces de la CMP (détection robuste) et de l'ERP (raisonnement spatial).

3. Résultats Clés

Les expériences ont été menées sur 7 MLLM (dont GPT-4o, Gemini, Qwen2.5-VL) et 6 méthodes d'amélioration.

• Écart Homme-Machine : Les humains obtiennent 86,3 % de précision sur 360Bench, tandis que le meilleur modèle (Gemini Pro 2.5) n'atteint que 46,5 %. Cela révèle un fossé majeur dans la perception des scènes 360°.
• Impact du format de projection :
  • La CMP surpasse l'ERP pour les tâches de perception d'objets distordus (gain jusqu'à +14,1 %).
  • L'ERP est généralement supérieure pour le raisonnement spatial pur (gain jusqu'à +14,6 %).
  • Free360 exploite cette complémentarité en utilisant les deux formats selon l'étape du raisonnement.
• Performance de Free360 :
  • Free360 améliore systématiquement le modèle de base (Qwen2.5-VL-7B), atteignant une précision globale de 45,3 % (+7,3 % par rapport à la base).
  • Les gains sont particulièrement marqués sur le raisonnement spatial (SR-OV : +22,9 %).
  • Efficacité : Bien que le temps d'inférence augmente (de 2,1s à 22,5s), il reste comparable au temps de réponse humain (28,9s) et nettement inférieur à d'autres méthodes d'augmentation lourdes.

4. Contributions Principales

1. 360Bench : Le premier benchmark haute résolution (7K) pour la VQA sur images 360° uniques, avec des annotations manuelles rigoureuses et des tâches conçues pour tester la perception fine, le raisonnement spatial et la robustesse aux distorsions.
2. Évaluation systématique : Une analyse comparative de 13 modèles (MLLMs et variantes améliorées) mettant en lumière leurs limites actuelles et l'importance du format de projection.
3. Free360 : Une méthode innovante, sans entraînement, basée sur des graphes de scène. Elle introduit des opérations spécifiques aux 360° (rotation sphérique centrée sur l'entité, cartographie des vues) pour décomposer le raisonnement complexe en étapes gérables.

5. Signification et Impact

Ce travail est significatif car il établit un nouveau standard pour l'évaluation des MLLM dans des environnements omnidirectionnels, un domaine critique pour des applications réelles comme la robotique d'assistance, la conduite autonome et la surveillance.

La méthode Free360 démontre qu'il est possible de combler une grande partie de l'écart de performance entre les machines et les humains sans recourir à un fine-tuning coûteux ou risqué. En structurant le raisonnement via des graphes de scène et en adaptant dynamiquement la vue de l'image, l'approche offre une solution évolutive et pratique pour améliorer la compréhension des scènes 360°, ouvrant la voie à des systèmes multimodaux plus robustes et généralisables.