MASS-ScanDMM: A Panoramic Image Scanpath Prediction Method Integrating Multiple Attention Mechanisms and Spherical Semantic Enhancement
Cet article propose MASS-ScanDMM, une méthode de prédiction de scanpath d'images panoramiques qui intègre des mécanismes de Perception de Scène par Attention Multiple (MASP) et de Perception d'Amélioration de l'Information Sphérique (SIEP) pour atteindre une précision et une généralisation supérieures sur plusieurs jeux de données.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
À l'ère du numérique, nos écrans ne sont plus de simples rectangles plats mais des fenêtres immersives sur des mondes à 360 degrés. Les casques de réalité virtuelle nous permettent de regarder dans n'importe quelle direction, transformant une simple image en un vaste environnement sphérique où nous pouvons tourner la tête pour explorer un musée, un parc ou un salon. Cependant, le rendu de ces mondes entiers en haute définition est extrêmement exigeant pour la puissance de calcul et la bande passante Internet. Pour résoudre ce problème, les chercheurs se tournent vers le fonctionnement réel de l'œil humain. Notre vision n'est pas uniforme ; nous ne percevons des détails fins que dans un minuscule point central, tandis que le reste de notre champ de vision est flou. En prédisant où une personne regardera ensuite, les ordinateurs peuvent ne rendre que cette petite zone nette en haute définition et maintenir le reste en basse résolution, économisant ainsi d'énormes ressources. Cette prédiction du mouvement oculaire, appelée scanpath (chemin de balayage), est la clé pour rendre la réalité virtuelle efficace et réactive.
Pendant des décennies, les scientifiques ont étudié la manière dont les gens parcourent des images plates en deux dimensions, mais les règles changent complètement lorsque l'image s'enroule autour d'une sphère. Dans une photo plate, l'œil gravite naturellement vers le centre, mais dans un panorama à 360 degrés, le spectateur doit activement tourner la tête pour trouver des détails intéressants. Les modèles informatiques existants peinent souvent avec cela, produisant des modèles de regard qui sont soit trop aléatoires, soit incapables de rendre compte de la géométrie unique d'un monde sphérique. Ils pourraient manquer des objets importants ou suggérer des mouvements oculaires qui semblent peu naturels pour un observateur humain. Le défi consiste à apprendre à un ordinateur non seulement à comprendre les objets d'une scène, mais aussi la manière dont ces objets existent au sein d'un espace courbe et global.
Une équipe de chercheurs de l'Université de Fuzhou a relevé ce défi avec une nouvelle méthode appelée MASS-ScanDMM. Leur approche est conçue pour imiter la façon complexe dont le cerveau humain traite l'information visuelle dans ces environnements immersifs. Au lieu de s'appuyer sur une seule façon de regarder une image, le nouveau système combine plusieurs stratégies différentes pour décider où les yeux du spectateur se porteront. Il traite l'image panoramique comme une scène dynamique où l'attention se déplace au fil du temps, tout comme une personne explorant une pièce. Le système repose sur une base qui suit les états visuels, simulant essentiellement une forme de mémoire de travail qui conserve ce qui vient d'être vu pour prédire ce qui sera vu ensuite.
Le cœur de cette nouvelle méthode implique deux composants spécialisés qui travaillent ensemble pour améliorer la précision. Le premier composant agit comme un filtre sophistiqué, aidant l'ordinateur à décider quelles parties de l'image sont les plus importantes. Il y parvient en pesant simultanément différents aspects des données visuelles, tels que la luminosité de zones spécifiques, la texture des objets et les relations entre les différentes parties de la scène. En intégrant ces multiples couches d'attention, le système devient bien meilleur pour identifier les points précis qui attireront l'œil humain, plutôt que de se perdre dans l'immensité de la vue à 360 degrés.
Le second composant se concentre spécifiquement sur la forme unique de l'image panoramique. Parce qu'une photo à 360 degrés est souvent étirée sur un écran plat pour être traitée par les ordinateurs, les relations spatiales importantes peuvent être déformées. Ce nouveau système corrige cette distorsion en regroupant l'information d'une manière qui respecte la nature sphérique du monde. Il analyse l'image en examinant séparément les directions horizontales et verticales, garantissant que l'ordinateur comprenne comment le haut d'un bâtiment se connecte au bas, même lorsque l'image est enroulée. Cela permet au modèle de maintenir un sens clair de la structure de la scène, évitant la confusion qui frappe souvent les autres méthodes lorsqu'elles traitent les bords d'une vue panoramique.
Lorsque les chercheurs ont testé leur système par rapport aux modèles existants en utilisant trois collections différentes de grandes images panoramiques, les résultats ont été clairs. Ils ont mesuré à quel point les mouvements oculaires prédits par l'ordinateur correspondaient aux chemins réellement parcourus par de vrais spectateurs. La nouvelle méthode a systématiquement surpassé les approches précédentes, générant des modèles de regard plus fluides et plus précis. Dans un test impliquant une scène de musée, le système a réussi à prédire que les spectateurs regarderaient des expositions spécifiques, alors que les anciens modèles dispersaient souvent leurs prédictions sur des murs vides. Les données ont montré que le nouveau système réduisait considérablement l'erreur de prédiction, rapprochant beaucoup plus le comportement de l'ordinateur de la manière naturelle dont les humains explorent ces environnements.
Les chercheurs ont également constaté que le système pouvait être utilisé pour une tâche connexe : la création de cartes de chaleur (heat maps) montrant quelles parties d'une scène sont les plus susceptibles d'attirer l'attention. En agrégeant les mouvements oculaires prédits, ils pouvaient générer un guide visuel mettant en évidence les zones les plus intéressantes d'une image panoramique. Cette application a prouvé que le système ne se contente pas de prédire le mouvement, mais comprend également le contenu de la scène suffisamment bien pour identifier ce qui rend un lieu captivant. L'étude confirme qu'en combinant plusieurs modes d'attention avec une compréhension profonde de la géométrie sphérique, les ordinateurs peuvent enfin apprendre à voir le monde comme nous le faisons, ouvrant la voie à des expériences de réalité virtuelle plus efficaces et plus réalistes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.