💻 computer science

Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors

Cet article introduit SemGeo-AttentionNet, une architecture à double flux qui intègre des priors sémantiques basés sur la diffusion conditionnée par la géométrie avec des transformateurs de nuages de points pour modéliser l'attention visuelle humaine sur des surfaces 3D en formalisant explicitement l'interaction entre le traitement géométrique ascendant et la reconnaissance sémantique descendante.

Auteurs originaux : Soham Pahari, Sandeep C. Kumain

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Soham Pahari, Sandeep C. Kumain

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une statue en 3D dans un musée. Pourquoi vos yeux s'arrêtent-ils sur le visage ? Pourquoi s'attardent-ils sur un bouton brillant sur un manteau, même si ce bouton est plat et que le manteau présente de nombreux plis ?

Pendant longtemps, les informaticiens ont tenté de répondre à cela en ne regardant que la forme de l'objet. Ils pensaient : « Si ça dépasse, si c'est tranchant ou bosselé, c'est là que l'humain regardera. » Mais cela ne fonctionnait pas très bien. Les humains ignorent souvent les formes étranges et bosselées pour fixer des choses lisses et plates qui ont du sens pour nous (comme un visage ou un logo).

Ce papier présente un nouveau programme informatique appelé SemGeo-AttentionNet qui résout enfin ce casse-tête. Voici comment il fonctionne, expliqué simplement :

1. Les deux cerveaux travaillant ensemble

Les auteurs ont réalisé que l'attention humaine est le travail d'équipe de deux « cerveaux » différents :

Le cerveau « Bottom-Up » (Géométrie) : C'est votre réflexe. Il hurle : « Regarde cette arête tranchante ! Regarde cette bosse bizarre ! » Il réagit à la forme physique.
Le cerveau « Top-Down » (Sémantique) : C'est votre connaissance. Il murmure : « Attends, c'est un visage. C'est un outil. C'est important. » Il réagit à ce que l'objet est, même s'il est parfaitement plat.

Les modèles informatiques précédents n'avaient que le cerveau « Bottom-Up ». Ils étaient comme une caméra de surveillance qui ne remarque que le mouvement, mais ne sait pas à quoi ressemble une personne.

2. La nouvelle solution : Un détective intelligent

Le nouveau modèle, SemGeo-AttentionNet, agit comme un détective qui utilise les deux cerveaux à la fois. Il possède deux parties principales :

Le scanner de forme (Flux Géométrique) : Il utilise un outil puissant (Point Transformer V3) pour cartographier chaque bosse, courbe et arête de l'objet 3D, tel un sculpteur sentant l'argile.
La bibliothèque de connaissances (Flux Sémantique) : C'est la partie magique. Comme l'ordinateur n'a pas de cerveau humain, les auteurs lui ont donné une « boule de cristal » faite de Modèles de Diffusion (la même technologie d'IA qui crée de l'art à partir de texte).
- Ils prennent l'objet 3D, prennent 100 photos différentes de celui-ci sous tous les angles, et demandent à l'IA : « Qu'est-ce que c'est ? »
- L'IA répond : « C'est un visage » ou « C'est une tasse ».
- Cela donne au modèle un « a priori sémantique » — une compréhension pré-chargée de ce que l'objet est, sans avoir besoin d'être enseigné avec des données 3D étiquetées.

3. Le mécanisme de « Requête » : Qui est aux commandes ?

Voici l'astuce ingénieuse. Le modèle ne se contente pas de mélanger ces deux cerveaux ; il les fait communiquer dans un ordre spécifique.

Imaginez que la Forme soit une Requête de recherche et la Connaissance une Base de données.

La Forme dit : « Je vois une zone plate ici. Vérifions la base de données : est-ce un visage ? Est-ce un écran ? »
La Connaissance répond : « Oui, cette zone plate est un visage. Prête attention à elle ! »

Cela garantit que même si un visage est plat et géométriquement monotone, le modèle sait qu'il doit le regarder car la partie « Connaissance » confirme son importance. Cependant, la Forme conserve un « droit de veto ». Si la Connaissance dit « C'est un visage », mais que la Forme dit « C'est en fait juste un mur plat sans aucune caractéristique », le modèle ne sera pas distrait. Il faut que les deux soient d'accord.

4. Le jeu de l'« Eye-Tracking » (Apprentissage par renforcement)

Jusqu'à présent, le modèle se contentait de prédire où vous regardez. Mais les humains regardent les choses selon une séquence (un chemin de regard ou scanpath). D'abord, les yeux vont au nez, puis à la bouche, puis au chapeau.

Les auteurs ont appris au modèle à jouer un jeu pour simuler ce mouvement :

Le Jeu : Le modèle est un agent marchant sur la surface de l'objet 3D.
Les Règles :
1. Allez vers les endroits intéressants : Déplacez-vous vers les zones de haute saillance (le visage, la poignée d'un outil).
2. Ne vous ennuyez pas : Si vous avez regardé un endroit trop souvent, vous recevez une pénalité (c'est ce qu'on appelle l'« Inhibition de retour »). Vous devez passer à autre chose.
3. Explorez : Essayez de visiter de nouvelles zones que vous n'avez pas encore vues.
Le Résultat : Le modèle apprend à « marcher » avec ses yeux à travers l'objet d'une manière qui ressemble exactement à la façon dont un humain l'explorerait, en respectant le fait que vous ne pouvez pas sauter dans les airs ; vous devez suivre la surface de l'objet.

5. Les Résultats

L'équipe a testé leur modèle sur trois jeux de données différents (des collections d'objets 3D avec des données d'eye-tracking humain).

Le Score : Leur nouveau modèle a nettement surpassé toutes les méthodes précédentes. Il était bien meilleur pour prédire précisément où les humains regardent.
La Preuve : En examinant les résultats, le modèle a correctement identifié que les gens fixent les yeux d'une gargouille (même si le visage est lisse) et le manche d'un outil usé, alors que les anciens modèles ne regardaient que les parties bosselées et bruyantes de la statue.

Résumé

En bref, ce papier a construit un système de vision par ordinateur qui comprend les objets 3D non seulement par leur forme, mais aussi par leur signification. En combinant un scanner géométrique avec une « base de connaissances » dérivée de générateurs d'art par IA, et en lui apprenant à déplacer ses « yeux » comme un humain, ils ont créé le modèle le plus précis à ce jour pour prédire où nous regardons dans un monde en 3D.

Résumé Technique : Apprentissage de l'attention visuelle humaine sur des surfaces 3D par des priors sémantiques interrogés par la géométrie

Énoncé du problème
L'attention visuelle humaine sur les objets tridimensionnels provient de l'interaction entre un traitement géométrique ascendant (bottom-up) — réagissant aux bords, aux protubérances et aux discontinuités de surface — et une reconnaissance sémantique descendante (top-down) — identifiant les visages, les parties fonctionnelles ou le sens contextuel. Les méthodes existantes de prédiction de la saillance 3D souffrent d'une dichotomie critique : les approches géométriques artisanales (ex: courbure de Gauss, saillance de maillage) ne parviennent pas à expliquer pourquoi les humains fixent des régions sémantiquement significatives mais géométriquement peu remarquables (ex: les yeux d'un personnage ou du texte sur une surface plane). Inversement, les approches récentes d'apprentissage profond reposent soit sur des encodeurs géométriques manquant de conscience sémantique, soit utilisent des modèles sémantiques 2D qui ignorent la topologie de surface 3D. De plus, les modèles de génération de parcours oculaires (scanpaths) existants sont limités aux images 2D et ne respectent pas la connectivité du maillage 3D ni la dynamique d'inhibition de retour.

Méthodologie : SemGeo-AttentionNet
Les auteurs proposent SemGeo-AttentionNet, une architecture à double flux conçue pour formaliser explicitement la dichotomie ascendante/descendante par une fusion cross-modale asymétrique.

Priors sémantiques via la distillation de diffusion :
- Pour injecter une conscience sémantique sans données 3D étiquetées, la méthode exploite des modèles de diffusion texte-image pré-entraînés (Stable Diffusion) et des transformateurs de vision (DINOv2).
- Le maillage d'entrée est rendu depuis 100 points de vue. Pour chaque vue, des cartes conditionnées par la géométrie (profondeur et normales de surface) guident un processus d'inpainting de diffusion conditionnelle.
- Les activations du décodeur U-Net intermédiaire sont agrégées à partir des derniers 75 % des étapes de débruitage pour capturer les détails sémantiques fins. Celles-ci sont fusionnées avec les caractéristiques de DINOv2 pour créer des descripteurs par pixel de 2048 dimensions.
- Un opérateur de déprojection projette ces caractéristiques 2D sur les sommets du maillage 3D en utilisant une agrégation par requête de sphère (ball-query), créant des descripteurs sémantiques par sommet ( $S$ ). Ce pipeline s'exécute hors ligne, traitant la diffusion comme un prior perceptuel gelé.
Encodage géométrique :
- Le maillage est échantillonné uniformément (2 048 points) pour extraire des descripteurs géométriques (position et normales).
- Ceux-ci sont traités par Point Transformer V3, qui capture la structure spatiale multi-échelle via la voxelisation et les courbes de remplissage de l'espace, produisant des caractéristiques géométriques de 32 dimensions ( $H_{geo}$ ).
Fusion asymétrique Géométrie-vers-Sémantique :
- L'innovation centrale est un mécanisme d'attention croisée asymétrique où les caractéristiques géométriques agissent comme la requête (query) et les caractéristiques sémantiques comme la clé (key) et la valeur (value).
- Cela formalise le principe cognitif selon lequel la distinction géométrique ascendante guide la récupération de la connaissance sémantique descendante.
- Une connexion résiduelle garantit que les caractéristiques géométriques ne sont jamais jetées, empêchant le modèle de s'effondrer en une pure reconnaissance sémantique. Une tête MLP finale prédit les scores de saillance par sommet.
Génération de parcours oculaires temporels via l'apprentissage par renforcement :
- Le cadre est étendu pour générer des parcours oculaires temporels (séquences de fixations) en utilisant un processus de décision markovien partiellement observable (POMDP).
- État : Sommet actuel et un vecteur de comptage de visites.
- Action : Déplacement vers l'un des $K=6$ plus proches voisins sur la surface du maillage, respectant la topologie 3D plutôt que les grilles euclidiennes.
- Récompense : Une fonction composite équilibrant l'exploitation de la saillance, l'inhibition de retour (pénalisant les revisites), les bonus d'exploration pour de nouvelles régions et la diversité.
- Entraînement : La politique est optimisée via l'optimisation de politique proximale (PPO).

Contributions clés

Priors sémantiques distillés par diffusion : Première application des caractéristiques de diffusion conditionnées par la géométrie pour permettre l'ancrage sémantique zero-shot dans la modélisation de l'attention 3D.
Architecture de fusion asymétrique : Un mécanisme novateur où la géométrie interroge la sémantique, modélisant explicitement la dichotomie cognitive ascendante/descendante.
Parcours oculaires respectant la topologie via l'apprentissage par renforcement : Un cadre d'apprentissage par renforcement pour la génération de parcours oculaires en 3D qui respecte la connectivité du maillage et incorpore la dynamique d'inhibition de retour, comblant un vide laissé par les modèles exclusivement 2D.

Résultats expérimentaux
La méthode a été évaluée sur trois jeux de données : SAL3D, NUS3D et 3DVA.

SAL3D : Le modèle a atteint un coefficient de corrélation (CC) de 0,8492, soit une amélioration de 28 % par rapport au précédent meilleur score (0,6616). La divergence KL a considérablement diminué pour atteindre 0,1638.
NUS3D : A obtenu un LCC de 0,609 et un AUC-Judd de 0,935, surpassant MIMO-GAN de 129 % en LCC.
3DVA : A atteint un LCC moyen de 0,762 avec une faible variance (0,093), surpassant MIMO-GAN-CRF de 49 %.
Génération de parcours oculaires : L'agent de RL a obtenu un NSS de 2,05 et un score MultiMatch de 0,51, indiquant que les séquences temporelles générées correspondent étroitement au comportement de vision humaine.
Analyse qualitative : Les visualisations confirment que le modèle identifie correctement les régions sémantiquement saillantes (ex: visages de gargouilles, tentacules de pieuvre) que les méthodes uniquement géométriques manquent, tout en prêtant attention aux caractéristiques géométriquement distinctes.

Signification et affirmations
L'article affirme établir un nouveau paradigme pour modéliser l'attention visuelle humaine sur les surfaces 3D en unifiant les traitements géométriques et sémantiques au sein d'une architecture motivée par la cognition. Les auteurs soutiennent que leur approche parvient efficacement à combler le fossé entre la distinction géométrique de bas niveau et la reconnaissance sémantique de haut niveau, validant le fait que de telles architectures peuvent expliquer les modèles de fixation humaine sur les objets 3D plus précisément que les méthodes antérieures, qu'elles soient uniquement géométriques ou basées sur la 2D. Ce travail est également pionnier dans la formulation de la génération de parcours oculaires directement sur les topologies de maillages 3D.