SPGen: Stochastic scanpath generation for paintings using unsupervised domain adaptation

Le papier présente SPGen, un modèle d'apprentissage profond innovant utilisant l'adaptation de domaine non supervisée pour prédire avec précision les trajectoires oculaires lors de l'observation de peintures, contribuant ainsi à la préservation et à l'analyse du patrimoine culturel.

L'essentiel

🎨 SPGen : Le "Guide Invisible" qui devine où vos yeux regardent dans un tableau

Imaginez que vous êtes dans un musée, face à une magnifique peinture ancienne. Vous ne regardez pas le tableau d'un seul coup d'œil statique. Vos yeux bougent, sautent d'un détail à l'autre, s'attardent sur un visage, puis sur un paysage. Ce chemin que vos yeux dessinent dans votre tête s'appelle un parcours oculaire (ou scanpath en anglais).

Le problème ? Chaque personne regarde un tableau différemment. C'est comme si chaque visiteur dessinait une carte au trésor unique.

Les chercheurs de cet article (Mohamed Amine Kerkouri et son équipe) ont créé un robot intelligent nommé SPGen. Son but ? Deviner le chemin que vos yeux vont parcourir avant même que vous ne regardiez le tableau.

Voici comment ce robot fonctionne, expliqué avec des analogies simples :

1. Le Défi : Apprendre à un élève à lire des tableaux

Le robot a d'abord été entraîné avec des photos de la nature (des chats, des paysages, des rues). Il est devenu très fort pour deviner où les gens regardent sur ces photos.
Mais quand on lui a montré des peintures (comme la Joconde ou des tableaux de Van Gogh), il s'est trompé.

• L'analogie : C'est comme si vous appreniez à conduire sur une autoroute (les photos naturelles) et qu'on vous demandait ensuite de conduire dans un labyrinthe de ruelles étroites et anciennes (les peintures). Les règles sont différentes ! Les peintures ont des styles, des couleurs et des compositions que les photos de nature n'ont pas.

2. La Solution Magique : Le "Caméléon" (Adaptation de Domaine)

Pour résoudre ce problème, les chercheurs ont donné au robot une capacité spéciale appelée Adaptation de Domaine Non Supervisée.

• L'analogie : Imaginez que le robot porte des lunettes magiques. Au lieu de voir les différences entre une photo de chat et un tableau de Monet, ces lunettes lui apprennent à ignorer les détails inutiles (le bruit) et à se concentrer sur ce qui est vraiment important pour les deux mondes (les formes, les contrastes, les visages).
• Le robot apprend à dire : "Peu importe si c'est une photo ou un tableau, voici ce qui attire l'œil humain." Grâce à cela, il devient excellent pour prédire où vous regarderez dans un tableau, même sans avoir vu de milliers de tableaux auparavant.

3. Le Secret de la "Chance" (Le Facteur Stochastique)

C'est la partie la plus fascinante. Si vous demandez à un robot de prédire quelque chose, il a tendance à toujours donner la même réponse. Mais les humains, nous sommes imprévisibles ! Parfois, je regarde le coin gauche du tableau, parfois le coin droit.

• L'analogie : SPGen utilise un petit dé à jouer caché dans son cerveau, appelé bruit aléatoire.
• Imaginez que le robot doit dessiner un parcours. Sans le dé, il dessinerait toujours le même chemin parfait. Avec le dé, il peut dessiner plusieurs chemins différents pour le même tableau.
• Les chercheurs ont un bouton appelé "Température".
  • Température basse : Le robot est très sérieux et concentré (il regarde surtout le centre, comme la plupart des gens).
  • Température haute : Le robot est plus aventurier et explore tout le tableau, comme un visiteur curieux qui ne rate aucun détail.

4. Pourquoi est-ce utile ?

Ce n'est pas juste un jeu de devinettes. Comprendre comment les gens regardent l'art est crucial pour :

• Préserver le patrimoine : En sachant ce qui attire l'œil, on peut mieux restaurer les tableaux ou les exposer.
• Créer des musées virtuels : Imaginez une visite en réalité virtuelle où le guide vous dit : "Regardez ici, c'est là que la plupart des gens s'arrêtent !".
• Comprendre l'histoire : Cela nous aide à voir comment notre cerveau réagit aux émotions et aux histoires racontées par les artistes à travers les siècles.

En résumé

SPGen est un détective numérique qui a appris à regarder le monde comme nous.

1. Il a étudié des photos pour apprendre les bases.
2. Il a utilisé des "lunettes magiques" pour comprendre les règles spéciales des tableaux de peinture.
3. Il a ajouté un peu de "chance" pour imiter notre côté imprévisible.

Le résultat ? Un outil capable de prédire avec une grande précision où vos yeux vont se poser dans un chef-d'œuvre, nous aidant ainsi à mieux apprécier et protéger notre héritage culturel.

Résumé technique

1. Problématique

La compréhension de l'attention visuelle humaine est cruciale pour la préservation et l'appréciation du patrimoine culturel, en particulier pour les peintures. Cependant, la modélisation de ce comportement se heurte à plusieurs défis :

• Nature stochastique : Les trajectoires oculaires (scanpaths) d'un même observateur ou entre différents observateurs pour une même image varient considérablement en raison de facteurs cognitifs, psychologiques et physiologiques. Les modèles déterministes classiques échouent souvent à capturer cette diversité.
• Écart de domaine (Domain Gap) : La plupart des modèles d'attention visuelle sont entraînés sur des scènes naturelles (photographies). Lorsqu'ils sont appliqués directement aux œuvres d'art (peintures), leurs performances chutent en raison des différences de distribution des caractéristiques visuelles (styles, textures, composition).
• Manque de données étiquetées : Il existe peu de jeux de données de suivi oculaire (eye-tracking) spécifiques aux peintures avec des annotations de scanpaths, rendant l'entraînement supervisé direct difficile.

2. Méthodologie

Les auteurs proposent SPGen, une architecture d'apprentissage profond nouvelle génération conçue pour prédire des séquences de points de fixation (scanpaths) à partir d'images. L'architecture repose sur plusieurs composants clés :

• Extracteur de caractéristiques : Utilisation de MobileNet (un CNN léger) pour extraire efficacement les caractéristiques visuelles de l'image d'entrée.
• Cartes de biais d'attention apprissables (Learnable Prior Bias Maps) : Contrairement aux modèles statiques, le réseau apprend des cartes de biais (distributions gaussiennes) qui modélisent les préférences de fixation spécifiques au domaine (par exemple, le biais central), permettant au modèle de s'adapter aux particularités des peintures.
• Sélecteur de fixation (Fixation Selector) : Un module utilisant un Global Max Pooling, un Average Pooling et des couches MLP (Perceptron Multicouche) pour générer un masque binaire. Ce mécanisme permet de produire des scanpaths de longueur variable, simulant le nombre réel de fixations.
• Génération Stochastique : Pour gérer la variabilité humaine, le modèle intègre un échantillonneur de bruit aléatoire dans l'espace latent. Ce bruit est modulé par un paramètre de température ($T$).
  • $T=0$ : Comportement quasi-déterministe (précision maximale).
  • $T>0$ : Introduction de variabilité pour générer plusieurs scanpaths plausibles pour une même image.
• Adaptation de Domaine Non Supervisée (UDA) : Pour combler l'écart entre les scènes naturelles et les peintures sans utiliser d'étiquettes de domaine pour les peintures, les auteurs utilisent une couche de réversion de gradient (Gradient Reversal Layer - GRL).
  • Un classificateur de domaine tente de distinguer les images naturelles des peintures.
  • La GRL inverse le signe du gradient lors de la rétropropagation, forçant l'extracteur de caractéristiques à apprendre une représentation commune (invariante au domaine) qui minimise la divergence entre les deux distributions de données.

3. Contributions Clés

1. Modèle SPGen : Une architecture profonde efficace pour la prédiction de scanpaths (modèle vectoriel vers séquence).
2. Génération Stochastique : Introduction d'un mécanisme de bruit contrôlé par la température pour générer plusieurs trajectoires réalistes pour une même image, reflétant la subjectivité humaine.
3. Sélecteur de fixation variable : Capacité à générer des scanpaths de longueurs différentes, évitant les contraintes de longueur fixe des modèles précédents.
4. Adaptation de domaine non supervisée : Application réussie de l'UDA via GRL pour transférer les connaissances des scènes naturelles vers les peintures sans données étiquetées de peintures.
5. Validation complète : Évaluation qualitative et quantitative sur des jeux de données naturels (Salicon, MIT1003) et artistiques (Le Meur, AVAtt).

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données :

• Scènes Naturelles (Salicon, MIT1003) : SPGen surpasse ou égale les méthodes de l'état de l'art (comme PathGAN, SALYPATH, Le Meur) sur les métriques MultiMatch (forme, direction, longueur, position) et NSS (Normalized Scanpath Saliency). Il obtient notamment les meilleurs scores NSS, indiquant une excellente alignement avec les zones saillantes.
• Peintures (Le Meur, AVAtt) :
  • Sans adaptation de domaine, les performances sont médiocres.
  • Avec l'adaptation de domaine (DA) : On observe une amélioration significative des scores NSS et de la congruence (Congruency). Par exemple, sur le jeu de données AVAtt, le score NSS passe de 0.6476 à 0.6534, et la congruence de 0.1212 à 0.1854.
• Impact de la température : Les résultats montrent que des températures faibles (bruit minimal) offrent la meilleure précision (alignement avec les zones saillantes), tandis que des températures plus élevées augmentent la diversité des trajectoires générées, bien qu'au détriment de la précision absolue.
• Ablation : L'ablation des composants (cartes de prior, sélecteur de fixation) confirme que chaque module est essentiel pour la performance globale, en particulier le sélecteur de fixation pour la longueur variable.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Préservation du Patrimoine : Il fournit un outil puissant pour analyser comment les humains interagissent avec les œuvres d'art, aidant à la restauration, à la muséographie et à l'éducation artistique.
• Avancée Technique : Il démontre que l'adaptation de domaine non supervisée est une solution viable pour appliquer des modèles d'attention visuelle à des domaines artistiques complexes où les données étiquetées sont rares.
• Modélisation Réaliste : En intégrant la stochasticité, SPGen se rapproche davantage de la réalité biologique du système visuel humain, capable de générer plusieurs scénarios d'exploration visuelle pour un même stimulus.

Limites et Perspectives :
Le modèle actuel ne prédit pas la durée des fixations (un aspect temporel). Les auteurs prévoient d'intégrer un module de prédiction temporelle dans les travaux futurs pour compléter la modélisation du scanpath.