Judging the reasons for fixations: A direct experimental method to assess the contribution of saliency and semantic factors to gaze control
En employant une méthode expérimentale directe où les participants ont explicitement identifié les raisons de leurs fixations, cette étude démontre que les facteurs sémantiques, particulièrement la nouveauté et les connaissances préalables, dominent généralement la saillance de bas niveau dans le contrôle du regard et propose un cadre distinguant les processus de mise en évidence basés sur l'image des stratégies d'échantillonnage de parcours de regard afin de mieux interpréter les performances des modèles d'apprentissage profond comme DeepGaze IIE.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez que vos yeux soient comme un appareil photo faisant une visite d'une rue de ville animée. Pendant des années, les scientifiques se sont disputés pour savoir ce qui fait que l'appareil s'arrête et fait la mise au point sur un endroit précis. Un groupe affirme qu'il s'agit des lumières éclatantes et des couleurs vives (la saillance), tandis que l'autre affirme qu'il s'agit des choses significatives comme un panneau « Stop » ou le visage d'une personne (la sémantique).
Le problème des études précédentes était qu'elles essayaient de résoudre cela en regardant la carte entière de la ville d'un seul coup. C'est comme essayer de comprendre pourquoi un touriste s'est arrêté à un coin de rue précis en regardant simplement une carte thermique de toute la rue. On ne peut pas dire s'il s'est arrêté à cause d'une enseigne au néon ou d'un artiste de rue ; les raisons se mélangent.
La nouvelle expérience : interroger le touriste
Au lieu de deviner de loin, ce document a tenté une approche directe. Les chercheurs ont montré des images aux gens et leur ont demandé d'indiquer exactement pourquoi ils avaient regardé certains endroits. C'est comme arrêter le touriste juste après qu'il a pris une photo et lui demander : « Hé, pourquoi avez-vous pris cette photo ? Était-ce à cause du camion de pompiers rouge vif ou du chien rigolo portant un chapeau ? »
Ce qu'ils ont découvert
Les réponses ont révélé que nos yeux sont guidés par un mélange de ces deux facteurs, mais que le sens l'emporte généralement. Nous ne nous contentons pas de fixer la chose la plus brillante ; nous fixons ce qui compte.
Il est intéressant de noter que le « sens » ne consistait pas seulement à reconnaître des objets familiers. Un facteur majeur était de repérer des choses bizarres, inconnues ou inhabituelles. Il se trouve que nos cerveaux sont comme des détectives curieux ; si quelque chose ne correspond pas à notre « carnet de règles » de ce que nous connaissons, nous zoomons immédiatement dessus.
Le nouveau cadre : le projecteur vs le guide
Pour donner du sens à cela, les auteurs proposent une nouvelle façon de concevoir le fonctionnement de nos yeux, en utilisant une analogie en deux étapes :
- Le Projecteur (Saillance) : Imaginez un régisseur de scène projetant un projecteur brillant sur les parties intéressantes ou bizarres de la scène. Cela met en évidence où regarder.
- Le Guide Touristique (Stratégie) : Ensuite, un guide touristique décide comment déplacer le projecteur d'un endroit à l'autre pour créer un chemin fluide (un parcours de balayage).
Le document suggère que les anciens modèles informatiques n'étaient bons qu'à être le « Régisseur » (trouver les points brillants). Ils passaient à côté de la partie « Guide Touristique » (la stratégie de la façon dont nous déplaçons nos yeux).
Le vainqueur du Deep Learning
Les chercheurs ont testé cela par rapport à des modèles informatiques. Ils ont constaté que les anciens modèles (comme les simples cartes de saillance) échouaient lamentablement lorsque la raison du regard changeait (par exemple, ils ne parvenaient pas bien à gérer la « bizarrerie »). Cependant, les nouveaux modèles d'IA plus intelligents (comme DeepGaze IIE) étaient beaucoup plus flexibles.
Considérez les anciens modèles comme un robot qui ne cherche que des choses rouges. Si vous lui montrez un objet bizarre bleu, il est confus. Le nouveau modèle d'IA est comme un humain qui comprend à la fois les choses rouges et les choses bizarres, et qui sait comment déplacer ses yeux en fonction de la raison spécifique pour laquelle il regarde. Parce qu'il comprend la stratégie du « Guide Touristique », il prédit bien mieux où nous regardons, peu importe la raison pour laquelle nous regardons là.
En résumé
Nous ne regardons pas seulement ce qui est brillant ; nous regardons ce qui est intéressant, familier ou étrangement nouveau. Pour prédire où vont nos yeux, nous avons besoin de modèles informatiques qui comprennent non seulement les « lumières éclatantes » d'une image, mais aussi l'« histoire » derrière le pourquoi de notre regard.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.