Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

Résumé Technique : Comparaison de l'attention du regard humain et de l'attention des modèles vision-langage dans des environnements liés à la sécurité

Énoncé du problème
Les systèmes d'intelligence artificielle (IA) sensibles à la sécurité, particulièrement dans la conduite autonome et la robotique, nécessitent la capacité d'identifier les régions de scènes que les humains perçoivent comme potentiellement risquées. Bien que la technologie d'oculométrie (eye-tracking) fournisse une mesure directe de l'attention visuelle humaine et révèle un « biais de négativité » (une sensibilité disproportionnée aux stimuli menaçants), les modèles computationnels existants se concentrent souvent sur la saillance visuelle générale plutôt que sur la perception de la sécurité. Il existe un écart critique pour comprendre si les modèles de langage visuels (VLM) modernes, qui possèdent une compréhension sémantique, peuvent aligner spatialement leur attention avec le regard humain dans des environnements liés à la sécurité sans nécessiter d'entraînement sur des données d'oculométrie.

Méthodologie
L'étude a employé une approche à deux volets impliquant la collecte de données humaines et l'inférence par l'IA :

1. Construction du jeu de données d'oculométrie humaine :

   • Stimuli : 33 images de scènes représentant divers environnements du quotidien (rues, couloirs, espaces publics, zones vertes) avec différents niveaux de risques potentiels (ex. : véhicules, obstacles, panneaux d'inondation).
   • Participants : 10 étudiants universitaires ayant une vision normale ou corrigée.
   • Appareillage : Des lunettes portables Pupil Invisible (suivi du regard binoculaire à 200 Hz, caméra de scène à 30 ips) ont été utilisées pour enregistrer le regard pendant que les participants observaient les images sur un moniteur de 24 pouces pendant 10 secondes chacune.
   • Traitement : Les données brutes du regard ont été filtrées pour la validité, mappées du champ de vision de la caméra de scène vers la résolution du stimulus (1 536 × 1 024 pixels), et converties en cartes de densité de fixation individuelles via un lissage gaussien ($\sigma = 30$ px). Celles-ci ont été moyennées pour créer 33 cartes thermiques de regard humain au niveau de la population.

2. Génération de cartes de saillance par l'IA :

   • Modèle : GPT-4o a été sélectionné pour ses capacités de raisonnement multimodal.
   • Pipeline : Un script Python automatisé a sollicité GPT-4o via l'API OpenAI Vision pour agir en tant qu'« expert en saillance visuelle ». Le modèle a reçu l'instruction de renvoyer un objet JSON structuré contenant 20 à 25 points de fixation normalisés $(x, y)$ avec des poids de saillance $(w)$, prédisant où les humains regarderaient lors d'une observation libre.
   • Rendu : La sortie JSON a été rastérisée en disques pleins ($r = 40$ px) sur un canevas, suivi d'un lissage gaussien ($\sigma = 60$ px) pour générer des cartes de saillance continues comparables aux cartes thermiques humaines. Aucune donnée d'oculométrie n'a été utilisée pour entraîner le modèle.

3. Évaluation :

   • L'alignement spatial entre les cartes thermiques humaines et de l'IA a été quantifié à l'aide de quatre métriques sur l'ensemble des 33 images :
     • Corrélation de Pearson ($r$) : Accord spatial linéaire.
     • Saillance du scanpath normalisée (NSS) : Correspondance des valeurs de l'IA aux points de fixation humaine.
     • Divergence de Kullback–Leibler (KL) : Différence de distribution entre les deux cartes.
     • AUC-Judd : Capacité à discriminer les emplacements fixés versus non fixés.
   • Une comparaison inter-modèles a été effectuée en utilisant Gemini Pro, Gemini Flash et Claude.

Résultats clés

• Performance de GPT-4o : Le modèle a démontré un alignement spatial significatif avec le regard humain sans entraînement préalable à l'oculométrie.
  • AUC-Judd : $0,806 \pm 0,076$ (substantiellement au-dessus de la ligne de base du hasard de 0,5).
  • NSS : $0,988 \pm 0,323$ (score positif indiquant des valeurs supérieures à la moyenne aux points de fixation humaine).
  • Pearson $r$ : $0,515 \pm 0,117$ (corrélation linéaire modérée mais constante).
  • Divergence KL : $1,766 \pm 0,844$.
• Comparaison inter-modèles : Tous les modèles testés (GPT-4o, Gemini Pro, Gemini Flash, Claude) ont dépassé la ligne de base de l'AUC-Judd et ont obtenu des scores NSS positifs.
  • Gemini Pro a obtenu les scores les plus élevés en corrélation de Pearson ($0,571$), NSS ($1,131$) et AUC-Judd ($0,840$), suggérant une localisation spatiale supérieure.
  • GPT-4o a obtenu la divergence KL la plus faible ($1,766$), indiquant que la forme de sa distribution de saillance prédite correspondait le plus étroitement à la distribution de l'attention humaine, malgré des scores de localisation spatiale légèrement inférieurs à ceux de Gemini Pro.
• Variabilité des scènes : L'alignement était plus fort dans les scènes où le contenu lié au risque était spatialement localisé (ex. : Image 05, Image 02) et plus faible dans les scènes présentant des modèles de regard humain diffus.

Principales contributions

1. Création de jeu de données : L'étude a construit un jeu de données d'oculométrie dédié couvrant 33 types de scènes quotidiennes diverses avec différents niveaux de risque, fournissant des cartes thermiques de regard humain moyennées par la population comme vérité terrain pour la perception de la sécurité.
2. Démonstration d'alignement Zero-Shot : Elle a démontré empiriquement que les grands VLM, lorsqu'ils sont incités à identifier les risques, peuvent générer des prédictions spatiales qui s'alignent avec les modèles d'attention humaine sans nécessiter de données d'entraînement spécifiques à l'oculométrie.
3. Cadre d'évaluation : L'article applique un ensemble complet de métriques de saillance complémentaires pour quantifier la correspondance spatiale entre les cartes de risque générées par l'IA et le regard humain dans des contextes liés à la sécurité.

Signification et affirmations
Les auteurs affirment que les grands modèles vision-langage peuvent identifier des régions de risque potentiel qui correspondent largement aux zones où les humains dirigent leur attention visuelle dans des scènes liées à la sécurité. Cela suggère que les VLM capturent implicitement les tendances humaines à prioriser les régions risquées, probablement en raison de leur entraînement sur du contenu généré par l'homme, même si les modèles ne font pas l'expérience du « biais de négativité » eux-mêmes.

La signification de ces résultats réside dans le potentiel des VLM à servir d'outil évolutif pour approximer les modèles d'attention humaine dans des applications d'IA sensibles à la sécurité. Cette capacité pourrait soutenir le développement de systèmes (tels que des robots ou des véhicules autonomes) qui s'alignent sur la perception humaine du risque sans avoir besoin de matériel d'oculométrie dédié et coûteux lors du déploiement. Les auteurs notent que bien que les résultats soient prometteurs, ils sont modestes ; l'alignement n'est pas parfait, et l'étude reconnaît des limites concernant la petite taille de l'échantillon de participants et la nature parcelle de la sortie basée sur le JSON de l'IA par rapport aux données denses du regard humain. Des travaux futurs sont suggérés pour impliquer des échantillons plus larges et plus diversifiés ainsi que des stimuli vidéo dynamiques afin de valider davantage ces conclusions.