Consensus Clustering of Free-Viewing Gaze Data: New Insights into Human-Information Interaction

Résumé Technique : Clustering de Consensus des Données de Regard en Vision Libre

Énoncé du Problème
Les données de regard en vision libre offrent une fenêtre riche et sans tâche spécifique sur l'attention visuelle humaine. Bien que l'analyse exploratoire de données (EDA) conventionnelle extraie généralement les modèles d'attention des utilisateurs via les fixations et les zones d'intérêt (AOI), les modèles plus profonds d'Interaction Homme-Information (HII) au sein de ces données restent sous-étudiés. Le clustering traditionnel des données de regard repose souvent sur des critères spécifiques (par exemple, la durée de fixation ou les motifs de saccades) sans agréger simultanément le comportement de l'utilisateur et les caractéristiques du stimulus d'image. De plus, les approches de clustering existantes souffrent de biais de modélisation et d'une incertitude de validation due à l'absence de vérité terrain (ground truth). Il existe un manque spécifique dans l'intégration de l'interaction de l'utilisateur avec les caractéristiques visuelles contextuelles pour comprendre comment les caractéristiques de l'image influencent le comportement de l'utilisateur dans les tâches de vision.

Méthodologie : EnsembleGaze
Pour combler ces lacunes, les auteurs proposent EnsembleGaze, un nouveau système d'apprentissage d'ensemble non supervisé de bout en bout conçu pour le clustering de consensus des ensembles de données de regard en vision libre. Le système fonctionne via le pipeline suivant :

1. Ingénierie des Caractéristiques (Feature Engineering) :

   • Caractéristiques basées sur la fixation : Le système extrait des descripteurs statistiques (total, moyenne, médiane, écart-type, variance) à partir des distributions du nombre total de fixations (FC), du temps jusqu'à la première fixation (TTF) et des durées de fixation (FD). Ceux-ci sont agrégés en vecteurs de caractéristiques pour les utilisateurs, les stimuli, ou les tuples (utilisateur, stimulus).
   • Caractéristiques de Distance de Scanpath : Pour le clustering d'utilisateurs, les distances géométriques entre les scanpaths sont calculées en utilisant des métriques telles que Fréchet, Hausdorff, Euclidienne, Dynamic Time Warping (DTW) et l'Embedding de Délai Temporel basé sur les Chaînes (SBTED).
   • Catégorisation des Propriétés de l'Image : Les stimuli sont catégorisés selon la couleur (teinte et intensité via des histogrammes) et les propriétés des objets (détectés via YOLO, catégorisés par type, échelle et couleur).

2. Clustering de Consensus (Base de référence) :

   • Le système emploie un paradigme d'apprentissage d'ensemble non supervisé où plusieurs algorithmes de clustering de base (k-means++, hiérarchique agglomeratif, et spectral clustering) sont appliqués aux vecteurs de caractéristiques.
   • Matrice de Co-association : Une matrice de co-association binaire est générée pour chaque clustering de base, indiquant l'appartenance par paire.
   • Vote de Consensus : Ces matrices sont moyennées pour créer une matrice de co-association probabiliste.
   • Méta-Apprentissage : Le clustering hiérarchique agglomeratif (HAC) est appliqué à la matrice de consensus (via une matrice de dissimilarité) pour déterminer le partitionnement optimal final et le nombre de clusters ($k$).

3. Clustering de Haute Dimension :
   Pour analyser l'influence conjointe des utilisateurs et des stimuli, le système implémente deux stratégies :

   • Clustering de Sous-Espace de Consensus (CSC) : Une approche séquentielle descendante (top-down). Il clustère d'abord une dimension (ex: les utilisateurs) puis clustre la dimension duale (ex: les stimuli) au sein de ces clusters primaires, en utilisant le vote de consensus à chaque étape.
   • Biclustering Spectral : Une méthode de clustering simultané qui groupe les tuples (utilisateur, stimulus) en identifiant des sous-matrices dans le tenseur de caractéristiques. Cela implique un dépliage de matrice (mode-1 pour guidé par l'utilisateur, mode-2 pour guidé par le stimulus) suivi d'une décomposition spectrale et d'un k-means sur les vecteurs propres.

4. Validation :
   En l'absence de vérité terrain, le système évalue la performance en utilisant des métriques standards (indice de Silhouette, Davies-Bouldin, Calinski-Harabasz) et des métriques comparatives (Kappa de Cohen, Précision, MCC, F1-score, ARI, NMI) par rapport aux clusterings de base.

Contributions Clés

• Système EnsembleGaze : Un cadre de bout en bout pour l'apprentissage d'ensemble non supervisé des données de regard en vision libre, intégrant l'ingénierie des caractéristiques, le clustering de consensus et le clustering de haute dimension.
• Stratégie de Clustering de Consensus : L'application du vote de consensus via des matrices de co-association pour réduire le biais de modélisation et améliorer la robustesse des résultats de clustering en l'absence de vérité terrain.
• Stratégies de Haute Dimension : L'adaptation du Clustering de Sous-Espace de Consensus et du Biclustering Spectral aux données de regard pour capturer la dynamique conjointe (utilisateur, stimulus), allant au-delà du clustering unidirectionnel.
• Ingénierie des Caractéristiques : Une approche systématique utilisant des descripteurs statistiques des distributions de fixation et des propriétés d'image/objet pour caractériser le comportement de l'utilisateur et les types de stimuli.

Résultats
Le système a été évalué sur deux jeux de données publics : MIT1003 (scènes naturelles) et EMOd (images provoquant des émotions).

• Performance de Clustering :
  • MIT1003 : Les regroupements de stimuli d'image étaient très cohérents entre les méthodes, reflétant une distinction robuste entre les modes de vision « ambiant » (large) et « focal » (spécifique). Les regroupements d'utilisateurs se sont révélés dépendants du contexte de l'image. La métrique de distance de Hausdorff a donné les meilleurs résultats pour le clustering d'utilisateurs basé sur les distances de scanpath.
  • EMOd : Des motifs spécifiques au jeu de données ont émergé. Le jeu de données EMOd a montré des motifs de fixation plus linéairement séparables (s'alignant bien avec KMeans++) par rapport à la non-linéarité de MIT1003 (s'alignant avec le Spectral clustering).
• Perspectives de Haute Dimension :
  • Clustering Guidé par le Stimulus : Dans MIT1003, le CSC guidé par le stimulus et le biclustering ont montré une forte concordance, identifiant un large partition piloté par des nombres de fixations élevés (attention ambiante) et une plus petite partition pilotée par la variance de la durée de fixation (attention focale). Dans EMOd, le CSC guidé par le stimulus a révélé des partitions caractérisées par des durées de fixation erratiques, potentiellement liées à la détresse émotionnelle ou à la surcharge cognitive, un motif moins capturé par le biclustering.
  • Clustering Guidé par l'Utilisateur : Les regroupements d'utilisateurs étaient moins séparables dans EMOd, certaines configurations ne parvenant pas à produire des clusters distincts, ce qui suggère que les caractéristiques de fixation seules peuvent ne pas suffire à séparer les utilisateurs dans tous les contextes.
• Influence des Caractéristiques :
  • Les caractéristiques de teinte et d'intensité de couleur au niveau de l'image présentaient une faible corrélation avec les motifs de fixation des utilisateurs.
  • Les caractéristiques basées sur les propriétés des objets (ex: échelle de l'objet, type) ont produit des partitions de clustering plus robustes, comme en témoignent les motifs distincts en blocs diagonaux dans les matrices de co-association.

Signification et Revendications
L'article affirme qu'EnsembleGaze fournit une méthodologie réplicable et agnostique vis-à-vis du jeu de données pour l'analyse non supervisée du comportement de fixation dans la recherche sur la perception des scènes. Les auteurs affirment que leurs résultats démontrent :

1. Robustesse : Les regroupements de stimuli d'image sont cohérents entre les méthodes, validant l'existence de modes de vision distincts (ambiant vs focal).
2. Dépendance au Contexte : Les regroupements d'utilisateurs ne sont pas statiques mais dépendent du contexte de l'image ; seuls le biclustering et les approches conditionnelles en deux étapes (CSC) sont architecturalement capables de récupérer cette structure.
3. Avancée Méthodologique : L'étude établit que l'apprentissage d'ensemble non supervisé et le clustering de haute dimension (spécifiquement le biclustering et le clustering de sous-espace) sont nécessaires pour découvrir les motifs latents de l'HII que le clustering à métrique unique ou unidirectionnel manque.
4. Pertinence des Caractéristiques : Les conclusions suggèrent que les propriétés au niveau de l'objet sont plus prédictives de la structure de clustering que les simples mesures de couleur ou d'intensité.

Les auteurs maintiennent un ton modeste concernant les limites, notant que l'étude est limitée aux caractéristiques basées sur la fixation et que la non-séparabilité de certains clusters d'utilisateurs dans EMOd peut indiquer un besoin de caractéristiques supplémentaires (ex: saccades) ou d'apprentissage de caractéristiques piloté par les données dans les travaux futurs.