Consensus Clustering of Free-Viewing Gaze Data: New Insights into Human-Information Interaction

Sintesi Tecnica: Clustering di Consenso per Dati di Sguardo in Free-Viewing

Definizione del Problema
I dati di sguardo in modalità free-viewing offrono una ricca finestra, priva di compiti specifici, sull'attenzione visiva umana. Mentre l'analisi esplorativa dei dati (EDA) convenzionale estrae tipicamente i modelli di attenzione dell'utente attraverso fissazioni e Aree di Interesse (AOI), i pattern più profondi di Interazione Uomo-Informazione (HII) all'interno di questi dati rimangono poco studiati. Il clustering tradizionale dei dati di sguardo spesso si basa su criteri specifici (ad esempio, durata della fissazione o pattern di saccadi) senza aggregare simultaneamente il comportamento dell'utente e le caratteristiche dello stimolo visivo. Inoltre, gli approoli di clustering esistenti soffrono di bias di modellazione e incertezza nella validazione a causa della mancanza di una verità fondamentale (ground truth). Esiste una lacuna specifica nell'integrare l'interazione dell'utente con le caratteristiche contestuali visive per comprendere come le caratteristiche dell'immagine influenzino il comportamento dell'utente nei compiti di visione.

Metodologia: EnsembleGaze
Per affrontare queste lacune, gli autori propongono EnsembleGaze, un nuovo sistema di apprendimento ensemble end-to-end non supervisionato, progettato per il clustering di consenso di dataset di sguardo in free-viewing. Il sistema opera attraverso la seguente pipeline:

1. Ingegneria delle Caratteristiche (Feature Engineering):

   • Caratteristiche basate sulla fissazione: Il sistema estrae descrittori statistici (totale, media, mediana, deviazione standard, varianza) dalle distribuzioni di conteggi totali delle fissazioni (FC), tempo alla prima fissazione (TTF) e durate delle fissazioni (FD). Questi vengono aggregati in vettori di caratteristiche per utenti, stimoli o tuple (utente, stimolo).
   • Caratteristiche di distanza del percorso di scansione (Scanpath-Distance): Per il clustering degli utenti, vengono calcolate le distanze geometriche tra i percorsi di scansione utilizzando metriche quali Fréchet, Hausdorff, Euclidea, Dynamic Time Warping (DTW) e String-based Time Delay Embedding (SBTDED).
   • Categorizzazione delle proprietà dell'immagine: Gli stimoli sono categorizzati in base al colore (tonalità e intensità tramite istogrammi) e alle proprietà degli oggetti (rilevati tramite YOLO, categorizzati per tipo, scala e colore).

2. Clustering di Consenso (Baseline):

   • Il sistema impiega un paradigma di apprendimento ensemble non supervisionato in cui molteplici algoritmi di clustering di base (k-means++, gerarchico agglomerativo e clustering spettrale) vengono applicati ai vettori delle caratteristiche.
   • Matrice di Co-associazione: Viene generata una matrice di co-associazione binaria per ogni clustering di base, che indica l'appartenenza di coppia.
   • Votazione di Consenso: Queste matrici vengono mediate per creare una matrice di co-associazione probabilistica.
   • Meta-Apprendimento: Il Clustering Gerarchico Agglomerativo (HAC) viene applicato alla matrice di consenso (tramite una matrice di dissimilarità) per determinare la partizione ottimale finale e il numero di cluster ($k$).

3. Clustering ad Alta Dimensionalità:
   Per analizzare l'influenza congiunta di utenti e stimoli, il sistema implementa due strategie:

   • Consensus Subspace Clustering (CSC): Un approccio sequenziale, dall'alto verso il basso. Prima raggruppa una dimensione (es. utenti) e poi raggruppa la dimensione duale (es. stimoli) all'interno di quei cluster primari, utilizzando il voto di consenso in ogni fase.
   • Spectral Biclustering: Un metodo di clustering simultaneo che raggruppa le tuple (utente, stimolo) identificando le sottomatrici nel tensore delle caratteristiche. Ciò comporta lo srotolamento della matrice (matrix unfolding: modo-1 per la guida dell'utente, modo-2 per la guida dello stimolo) seguito da decomposizione spettrale e k-means sugli autovettori.

4. Validazione:
   Poiché manca una verità fondamentale, il sistema valuta le prestazioni utilizzando metriche standard (indice di Silhouette, Davies-Bouldin, Calinski-Harabasz) e metriche comparative (Cohen's $\kappa$, Accuratezza, MCC, F1-score, ARI, NMI) rispetto ai baseline di clustering.

Contributi Chiave

• Sistema EnsembleGaze: Un framework end-to-end per l'apprendimento ensemble non supervisionato di dati di sguardo in free-viewing, che integra l'ingegneria delle caratteristiche, il clustering di consenso e il clustering ad alta dimensionalità.
• Strategia di Clustering di Consenso: L'applicazione del voto di consenso tramite matrici di co-associazione per ridurre il bias di modellazione e migliorare la robustezza dei risultati del clustering in assenza di una verità fondamentale.
• Strategie ad Alta Dimensionalità: L'adattamento di Consensus Subspace Clustering e Spectral Biclustering ai dati di sguardo per catturare la dinamica congiunta (utente, stimolo), andando oltre il clustering unidirezionale.
• Ingegneria delle Caratteristiche: Un approccio sistematico che utilizza descrittori statistici delle distribuzioni di fissazione e proprietà di immagini/oggetti per caratterizzare il comportamento dell'utente e i tipi di stimolo.

Risultati
Il sistema è stato valutato su due dataset pubblici: MIT1003 (scene naturali) ed EMOd (immagini che evocano emozioni).

• Performance di Clustering:
  • MIT1003: I raggruppamenti degli stimoli d'immagine sono stati altamente coerenti tra i metodi, riflettendo una distinzione robusta tra modalità di visione "ambient" (ampia) e "focal" (specifica). I raggruppamenti degli utenti sono risultati dipendenti dal contesto dell'immagine. La metrica di Hausdorff ha fornito i migliori risultati per il clustering degli utenti basato sulle distanze dei percorsi di scansione.
  • EMOd: Sono emersi pattern specifici del dataset. Il dataset EMOd ha mostrato pattern di fissazione più linearmente separabili (allineandosi bene con KMeans++) rispetto alla separabilità non lineare di MIT1003 (allineandosi con il clustering spettrale).
• Approfondimenti ad Alta Dimensionalità:
  • Clustering Guidato dallo Stimolo: In MIT1003, il CSC guidato dallo stimolo e il biclustering hanno mostrato un alto allineamento, identificando una grande partizione guidata dall'alto numero di fissazioni (attenzione ambient) e una partizione più piccola guidata dalla varianza della durata della fissazione (attenzione focal). In EMOd, il CSC guidato dallo stimolo ha rivelato partizioni caratterizzate da durate di fissazione erratiche, potenzialmente legate al disagio emotivo o al sovraccarico cognitivo, un pattern meno catturato dal biclustering.
  • Clustering Guidato dall'Utente: I raggruppamenti degli utenti erano meno separabili in EMOd, con alcune configurazioni che non riuscivano a produrre cluster distinti, suggerendo che le sole caratteristiche di fissazione potrebbero non essere sufficienti per separare gli utenti in tutti i contesti.
• Influenza delle Caratteristiche:
  • Le caratteristiche di tonalità e intensità del colore a livello di immagine hanno mostrato una debole correlazione con i pattern di fissazione dell'utente.
  • Le caratteristiche basate sulle proprietà degli oggetti (es. scala e tipo di oggetto) hanno prodotto partizioni di clustering più robuste, come dimostrato dai distinti pattern a blocchi diagonali nelle matrici di co-associazione.

Significatività e Rivendicazioni
L'articolo sostiene che EnsembleGaze fornisca una metodologia replicabile e agnostica rispetto al dataset per l'analisi non supervisionata del comportamento di fissazione nella ricerca sulla percezione delle scene. Gli autori affermano che i loro risultati dimostrano:

1. Robustezza: I raggruppamenti degli stimoli d'immagine sono coerenti tra i metodi, validando l'esistenza di distinte modalità di visione (ambient vs. focal).
2. Dipendenza dal Contesto: I raggruppamenti degli utenti non sono statici ma dipendono dal contesto dell'immagine; solo il biclustering e gli approcci condizionali a due fasi (CSC) sono architettonicamente capaci di recuperare questa struttura.
3. Avanzamento Metodologico: Lo studio stabilisce che l'apprendimento ensemble non supervisionato e il clustering ad alta dimensionalità (specificamente il biclustering e il subspace clustering) sono necessari per scoprire i pattern latenti di HII che il clustering a singola metrica o unidirezionale perde.
4. Rilevanza delle Caratteristiche: Le scoperte suggeriscono che le proprietà a livello di oggetto sono più predittive della struttura di clustering rispetto alle semplici metriche di colore o intensità.

Gli autori mantengono un tono modesto riguardo ai limiti, osservando che lo studio è limitato alle caratteristiche basate sulla fissazione e che la non-separabilità di certi cluster di utenti in EMOd può indicare la necessità di ulteriori caratteristiche (es. saccadi) o di un apprendimento delle caratteristiche guidato dai dati in lavori futuri.