Consensus Clustering of Free-Viewing Gaze Data: New Insights into Human-Information Interaction

Resumo Técnico: Agrupamento por Consenso de Dados de Olhar de Visualização Livre

Definição do Problema
Dados de olhar de visualização livre oferecem uma janela rica e livre de tarefas sobre a atenção visual humana. Embora a análise exploratória de dados (EDA) convencional geralmente extraia padrões de atenção do usuário por meio de fixações e Áreas de Interesse (AOIs), os padrões mais profundos de Interação Humano-Informação (HII) dentro desses dados permanecem subestudados. O agrupamento tradicional de dados de olhar frequentemente depende de critérios específicos (por exemplo, duração da fixação ou padrões de sacadas) sem agregar simultaneamente o comportamento do usuário e as características do estímulo visual. Além disso, as abordagens de agrupamento existentes sofrem com viés de modelagem e incerteza na validação devido à falta de um ground truth (verdade fundamental). Existe uma lacuna específica na integração da interação do usuário com características visuais contextuais para entender como as características da imagem influenciam o comportamento do usuário em tarefas de visão.

Metodologia: EnsembleGaze
Para abordar essas lacunas, os autores propõem o EnsembleGaze, um novo sistema de aprendizado de conjunto (ensemble learning) não supervisionado de ponta a ponta, projetado para o agrupamento por consenso de conjuntos de dados de visualização livre. O sistema opera através do seguinte pipeline:

1. Engenharia de Atributos (Feature Engineering):

   • Atributos Baseados em Fixação: O sistema extrai descritores estatísticos (total, média, mediana, desvio padrão, variância) das distribuições de contagem total de fixações (FC), tempo até a primeira fixação (TTF) e durações de fixação (FD). Estes são agregados em vetores de atributos para usuários, estímulos ou tuplas (usuário, estímulo).
   • Atributos de Distância de Trajetória (Scanpath): Para o agrupamento de usuários, as distâncias geométricas entre trajetórias de olhar são computadas usando métricas como Fréchet, Hausdorff, Euclidiana, Dynamic Time Warping (DTW) e String-based Time Delay Embedding (SBTED).
   • Categorização de Propriedades da Imagem: Os estímulos são categorizados com base na cor (matiz e intensidade via histogramas) e propriedades de objetos (detectados via YOLO, categorizados por tipo, escala e cor).

2. Agrupamento por Consenso (Baseline):

   • O sistema emprega um paradigma de aprendizado de conjunto não supervisionado onde múltiplos algoritmos de agrupamento base (k-means++, agrupamento hierárquico aglomerativo e agrupamento espectral) são aplicados aos vetores de atributos.
   • Matriz de Coassociação: Uma matriz de coassociação binária é gerada para cada agrupamento base, indicando a associação de membros pares.
   • Votação por Consenso: Estas matrizes são calculadas pela média para criar uma matriz de coassociação probabilística.
   • Meta-Aprendizado: O Agrupamento Hierárquico Aglomerativo (HAC) é aplicado à matriz de consenso (via uma matriz de dissimilaridade) para determinar o particionamento ideal final e o número de clusters ($k$).

3. Agrupamento de Alta Dimensão:
   Para analisar a influência conjunta de usuários e estímulos, o sistema implementa duas estratégias:

   • Agrupamento de Subespaço por Consenso (CSC): Uma abordagem sequencial, de cima para baixo (top-down). Primeiro, agrupa-se uma dimensão (ex: usuários) e, em seguida, agrupa-se a dimensão dual (ex: estímulos) dentro desses clusters primários, utilizando votação por consenso em cada etapa.
   • Biclustering Espectral: Um método de agrupamento simultâneo que agrupa tuplas (usuário, estímulo) ao identificar submatrizes no tensor de atributos. Isso envolve o desenrolamento da matriz (matrix unfolding: modo-1 para guiado pelo usuário, modo-2 para guiado pelo estímulo), seguido de decomposição espectral e k-means nos autovetores.

4. Validação:
   Como não há ground truth, o sistema avalia o desempenho usando métricas padrão (índice de Silhueta, Davies-Bouldin, Calinski-Harabasz) e métricas comparativas (Cohen's $\kappa$, Acurácia, MCC, F1-score, ARI, NMI) contra os agrupamentos de referência (baselines).

Principais Contribuições

• Sistema EnsembleGaze: Um framework de ponta a ponta para aprendizado de conjunto não supervisionado de dados de visualização livre, integrando engenharia de atributos, agrupamento por consenso e agrupamento de alta dimensão.
• Estratégia de Agrupamento por Consenso: A aplicação de votação por consenso via matrizes de coassociação para reduzir o viés de modelagem e melhorar a robustez dos resultados de agrupamento na ausência de ground truth.
• Estratégias de Alta Dimensão: A adaptação do Agrupamento de Subespaço por Consenso e do Biclustering Espectral para dados de olhar para capturar a dinâmica conjunta (usuário, estímulo), indo além do agrupamento unidirecional.
• Engenharia de Atributos: Uma abordagem sistemática usando descritores estatísticos de distribuições de fixação e propriedades de imagem/objeto para caracterizar o comportamento do usuário e tipos de estímulos.

Resultados
O sistema foi avaliado em dois conjuntos de dados públicos: MIT1003 (cenas naturais) e EMOd (imagens que provocam emoções).

• Desempenho de Agrupamento:
  • MIT1003: Os agrupamentos de estímulos de imagem foram altamente consistentes entre os métodos, refletindo uma distinção robusta entre modos de visualização "ambiente" (amplo) e "focal" (específico). Os agrupamentos de usuários foram encontrados como dependentes do contexto da imagem. A métrica de distância de Hausdorff apresentou os melhores resultados para o agrupamento de usuários baseado em distâncias de trajetória.
  • EMOd: Emergiram padrões específicos do conjunto de dados. O dataset EMOd mostrou padrões de fixação que eram mais linearmente separáveis (alinhando-se bem com o KMeans++) em comparação com a separabilidade não linear do MIT1003 (alinhando-se com o agrupamento Espectral).
• Insights de Alta Dimensão:
  • Agrupamento Guiado pelo Estímulo: No MIT1003, o CSC guiado pelo estímulo e o biclustering mostraram alto alinhamento, identificando uma grande partição impulsionada por altas contagens de fixação (atenção ambiente) e uma partição menor impulsionada pela variância da duração da fixação (atenção focal). No EMOd, o CSC guiado pelo estímulo revelou partições caracterizadas por durações de fixação erráticas, potencialmente ligadas ao sofrimento emocional ou sobrecarga cognitiva, um padrão menos capturado pelo biclustering.
  • Agrupamento Guiado pelo Usuário: Os agrupamentos de usuários foram menos separáveis no EMOd, com algumas configurações falhando em produzir clusters distintos, sugerindo que atributos de fixação sozinhos podem não ser suficientes para separar usuários em todos os contextos.
• Influência de Atributos:
  • O matiz e a intensidade da cor ao nível da imagem mostraram correlação fraca com os padrões de fixação do usuário.
  • Atributos baseados em propriedades de objetos (ex: escala e tipo de objeto) geraram partições de agrupamento mais robustas, evidenciadas por padrões distintos de bloco-diagonal nas matrizes de coassociação.

Significância e Alegações
O artigo afirma que o EnsembleGaze fornece uma metodologia replicável e agnóstica a conjuntos de dados para a análise não supervisionada do comportamento de fixação em pesquisas de percepção de cena. Os autores afirmam que seus resultados demonstram:

1. Robustez: Os agrupamentos de estímulos de imagem são consistentes entre os métodos, validando a existência de modos de visualização distintos (ambiente vs. focal).
2. Dependência de Contexto: Os agrupamentos de usuários não são estáticos, mas dependem do contexto da imagem; apenas o biclustering e as abordagens condicionais de dois passos (CSC) são arquitetonicamente capazes de recuperar essa estrutura.
3. Avanço Metodológico: O estudo estabelece que o aprendizado de conjunto não supervisionado e o agrupamento de alta dimensão (especificamente biclustering e agrupamento de subespaço) são necessários para descobrir padrões latentes de HII que o agrupamento de métrica única ou unidirecional deixa passar.
4. Relevância de Atributos: Os achados sugerem que as propriedades ao nível do objeto são mais preditivas da estrutura de agrupamento do que métricas simples de cor ou intensidade.

Os autores mantêm um tom modesto em relação às limitações, observando que o estudo está limitado a atributos baseados em fixação e que a não separabilidade de certos clusters de usuários no EMOd pode indicar a necessidade de atributos adicionais (ex: sacadas) ou aprendizado de atributos orientado por dados em trabalhos futuros.