Consensus Clustering of Free-Viewing Gaze Data: New Insights into Human-Information Interaction

Resumen Técnico: Agrupamiento por Consenso de Datos de Mirada de Visión Libre

Declaración del Problema
Los datos de mirada de visión libre ofrecen una ventana rica y libre de tareas sobre la atención visual humana. Mientras que el análisis exploratorio de datos (EDA) convencional suele extraer patrones de atención del usuario mediante fijaciones y Áreas de Interés (AOI), los patrones más profundos de la Interacción Humano-Información (HII) dentro de estos datos siguen siendo insuficientemente estudiados. El agrupamiento tradicional de datos de mirada suele depender de criterios específicos (por ejemplo, duración de la fijación o patrones de sacadas) sin agregar simultáneamente el comportamiento del usuario y las características del estímulo de la imagen. Además, los enfoques de agrupamiento existentes sufren de sesgo de modelado e incertidumbre en la validación debido a la falta de una verdad de terreno (ground truth). Existe una brecha específica en la integración de la interacción del usuario con las características visuales contextuales para comprender cómo las características de la imagen influyen en el comportamiento del usuario en tareas de visión.

Metodología: EnsembleGaze
Para abordar estas brechas, los autores proponen EnsembleGaze, un nuevo sistema de aprendizaje de conjunto (ensemble learning) de extremo a extremo, no supervisado, diseñado para el agrupamiento por consenso de conjuntos de datos de mirada de visión libre. El sistema opera a través del siguiente flujo de trabajo:

1. Ingeniería de Características:

   • Características basadas en la fijación: El sistema extrae descriptores estadísticos (total, media, mediana, desviación estándar, varianza) de las distribuciones de conteos totales de fijación (FC), tiempo hasta la primera fijación (TTF) y duraciones de fijación (FD). Estos se agregan en vectores de características para usuarios, estímulos o tuplas (usuario, estímulo).
   • Características de Distancia de Trayectoria de Escaneo (Scanpath): Para el agrupamiento de usuarios, se computan las distancias geométricas entre trayectorias de escaneo utilizando métricas como Fréchet, Hausdorff, Euclídea, Dynamic Time Warping (DTW) y String-based Time Delay Embedding (SBTED).
   • Categorización de Propiedades de la Imagen: Los estímulos se categorizan según el color (matiz e intensidad mediante histogramas) y las propiedades de los objetos (detectados mediante YOLO, categorizados por tipo, escala y color).

2. Agrupamiento por Consenso (Línea Base):

   • El sistema emplea un paradigma de aprendizaje de conjunto no supervisado donde se aplican múltiples algoritmos de agrupamiento base (k-means++, agrupamiento jerárquico aglomerativo y agrupamiento espectral) a los vectores de características.
   • Matriz de Co-asociación: Se genera una matriz de co-asociación binaria para cada agrupamiento base, indicando la membresía por pares.
   • Votación por Consenso: Estas matrices se promedian para crear una matriz de co-asociación probabilística.
   • Meta-Aprendizaje: Se aplica el Agrupamiento Jerárquico Aglomerativo (HAC) a la matriz de consenso (mediante una matriz de disimilitud) para determinar la partición óptima final y el número de grupos ($k$).

3. Agrupamiento de Alta Dimensión:
   Para analizar la influencia conjunta de usuarios y estímulos, el sistema implementa dos estrategias:

   • Agrupamiento de Subespacio por Consenso (CSC): Un enfoque secuencial, de arriba hacia abajo. Primero agrupa una dimensión (por ejemplo, usuarios) y luego agrupa la dimensión dual (por ejemplo, estímulos) dentro de esos grupos primarios, utilizando la votación por consenso en cada paso.
   • Biclustering Espectral: Un método de agrupamiento simultáneo que agrupa tuplas (usuario, estímulo) mediante la identificación de submatrices en el tensor de características. Esto implica el despliegue de la matriz (matrix unfolding: modo-1 para guiado por usuario, modo-2 para guiado por estímulo) seguido de la descomposición espectral y k-means sobre los autovectores.

4. Validación:
   Dado que no hay una verdad de terreno, el sistema evalúa el desempeño utilizando métricas estándar (índice de Silueta, Davies-Bouldin, Calinski-Harabasz) y métricas comparativas (Kappa de Cohen, Exactitud, MCC, F1-score, ARI, NMI) contra los agrupamientos de la línea base.

Contribuciones Clave

• Sistema EnsembleGaze: Un marco de extremo a extremo para el aprendizaje de conjunto no supervisado de datos de mirada de visión libre, que integra ingeniería de características, agrupamiento por consenso y agrupamiento de alta dimensión.
• Estrategia de Agrupamiento por Consenso: La aplicación de la votación por consenso mediante matrices de co-asociación para reducir el sesgo de modelado y mejorar la robustez de los resultados de agrupamiento ante la ausencia de una verdad de terreno.
• Estrategias de Alta Dimensión: La adaptación del Agrupamiento de Subespacio por Consenso y el Biclustering Espectral a los datos de mirada para capturar la dinámica conjunta (usuario, estímulo), yendo más allá del agrupamiento unidireccional.
• Ingeniería de Características: Un enfoque sistemático que utiliza descriptores estadísticos de las distribuciones de fijación y propiedades de imagen/objeto para caracterizar el comportamiento del usuario y los tipos de estímulos.

Resultados
El sistema fue evaluado en dos conjuntos de datos públicos: MIT1003 (escenas naturales) y EMOd (imágenes que provocan emociones).

• Desempeño de Agrupamiento:
  • MIT1003: Los agrupamientos de estímulos de imagen fueron altamente consistentes entre los métodos, reflejando una distinción robusta entre los modos de visión "ambiente" (amplio) y "focal" (específico). Los agrupamientos de usuarios resultaron ser dependientes del contexto de la imagen. La métrica de distancia de Hausdorff produjo los mejores resultados para el agrupamiento de usuarios basado en distancias de trayectoria de escaneo.
  • EMOd: Surgieron patrones específicos del conjunto de datos. El conjunto de datos EMOd mostró patrones de fijación que eran más linealmente separables (alineándose bien con KMeans++) en comparación con la no linealidad de la separabilidad de MIT1003 (alineándose con el agrupamiento espectral).
• Perspectivas de Alta Dimensión:
  • Agrupamiento Guiado por Estímulo: En MIT1003, el CSC guiado por estímulo y el biclustering mostraron una alta alineación, identificando una gran partición impulsada por altos conteos de fijación (atención ambiente) y una partición más pequeña impulsada por la varianza de la duración de la fijación (atención focal). En EMOd, el CSC guiado por estímulo reveló particiones caracterizadas por duraciones de fijación erráticas, potencialmente vinculadas al malestar emocional o la sobrecarga cognitiva, un patrón menos capturado por el biclustering.
  • Agrupamiento Guiado por Usuario: Los agrupamientos de usuarios fueron menos separables en EMOd, con algunas configuraciones que no lograron producir grupos distintos, lo que sugiere que las características de fijación por sí solas pueden no ser suficientes para separar a los usuarios en todos los contextos.
• Influencia de las Características:
  • El matiz y la intensidad del color a nivel de imagen mostraron una correlación débil con los patrones de fijación del usuario.
  • Las características basadas en propiedades de objetos (por ejemplo, escala y tipo de objeto) produjeron particiones de agrupamiento más robustas, evidenciadas por patrones de bloque diagonal distintos en las matrices de co-asociación.

Significancia y Reivindicaciones
El artículo afirma que EnsembleGaze proporciona una metodología replicable y agnóstica respecto al conjunto de datos para el análisis no supervisado del comportamiento de fijación en la investigación de la percepción de escenas. Los autores sostienen que sus resultados demuestran:

1. Robustez: Los agrupamientos de estímulos de imagen son consistentes entre los métodos, validando la existencia de distintos modos de visión (ambiente vs. focal).
2. Dependencia del Contexto: Los agrupamientos de usuarios no son estáticos, sino que dependen del contexto de la imagen; solo el biclustering y los enfoques condicionales de dos pasos (CSC) son arquitectónicamente capaces de recuperar esta estructura.
3. Avance Metodológico: El estudio establece que el aprendizaje de conjunto no supervisado y el agrupamiento de alta dimensión (específicamente el biclustering y el agrupamiento de subespacios) son necesarios para descubrir patrones latentes de HII que el agrupamiento de una sola métrica o unidireccional pasa por alto.
4. Relevancia de las Características: Los hallazgos sugieren que las propiedades a nivel de objeto son más predictivas de la estructura de agrupamiento que las simples métricas de color o intensidad.

Los autores mantienen un tono modesto respecto a las limitaciones, señalando que el estudio se limita a características basadas en la fijación y que la no separabilidad de ciertos grupos de usuarios en EMOd puede indicar la necesidad de características adicionales (por ejemplo, sacadas) o aprendizaje de características basado en datos en trabajos futuros.