Debiasing Central Fixation Confounds Reveals a Peripheral "Sweet Spot" for Human-like Scanpaths in Hard-Attention Vision

1. El Problema: El Sesgo Central como Confundidor

El artículo aborda un problema fundamental en la evaluación de modelos de visión por computadora con atención rígida (hard-attention). Estos modelos seleccionan secuencialmente dónde mirar para realizar tareas como la clasificación de imágenes, y su comportamiento se evalúa comparando sus trayectorias oculares (scanpaths) con las de los humanos.

• El Sesgo Central: Se ha documentado ampliamente que las fijaciones humanas tienden fuertemente hacia el centro de la imagen, especialmente en conjuntos de datos centrados en objetos (como CIFAR-10).
• La Trampa de las Métricas Estándar: Las métricas comunes de similitud de scanpaths (DTW, ScanMatch, NSS, AUC) a menudo se ven dominadas por esta distribución espacial marginal. Como resultado, una estrategia trivial que simplemente fija el centro repetidamente puede obtener puntuaciones de similitud sorprendentemente altas, confundiendo la "alineación conductual genuina" con una mera tendencia central.
• Consecuencia: Las métricas actuales son excesivamente optimistas y no logran distinguir entre un agente que realmente imita la estrategia cognitiva humana y uno que simplemente explota el sesgo del conjunto de datos.

2. Metodología

Dataset y Configuración

• Gaze-CIFAR-10: Se utiliza un conjunto de datos anotado con fijaciones humanas durante la tarea de reconocimiento de imágenes CIFAR-10.
• Agente de Atención Rígida: Se emplea un modelo recurrente jerárquico llamado MRAM (Multi-Level Recurrent Attention Model).
  • El agente opera bajo un presupuesto de 12 pasos (glances).
  • En cada paso, el agente fija una mirada, recibe una muestra retinal limitada (un parche foveal y opcionalmente un contexto periférico de baja resolución) y actualiza su estado interno para decidir la siguiente mirada.
  • Se entrena mediante el algoritmo REINFORCE (aprendizaje por refuerzo) para maximizar la precisión de clasificación.

Configuraciones Sensoriales

Los autores manipulan las restricciones sensoriales variando el tamaño del parche foveal y la presencia de contexto periférico para simular diferentes condiciones de visión:

1. fov_only: Solo parche foveal (sin contexto periférico).
2. fov+per: Parche foveal + contexto periférico de resolución moderada.
3. big_per: Un campo de visión periférico muy amplio domina la entrada.

Se realiza un barrido (sweep) del tamaño del parche foveal (de 2 a 32 píxeles) para observar cómo cambia el comportamiento.

Nueva Métrica: GCS (Gaze Consistency Score)

Para mitigar el sesgo central, los autores proponen GCS, una puntuación compuesta y desviada:

1. Normalización: Se normalizan las métricas estándar (DTW, ScanMatch, NSS, AUC) usando un límite superior (humano vs. humano) y un límite inferior (política de esquina).
2. Desviación del Centro: Se resta explícitamente el rendimiento de una política de "fijación central constante" para eliminar la inflación artificial.
3. Similaridad de Movimiento: Se añade un término que penaliza la falta de dinámica temporal. Se calcula la distancia relativa entre las estadísticas de movimiento del modelo y las humanas (longitud total, amplitud de sacadas, entropía de dirección, etc.).
   • Fórmula conceptual: $GCS = \text{Promedio}(Métricas_{\text{desviadas}}) + \lambda \cdot \text{Sim}_{\text{movimiento}}$.

3. Contribuciones Clave

1. Evidencia Empírica del Sesgo: Demostraron que en Gaze-CIFAR-10, una política trivial de fijación central alcanza puntuaciones de similitud de scanpath muy altas bajo métricas estándar, oscureciendo el rendimiento real de los modelos aprendidos.
2. Métrica de Evaluación Desviada (GCS): Introdujeron GCS, que calibra la similitud contra límites humanos y de esquina, y penaliza explícitamente la coincidencia espacial sin dinámica temporal, separando la alineación conductual del sesgo del dataset.
3. Descubrimiento del "Punto Dulce" Periférico: Identificaron un régimen mecánico específico donde los agentes artificiales exhiben comportamientos verdaderamente similares a los humanos, el cual no es evidente solo mirando la precisión de la tarea.

4. Resultados Principales

• Inflación de Métricas Estándar: Las métricas tradicionales (DTW, AUC, etc.) muestran que muchas políticas aprendidas se agrupan cerca de la línea base de "fijación central", sugiriendo que su éxito se debe al sesgo del dataset y no a una estrategia cognitiva sofisticada.
• El "Punto Dulce" (Sweet Spot): Utilizando GCS, se reveló que solo un rango restringido de restricciones sensoriales produce scanpaths que:
  1. Superan significativamente la línea base de fijación central.
  2. Exhiben estadísticas de movimiento temporalmente similares a las humanas.
  • Configuración Óptima: La mejor alineación se logra con la configuración fov+per y un tamaño de parche foveal de 8 píxeles.
    • GCS: 0.0291 (el más alto).
    • Precisión: 58.50% (no es la máxima, pero es competitiva).
• Regímenes de "Atajo" (Shortcut Regime): Cuando el campo de visión es demasiado grande (parches grandes o contexto periférico amplio), el agente puede resolver la tarea mediante reconocimiento pasivo o "atajos", reduciendo la necesidad de exploración activa. Esto degrada la alineación conductual (GCS negativo o bajo), aunque la precisión de clasificación pueda ser alta.
• Compensación Precisión vs. Alineación: Existe una compensación no trivial. La configuración con mayor precisión (fov_only, parche 8) tiene un GCS muy bajo (0.0060), lo que indica que el agente clasifica bien pero no imita la forma en que los humanos exploran la imagen.
• Dinámica de Movimiento: En el "punto dulce", el modelo muestra estadísticas de movimiento (como la entropía de dirección y la cobertura espacial) más cercanas a las humanas que en otros regímenes, descartando la hipótesis de que simplemente se debe a "estar más centrado".

5. Significado e Implicaciones

• Reevaluación de la "Humanidad" en IA: El trabajo demuestra que afirmar que un agente tiene un comportamiento "similar al humano" basado en métricas estándar de scanpaths es peligroso en conjuntos de datos centrados en objetos sin una corrección por sesgo.
• Diseño de Benchmarks: Se recomienda encarecidamente incluir líneas base de "fijación central" y "fijación de esquina" en cualquier evaluación de visión activa. Las métricas deben ser desviadas (debiasing) para ser significativas.
• Interpretación Cognitiva: Los resultados sugieren que la visión humana y artificial están moldeadas por restricciones sensoriales. Existe un equilibrio óptimo entre la información foveal y el contexto periférico que fomenta una exploración activa y estratégica, similar a la humana. Si el agente tiene demasiada información (campo de visión amplio), deja de "mirar" activamente y recurre a atajos pasivos.
• Futuro: Se propone que la "humanidad" no es un punto fijo, sino un régimen mecánico que depende de las condiciones de visión. Futuros estudios deberían manipular la geometría de visión humana para validar si los humanos también muestran múltiples "puntos dulces" bajo diferentes condiciones.

En resumen, el paper advierte que la similitud de scanpaths es a menudo una ilusión estadística causada por el sesgo central y propone una metodología rigurosa (GCS) para identificar cuándo los agentes de visión activa realmente imitan la dinámica de exploración humana.