SPGen: Stochastic scanpath generation for paintings using unsupervised domain adaptation

El artículo presenta SPGen, un modelo de aprendizaje profundo que utiliza adaptación de dominio no supervisada y componentes estocásticos para predecir con mayor precisión los patrones de mirada humana en pinturas, cerrando la brecha entre escenas naturales y obras de arte.

Lo esencial

¡Hola! Imagina que tienes un cuadro famoso colgado en una pared. Si te pongo una cámara especial que registra exactamente dónde miran tus ojos mientras lo observas, obtendrás un "mapa de tu mirada". En el mundo de la ciencia, a esto le llamamos trayectoria de mirada o scanpath.

El problema es que los cuadros de arte son muy diferentes a las fotos normales que vemos en la calle. Lo que nos llama la atención en una foto de un perro no es lo mismo que en un cuadro de la época del Renacimiento.

Aquí te explico cómo funciona el SPGen, el "superhéroe" de este artículo, usando analogías sencillas:

1. El Problema: El "Choque Cultural" de los Ojos

Imagina que entrenaste a un perro para buscar pelotas en un parque (fotos naturales). Ahora, quieres que ese mismo perro busque tesoros en un museo lleno de cuadros antiguos.

• El problema: El perro se confunde. En el parque, busca cosas brillantes y rápidas. En el museo, debería mirar detalles sutiles, colores y composiciones artísticas.
• En la ciencia: Los modelos de inteligencia artificial que aprenden a predecir dónde miramos en fotos normales, fallan estrepitosamente cuando intentan predecir dónde miramos en pinturas. Es como si el modelo tuviera "gafas de sol" que no le dejan ver el arte.

2. La Solución: SPGen (El Guía de Museo Inteligente)

Los autores crearon un modelo llamado SPGen. Piensa en él como un guía turístico virtual que sabe exactamente cómo se mueven los ojos humanos, pero con un truco especial: sabe que no todos miran igual.

Aquí están sus tres superpoderes explicados con analogías:

A. El "Filtro de Adaptación" (Adaptación de Dominio)

Imagina que el modelo tiene un traductor universal.

• Primero, aprende a ver el mundo "normal" (fotos de calles, personas, coches).
• Luego, entra en el museo de pinturas. En lugar de empezar de cero, usa un espejo mágico (llamado capa de reversión de gradiente) que le dice: "Oye, ignora las diferencias superficiales entre una foto y un cuadro, y enfócate en lo que es igual: lo que hace que nuestros ojos se detengan".
• Resultado: El modelo aprende a "traducir" lo que sabe de las fotos normales para aplicarlo a los cuadros, sin necesitar que alguien le enseñe cada cuadro individualmente.

B. El "Dado Mágico" (Generación Estocástica)

Aquí viene la parte más divertida. En la vida real, si le preguntas a 10 personas que miren el mismo cuadro, ninguna mirará exactamente igual.

• Unos mirarán primero el rostro, otros el fondo, otros el color rojo.
• La mayoría de las computadoras son como robots: si les das la misma entrada, te dan la misma salida. ¡Aburrido!
• SPGen tiene un dado mágico: Ellos inyectan un poco de "ruido aleatorio" (como lanzar un dado) en el cerebro del modelo. Esto le permite generar diferentes trayectorias de mirada para el mismo cuadro.
• El control de temperatura: Tienen un botón llamado "Temperatura".
  • Temperatura baja: El modelo es muy preciso y predecible (como un robot).
  • Temperatura alta: El modelo es más "caótico" y creativo, explorando más áreas del cuadro, imitando mejor la curiosidad humana.

C. El "Imán Central" (Sesgos de Atención)

Sabemos que los humanos tenemos un hábito: tendemos a mirar al centro de la imagen primero (como si hubiera un imán en el medio).

• SPGen tiene un mapa de "sesgos aprendibles". Es como si el modelo tuviera una brújula interna que le dice: "Es probable que miren al centro, pero también hay que buscar lo interesante en los bordes".
• Esto ayuda al modelo a no quedarse pegado solo al centro, sino a explorar todo el cuadro como lo haría un humano real.

3. ¿Para qué sirve todo esto?

Imagina que eres un curador de museo o un historiador del arte.

• Preservación: Al entender cómo miramos los cuadros, podemos saber qué partes son más importantes para la gente y protegerlas mejor.
• Museos Virtuales: Podríamos crear visitas guiadas por IA que, en lugar de decirte "mira aquí", te muestren exactamente cómo un experto o un turista promedio exploraría la obra.
• Restauración: Ayuda a saber qué detalles de un cuadro antiguo son los que más captan la atención hoy en día.

En resumen

SPGen es como un detective de la mirada que ha aprendido a ver el mundo a través de fotos, pero que ha aprendido a "cambiar de gafas" para entender el arte. Además, es lo suficientemente inteligente para saber que todos somos diferentes, por lo que puede simular muchas formas distintas de mirar un mismo cuadro, imitando la curiosidad y la subjetividad humana.

Es una herramienta poderosa para que la tecnología nos ayude a apreciar y proteger nuestro patrimonio cultural de una manera más humana y realista.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "SPGen: Stochastic scanpath generation for paintings using unsupervised domain adaptation" en español:

1. El Problema

La comprensión de la atención visual humana es fundamental para la preservación y apreciación del patrimonio cultural, especialmente en el análisis de pinturas. Sin embargo, existe una brecha significativa entre los modelos de atención visual entrenados en escenas naturales (fotografías) y las pinturas artísticas.

• Desafío del Dominio: Los modelos existentes suelen fallar al generalizar de escenas naturales a obras de arte debido a diferencias en la distribución de características visuales (estilos, texturas, composición).
• Determinismo vs. Estocasticidad: La mayoría de los modelos de redes neuronales son deterministas (producen la misma salida para una entrada dada), mientras que el comportamiento del ojo humano (scanpaths) es inherentemente estocástico y subjetivo; diferentes observadores (o el mismo en diferentes momentos) miran una misma imagen de formas distintas.
• Falta de Datos Etiquetados: Obtener datos de seguimiento ocular (eye-tracking) de alta calidad para pinturas es costoso y escaso, lo que dificulta el entrenamiento supervisado directo en este dominio.

2. Metodología (SPGen)

Los autores proponen SPGen, un modelo de aprendizaje profundo diseñado para predecir trayectorias de mirada (scanpaths) mediante una arquitectura que combina extracción de características, sesgos aprendibles y adaptación de dominio no supervisada.

Arquitectura Principal

1. Extracción de Características: Utiliza MobileNet como extractor de características eficiente para procesar las imágenes de entrada.
2. Mapas de Sesgo Prioritario (Learnable Domain Prior Bias Maps): Se concatenan mapas de sesgo basados en funciones Gaussianas aprendibles. Estos permiten al modelo capturar sesgos específicos del dominio (como el "sesgo central" común en la visión humana) sin depender de un único prior fijo, ayudando a la adaptación entre dominios.
3. Módulo de Fusión y Selección:
   • Un módulo de convolución fusiona las características de la imagen con los mapas de sesgo.
   • Soft-ArgMax: Se utiliza para generar coordenadas continuas de los puntos de fijación a partir de los mapas de características.
   • Selector de Fijaciones: Un módulo que genera una máscara binaria para seleccionar qué puntos de fijación forman parte del scanpath, permitiendo la generación de trayectorias de longitud variable.
4. Generación Estocástica: Para abordar la variabilidad humana, se introduce un vector de ruido latente aleatorio ($L$) modulado por un parámetro de temperatura ($T$). Esto permite que el modelo genere múltiples scanpaths diferentes para la misma imagen, simulando la incertidumbre y subjetividad de la atención humana.

Adaptación de Dominio No Supervisada (UDA)

Para cerrar la brecha entre escenas naturales (fuente) y pinturas (objetivo) sin usar etiquetas de pinturas:

• Se emplea una Capa de Reversión de Gradiente (Gradient Reversal Layer - GRL).
• Se añade una rama al modelo que actúa como clasificador de dominio (intenta distinguir si una imagen es natural o una pintura).
• Durante la retropropagación, la GRL invierte el signo del gradiente. Esto obliga al extractor de características a aprender una representación unificada que sea indistinguible entre ambos dominios, minimizando la discrepancia de distribuciones y alineando las características relevantes para la tarea de predicción.

3. Contribuciones Clave

• Modelo SPGen: Una arquitectura eficiente basada en FCNN (Redes Neuronales Convolucionales Totalmente Convolucionales) para la predicción de scanpaths.
• Mecanismo Estocástico: Integración de muestreo de ruido y temperatura para generar múltiples trayectorias válidas para un mismo estímulo, reflejando la naturaleza subjetiva de la atención.
• Selector de Fijaciones: Un módulo que permite generar scanpaths de longitud variable, imitando mejor el comportamiento humano real.
• Adaptación de Dominio para Arte: Aplicación exitosa de UDA con GRL para transferir conocimiento de datasets de escenas naturales (Salicon, MIT1003) a datasets de pinturas (Le Meur, AVAtt) sin necesidad de datos etiquetados de pinturas para el entrenamiento inicial.
• Evaluación Exhaustiva: Validación cuantitativa y cualitativa en múltiples dominios y estilos artísticos.

4. Resultados

El modelo fue evaluado utilizando métricas estándar como MultiMatch (similitud de forma, dirección, longitud y posición), NSS (Saliencia Normalizada de la Trayectoria de Mirada) y Congruencia.

• Rendimiento en Escenas Naturales (Salicon/MIT1003): SPGen superó o igualó a los métodos más avanzados (State-of-the-Art) como PathGAN, SALYPATH y Le Meur, logrando las puntuaciones más altas en la métrica NSS y en componentes de MultiMatch como Forma y Posición.
• Efecto de la Temperatura: Se demostró que una temperatura baja (menos ruido) produce mayor alineación con las regiones salientes (mejor NSS), mientras que temperaturas más altas aumentan la diversidad de las trayectorias generadas, aunque con una ligera pérdida en precisión métrica.
• Adaptación a Pinturas:
  • En el dataset Le Meur (sin scanpaths de referencia, solo mapas de saliencia), la adaptación de dominio mejoró significativamente el NSS (de 1.36 a 1.51) y la Congruencia.
  • En el dataset AVAtt (con scanpaths reales), la adaptación mejoró drásticamente todas las métricas, incluyendo la puntuación MultiMatch (de 0.82 a 0.83) y la Congruencia (de 0.12 a 0.18).
• Generalización: El modelo demostró capacidad para generar trayectorias coherentes en diversos movimientos artísticos (Renacimiento, Barroco, tinta china, etc.), capturando regiones salientes relevantes en las obras.

5. Significado e Impacto

• Preservación del Patrimonio: SPGen ofrece una herramienta poderosa para analizar cómo los humanos interactúan con el arte, lo cual es crucial para la museología, la restauración basada en la atención visual y la creación de experiencias de museo virtual.
• Superación de la Brecha de Datos: Demuestra que es posible adaptar modelos entrenados en datos abundantes (escenas naturales) a dominios especializados y escasos (arte) mediante aprendizaje no supervisado, reduciendo la dependencia de costosos datos de seguimiento ocular en arte.
• Modelado Realista: Al incorporar estocasticidad, el modelo se aleja de la predicción determinista única, ofreciendo un conjunto de comportamientos posibles que mejoran la comprensión de la cognición visual humana frente al arte.

Limitaciones y Futuro:
El modelo actual no predice la duración de las fijaciones (tiempo), solo la secuencia espacial. Los autores planean incorporar un módulo de predicción temporal en trabajos futuros para completar la simulación del scanpath humano.