💻 computer science

Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention

Este artículo presenta Gazette, un nuevo marco de trabajo que aprovecha los modelos de lenguaje de gran tamaño multimodales y transcripciones sintéticas de "pensamiento en voz alta" para decodificar las trayectorias de escaneo de la mirada humana en descripciones de lenguaje natural de forma libre sobre los objetivos, yendo más allá de la decodificación categórica tradicional para capturar los matices abiertos de las intenciones humanas.

Autores originales: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tus ojos son como el haz de una linterna en una habitación oscura. Cuando miras algo, ese haz no se queda quieto; salta de un lado a otro, aterrizando en diferentes puntos durante fracciones de segundo. Este patrón de movimiento se llama "trayectoria de escaneo" (scanpath). Durante mucho tiempo, los científicos han intentado descubrir qué estás pensando simplemente observando dónde aterriza ese haz de luz. Por lo general, lo han tratado como un examen de opción múltiple. Le preguntaban a la computadora: "¿Está la persona buscando un gato o un perro?", y la computadora elegía una respuesta de una lista fija. Pero los pensamientos humanos son desordenados y creativos. A veces no solo estás buscando un "perro"; estás buscando "el golden retriever despeinado que lleva un pañuelo rojo y que se esconde detrás del sofá". La forma antigua de hacer preguntas era demasiado simple para capturar ese tipo de detalle. Aquí es donde entra un nuevo campo llamado "decodificación de la mirada" (gaze decoding), que intenta traducir esos movimientos oculares en las ricas y abiertas historias que ocurren dentro de nuestras cabezas.

Entra en escena un nuevo artículo de investigación que introduce una nueva y astuta forma de resolver este rompecabezas. Los autores, trabajando en la Universidad de Stony Brook y la Universidad de Adelaida, han construido un sistema llamado Gazette. En lugar de obligar a la computadora a elegir de una lista de opción múltiple, Gazette está diseñado para escribir una historia de forma libre sobre lo que una persona está buscando, utilizando el lenguaje natural tal como lo haría un humano. Piensa en esto como una actualización: pasar de una lista de verificación rígida a un escritor creativo que puede describir exactamente lo que ves.

El gran problema que enfrentaron los investigadores fue que los ojos de cada persona se mueven de forma un poco diferente, incluso cuando están buscando lo mismo. Si se le pide a diez personas que encuentren un "coche rojo", diez personas diferentes podrían mirar el coche de diez maneras ligeramente distintas. Algunos podrían mirar primero las ruedas, otros las ventanas. Si solo le muestras a una computadora los movimientos oculares de una persona, esta se confunde por todos esos hábitos personales. Es como intentar adivinar una canción escuchando a una persona tararearla desafinadamente; puedes oír la melodía, pero el ruido hace que sea difícil estar seguro.

Para solucionar esto, el equipo ideó un truco inteligente que involucra una estrategia de "pensar en voz alta". Se dieron cuenta de que, aunque los movimientos oculares de cada uno son únicos, la razón por la que se mueven es la misma. Así que utilizaron una IA poderosa (GPT-4) para observar los movimientos oculares de muchas personas diferentes que intentaban encontrar el mismo objeto. La IA actuó como un detective, ignorando las peculiaridades individuales y encontrando el patrón común: la "receta secreta" de cómo los humanos buscan esa cosa específica. La IA luego escribió una "transcripción de pensamiento en voz alta", que es básicamente una historia que explica la estrategia: "Primero, mira las formas grandes, luego haz zoom en las partes rojas".

Enseñaron a su nuevo modelo, Gazette, a leer estas historias generadas por IA junto con los movimientos oculares. Esto ayudó al modelo a aprender a separar el "objetivo" (lo que la persona está buscando) del "ruido" (la forma única de cada persona de mirar). Cuando lo probaron, Gazette fue mucho mejor adivinando el objetivo que los métodos anteriores. Por ejemplo, cuando se le pidió encontrar un coche específico en una imagen, Gazette no solo dijo "coche". Pudo decir: "El coche negro en la esquina superior derecha", y lo hizo con alta precisión, incluso cuando la tarea era difícil.

El artículo muestra que, al enseñar a la computadora a entender la estrategia detrás de los movimientos oculares, en lugar de solo los movimientos mismos, podemos decodificar las intenciones humanas con mucho más detalle. Si bien el sistema funciona mejor cuando las personas están de acuerdo en lo que están buscando (como encontrar un objeto específico), sugiere que nos estamos acercando a un futuro donde las computadoras podrán entender nuestros objetivos con solo observar hacia dónde miramos, abriendo puertas a mejores tecnologías de asistencia y a una comprensión más profunda de cómo interactuamos con el mundo.

Resumen Técnico: Gazette – Generación de Texto a partir de la Mirada (Gaze-to-Text)

Definición del Problema
El artículo aborda la limitación de los métodos de decodificación de la mirada existentes, que típicamente enmarcan la tarea como un problema de clasificación discriminativa sobre un conjunto fijo de categorías predefinidas (por ejemplo, identificar un objeto específico de un vocabulario limitado). Los autores argumentan que tales enfoques categóricos son inherentemente restrictivos, careciendo del detalle de grano fino y la expresividad abierta requerida para aplicaciones del mundo real como el comercio electrónico, el análisis educativo y las tecnologías de asistencia. En su lugar, el artículo propone un nuevo problema de aprendizaje: la Generación de Texto a partir de la Mirada (Gaze-to-Text Generation). El objetivo es decodificar las trayectorias de escaneo (scanpaths) de la mirada humana en descripciones de lenguaje natural de forma libre que capturen los matices ricos de los objetivos e intenciones humanas, que van desde etiquetas de objetos simples hasta expresiones de referencia complejas y ricas en contexto o preguntas.

Metodología: El Marco de Trabajo Gazette
Los autores presentan Gazette, el primer marco generativo para la decodificación de la mirada a texto, construido sobre Modelos de Lenguaje de Gran Escala Multimodales (MLLM).

Arquitectura: Gazette extiende el modelo base LLaVA-1.5-7B. Recibe una imagen de entrada $I$ y una trayectoria de escaneo de la mirada $S$ (codificada textualmente como una secuencia de fijaciones con coordenadas y duraciones) junto con una instrucción de lenguaje. El modelo genera una descripción en lenguaje natural $D$ del contexto cognitivo, que incluye:
- Tipo de Comportamiento Grueso: La categoría del comportamiento dirigido a un objetivo (ej. Búsqueda Visual con Presencia/Ausencia de Objetivo, Referencia de Objeto, Respuesta a Preguntas Visuales).
- Estímulo de Nivel Fino: El objetivo específico (ej. una categoría de objetivo, una expresión de referencia o una pregunta).
El Desafío de la Variabilidad Individual: Un desafío central identificado es que las señales de la mirada están confundidas por diferencias individuales. Para un mismo objetivo, diferentes participantes exhiben diferentes trayectorias de escaneo. El ajuste de instrucciones (instruction tuning) estándar sobre tripletas de imagen-trayectoria-objetivo suele fallar porque el modelo tiene dificultades para desenredar la señal impulsada por el objetivo del ruido específico del participante.
Generación de Transcripciones de "Pensar en Voz Alta" (Tarea Auxiliar): Para abordar el problema del desenredo, los autores proponen un nuevo objetivo de entrenamiento auxiliar llamado ThinkAloud.
- Concepto: Los autores aprovechan la visión teórica de que, si bien las trayectorias de escaneo individuales varían, la estrategia subyacente de asignación de atención dirigida por el objetivo permanece invariante entre los participantes que realizan la misma tarea en la misma imagen.
- Implementación: Utilizan GPT-4 para analizar las trayectorias de escaneo de múltiples participantes que comparten el mismo objetivo e imagen. GPT-4 sintetiza "transcripciones de pensar en voz alta" que describen los patrones espaciotemporales comunes y las estrategias de asignación de atención descendente (top-down), filtrando eficazmente las idiosincrasias individuales.
- Datos de Entrenamiento: Estas transcripciones sirven como pseudo-anotaciones para una tarea auxiliar donde el modelo aprende a generar la estrategia de asignación de atención dado una imagen y una sola trayectoria de escaneo. Las transcripciones incluyen tres "unidades de idea": (i) explicación de la asignación de atención descendente, (ii) ubicación del objetivo inferida (cuadro delimitador o bounding box), y (iii) longitud de la trayectoria de escaneo.
- Ajuste de Instrucciones: Gazette se ajusta mediante Adaptación de Bajo Rango (LoRA) utilizando una combinación de la tarea primaria GazeDec (decodificación del objetivo) y la tarea auxiliar ThinkAloud (generación de la explicación de la estrategia).

Contribuciones Clave

Formulación de la Tarea: La introducción de la decodificación de la mirada no restringida donde los objetivos se expresan en lenguaje natural de vocabulario abierto en lugar de categorías fijas.
Marco de Trabajo Gazette: El desarrollo del primer marco basado en MLLM generativo diseñado específicamente para decodificar la atención descendente (top-down).
Objetivo Auxiliar: La propuesta de la tarea de predicción de transcripción ThinkAloud. Esta estrategia aprovecha la invariancia compartida de las señales impulsadas por el objetivo entre múltiples observadores para ayudar al modelo a filtrar la variabilidad individual, mejorando significamente el rendimiento de la decodificación.

Resultados Experimentales
Los autores evaluaron Gazette en tres conjuntos de datos: COCO-Search18 (Búsqueda Visual), RefCOCO-Gaze (Referencia de Objeto) y AiR-D (Respuesta a Preguntas Visuales).

Tareas Generativas (Referencia de Objeto y VQA):
- Gazette superó significativamente a los modelos de referencia (incluyendo LLaVA-1.5 estándar y un modelo base de "última fijación") en métricas de solapamiento léxico (BLEU, METEOR, ROUGE, CIDEr).
- Bajo el paradigma de LLM-as-a-Judge (usando GPT-4 para evaluar fluidez, relevancia y corrección), Gazette alcanzó puntuaciones más altas que la variante entrenada sin la tarea ThinkAloud ("w/o ThinkAloud").
- Los resultados indican que la tarea ThinkAloud ayuda al modelo a aprender procesos de razonamiento complejos y estrategias de asignación de atención, lo que conduce a descripciones más precisas y conscientes del contexto.
Tareas Predictivas (Búsqueda Visual):
- En el conjunto de datos COCO-Search18, Gazette alcanzó un rendimiento de estado del arte o cercano al estado del arte.
- Para la búsqueda con Presencia de Objetivo (Target-Present), Gazette logró una precisión del 77.3%, igualando casi al estado del arte anterior (77.6% por Mondal et al.).
- Para la búsqueda con Ausencia de Objetivo (Target-Absent), Gazette superó significativamente a los métodos anteriores (44.3% de precisión frente al 38.7% de Mondal et al.).
- Los autores señalan que las mejoras en la búsqueda con Ausencia de Objetivo fueron más modestas, atribuyéndolo a un menor acuerdo entre observadores en estas tareas, lo que reduce la eficacia de la estrategia de extracción de patrones compartidos.

Significancia y Reivindicaciones
El artículo afirma que Gazette permite que la mirada sirva como una señal poderosa y no intrusiva para inferir los objetivos humanos con un detalle semántico de grano fino, yendo más allá de las limitaciones de las taxonomías fijas. Al lograr el desacoplamiento de la dinámica específica del objetivo del ruido individual mediante la estrategia ThinkAloud, el marco demuestra generalizabilidad a través de diversas tareas de atención descendente.

Los autores posicionan este trabajo como un paso hacia aplicaciones del mundo real donde comprender qué está buscando un usuario (por ejemplo, preferencias de estilo específicas en compras, enfoque conceptual en educación o intención de navegación en RA) es crítico. Reconocen limitaciones, específicamente que el método depende de la consistencia entre observadores (degradándose en tareas con bajo acuerdo) y que las transcripciones generadas por GPT-4 pueden heredar sesgos de los conocimientos previos de entrenamiento del LLM en lugar de la verdadera cognición del participante. Sin embargo, sostienen que el enfoque abre nuevas vías para utilizar los MLLM para comprender la atención humana y los estados mentales.

Más como este