Resumen Técnico: TextGaze

Planteamiento del Problema

La estimación del objetivo de la mirada busca inferir la posición de la mirada de una persona dentro de una escena o determinar si el objetivo de la mirada se encuentra dentro del cuadro de la imagen. El artículo identifica dos limitaciones principales en los enfoques existentes:

1. Métodos de múltiples ramas: Estas arquitecturas incorporan claves auxiliares (por ejemplo, profundidad, pose, características de la cabeza) a través de ramas separadas. Aunque enriquecen las representaciones visuales, introducen una carga de anotación significativa, ralentizan la convergencia debido a la complejidad estructural y dificultan la transferencia de dominio. Además, suelen funcionar como filtros geométricos que no pueden razonar sobre objetivos de mirada válidos, lo que conduce a una "subespecificación semántica".
2. Métodos simplificados/de ajuste de prompts: Enfoques recientes intentan simplificar las arquitecturas utilizando prompts posicionales con modelos fundacionales. Sin embargo, estos métodos suelen sufrir de "desenfoque semántico", donde el modelo depende de la saliencia visual de bajo nivel (proximidad espacial, saliencia visual) en lugar de la verdadera intención de la mirada, lo que resulta en un desalineamiento entre la atención predicha y los objetivos de mirada reales.

El desafío central es equilibrar la necesidad de guía semántica con la simplicidad arquitectónica, yendo más allá de la regresión puramente geométrica hacia el razonamiento a nivel de intención sin reintroducir estructuras complejas de múltiples ramas.

Metodología: TextGaze

Los autores proponen TextGaze, una arquitectura unificada transmodal que aprovecha un Modelo de Lenguaje-Visión de Gran Escala (LVLM) como guía semántica escalable. El marco desplaza la estimación de la mirada de una regresión geométrica directa a un proceso de reconocimiento de intención a través de una capa semántica.

1. Descripción General de la Arquitectura

El modelo consta de tres componentes principales:

• Módulo de Claves Escénicas Textuales basado en LVLM: Un LVLM congelado (específicamente Qwen2.5-VL-7B-Instruct en los experimentos) es instado mediante prompts para generar descripciones textuales estructuradas de la apariencia, el comportamiento y la orientación de la mirada gruesa del sujeto. Estas salidas de lenguaje natural son codificadas por un codificador de texto BERT congelado en embeddings densos ($S_t$). Este módulo proporciona priors semánticos de alto nivel (objetos, acciones) sin requerir la localización explícita del objetivo de la mirada por parte del LVLM, lo cual puede ser poco fiable para objetivos fuera de cuadro.
• Módulo de Procesamiento de Secuencia de Tokens de Características:
  • Flujo Visual: Un codificador DINOv2 congelado extrae características de la escena de grano fino ($F_v$). Para mejorar la sensibilidad hacia el objetivo, se añade un embedding de token de cabeza aprendible mediante modulación enmascarada basada en el cuadro delimitador de la cabeza.
  • Fusión: Las secuencias de características textuales y visuales se concatenan. Se antepone un token aprendible ($z_{in/out}$) para la tarea de clasificación de dentro/fuera de cuadro.
• Módulo de Fusión Transmodal y Predicción:
  • Transformer de Fusión: Un transformer apilado de tres capas con post-normalización integra los tokens visuales y textuales. Emplea Atención de Múltiple Cabeza (MHSA) para permitir una interacción sin restricciones entre las modalidades.
  • Supervisión Textual Jerárquica: Para evitar la degradación de la semántica textual relevante para la tarea durante la fusión profunda, los autores introducen un mecanismo de supervisión de consistencia de texto por capa. Esto impone un alineamiento semántico a través de todas las capas del transformer proyectando los tokens de texto intermedios de nuevo a las características del codificador de texto original y minimizando el Error Cuadrático Medio (MSE).
  • Cabezales de Predicción: Un decodificador ligero produce un mapa de calor de la mirada (supervisado por una pérdida de BCE con objetivos gaussianos) y una probabilidad escalar para el estado de dentro/fuera de cuadro (supervisado por entropía cruzada binaria).

2. Objetivo de Entrenamiento

La función de pérdida general combina la pérdida de mapa de calor ($L_{heat}$), la pérdida de clasificación de dentro/fuera ($L_{in/out}$) y la pérdida de supervisión textual jerárquica ($L_{text}$):
$$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$$

Contribuciones Clave

1. Claves Escénicas Textuales: El artículo introduce la integración de claves escénicas textuales en la estimación del objetivo de la mirada para mitigar el desenfoque semántico. Al utilizar LVLMs para generar información semántica auxiliar (apariencia, acción, intención), el modelo obtiene priors de alto nivel sin la complejidad de los diseños de múltiples ramas.
2. Benchmarks Mejorados: Los autores fortalecen los benchmarks GazeFollow y VideoAttentionTarget integrando campos de atención escena-objetivo-persona orientados a LVLM con prompts, generando claves contextuales robustas que mejoran la precisión de la estimación de la mirada asistida por texto.
3. Marco de Doble Flujo Unificado: Se diseña un novedoso marco de fusión transmodal que combina embeddings textuales con representaciones visuales de grano fino. Este enfoque imita la atención top-down humana, mejorando el razonamiento espacial y la adaptabilidad de la escena mientras mantiene un flujo de trabajo simplificado.

Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos principales: GazeFollow, VideoAttentionTarget, ChildPlay y GOO-Real.

• Rendimiento de Vanguardia (SOTA): En GazeFollow, TextGaze (usando DINOv2 ViT-L) logró resultados competitivos, obteniendo el error L2 promedio más bajo (0.099) y igualando el mejor L2 mínimo (0.043), manteniendo un AUC alto (0.956). En VideoAttentionTarget, superó los enfoques existentes en métricas de AUC, error L2 y AP para la predicción de dentro/fuera de cuadro.
• Generalización entre Conjuntos de Datos: Sin ajuste fino ni modificación de prompts, TextGaze demostró una generalización robusta:
  • En GOO-Real (escenarios de compra en el mundo real), alcanzó un rendimiento de vanguardia tanto en métricas de AUC como de L2.
  • En ChildPlay (mirada de niños), superó a todos los baselines en la métrica AP para la clasificación de dentro/fuera de cuadro, destacando la efectividad de las claves derivadas de LVLM para la detección de presencia.
• Estudios de Ablación: Los experimentos confirmaron que la estrategia de fusión basada en transformer supera a la fusión aditiva y de atención cruzada. Además, la activación simultánea de la supervisión de texto jerárquica, las conexiones residuales visuales y los embeddings posicionales específicos produjo un rendimiento óptimo, validando la naturaleza complementaria de estos componentes.

Significado y Reivindicaciones

El artículo afirma que TextGaze proporciona una alternativa simplificada a los diseños tradicionales de múltiples ramas. Al aprovechar los LVLMs como guía auxiliar accesible, el método equilibra con éxito la compensación entre los altos costos de anotación de los sistemas de múltiples ramas y las limitaciones semánticas de los modelos visuales simplificados.

Los autores enfatizan que el seguimiento de la mirada es inherentemente un problema de razonamiento a nivel de intención en lugar de una tarea de regresión puramente geométrica. TextGaze aborda esto cambiando el paradigma de "píxeles a coordenadas" a "píxeles a intención semántica a objetivo de la mirada". Los resultados validan que los LVLMs pueden conectar efectivamente la visión con las intenciones de alto nivel, ofreciendo una solución escalable para la estimación de la mirada en escenas complejas sin la necesidad de ramas redundantes o extensas anotaciones específicas de dominio.