Resumen Técnico: VEGAS – Evaluación de Subtitulado de Video Alineado con el Humano mediante la Mirada

1. Planteamiento del Problema

Los modelos de lenguaje visual (VLM) sobresalen en la generación de subtítulos de video semánticamente precisos, pero suelen depender de anotaciones de origen colaborativo que agregan diversas interpretaciones humanas. En consecuencia, estos modelos suelen producir descripciones "globalmente correctas" que no logran capturar los patrones de atención específicos de un espectador individual. En aplicaciones como la recuperación indexada por subtítulos, un subtítulo genérico que enfatiza el contenido del fondo no atendido puede dificultar que un usuario recupere un video basado en el objeto o la acción específica a la que prestó atención.

El problema central abordado es el desalineamiento entre los subtítulos generados y la atención visual individual. Si bien la mirada humana proporciona un proxy medible para la atención visual, los trabajos previos han utilizado la mirada principalmente como una señal de supervisión durante el entrenamiento. Este artículo investiga si la mirada puede aprovecharse en el tiempo de prueba para seleccionar subtítulos personalizados que reflejen el enfoque de un espectador específico sin reentrenar el modelo subyacente.

2. Metodología

2.1 Métrica VEGAS (Video caption Evaluation via GAze Score)

Los autores proponen VEGAS, una métrica de información teórica, transmodal y libre de entrenamiento, diseñada para cuantificar qué tan bien se alinea un subtítulo candidato con la mirada del espectador.

• Formulación: El objetivo es maximizar la información mutua entre un subtítulo $t$ y una señal de mirada $G$. Dado que las distribidades marginales verdaderas $P(t)$ y $P(G)$ son intratables, VEGAS aproxima esto utilizando las verosimilitudes condicionales de un VLM preentrenado y congelado.
• Intuición Central: Un subtítulo alineado con la mirada debe ser altamente predecible únicamente a partir de las regiones atendidas ($G$), de modo que las regiones no atendidas ($\bar{G}$) contribuyan con una información adicional mínima.
• Definición: VEGAS se define como la información mutua condicional puntual entre los tokens del subtítulo $t$ y las regiones no atendidas $\bar{G}$, condicionada a las regiones atendidas $G$:
  $$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$$
  Donde $V$ es el video completo y $G$ es el video atendido por la mirada.
• Interpretación: Una puntuación VEGAS más baja es mejor. Indica que el subtítulo está bien explicado por las regiones observadas por sí solas. Una puntuación alta implica que el subtítulo depende fuertemente de contenido visual fuera del foco del espectador.
• Descomposición a nivel de Token: La métrica se descompone de forma autorregresiva sobre los tokens, lo que permite identificar conceptos semánticos específicos que son respaldados o no por la mirada del espectador.

2.2 Muestreo de Rechazo Condicionado por la Mirada

VEGAS se utiliza para seleccionar subtítulos de un conjunto de candidatos generados por VLM existentes sin reentrenar el modelo:

1. Generación de Candidatos: Múltiples VLM generan $N$ subtítulos candidatos para un video $V$ utilizando diversas temperaturas de decodificación.
2. Calificación: Para cada candidato $c_i$, se calcula la puntuación VEGAS utilizando la señal de mirada $G$ del espectador.
3. Selección: Se selecciona el subtítulo con la puntuación VEGAS más baja:
   $$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$$
   Este proceso filtra eficazmente los subtítulos que describen contenido no atendido, favoreciendo aquellos que se alinean con el enfoque atencional específico del espectador.

3. Curación del Conjunto de Datos

Para evaluar el marco de trabajo, los autores curaron un conjunto de datos multimodal que empareja la mirada humana sincronizada, el contenido visual y subtítulos escritos por humanos de forma libre en dos dominios:

1. Aria Everyday Activities (AEA): 332 clips de video egocéntricos derivados de datos de gafas inteligentes Project Aria. Estos clips capturan tareas del mundo real dinámicas (por ejemplo, cocinar, computar) donde la mirada ayuda a resolver ambigüedades concretas de objetos.
2. SlideVQA: 300 diapositivas instructivas de 30 presentaciones. Los participantes visualizaron las diapositivas mediante seguimiento ocular por webcam y proporcionaron subtítulos. Este dominio pone a prueba el condicionamiento por mirada en medios visuales densos donde se requiere abstracción conceptual.

El conjunto de datos incluye 2,981 anotaciones humanas de alta calidad, capturando la diversidad de las variaciones semánticas impulsadas por la atención.

4. Resultados Clave

4.1 Alineación Semántica

• AEA (Egocéntrico): Los subtítulos seleccionados por VEGAS mostraron una mejora estadísticamente significativa en la alineación semántica con las anotaciones humanas en comparación con los subtítulos de VLM ingenuos. La similitud media de SBERT aumentó en +0.0856 (+13.53%) ($p < 0.001$).
• SlideVQA: La mejora fue menor (+0.0256) y no fue estadísticamente significativa ($p = 0.0952$). Los autores atribuyen esto a la naturaleza de las diapositivas, donde existen múltiples resúmenes conceptuales válidos para un mismo visual, lo que hace que la mirada sea un selector más débil para interpretaciones abstractas en comparación con objetos concretos.

4.2 Recuperación de Subtítulo-a-Video

En el conjunto de datos AEA, VEGAS se utilizó para construir un índice para la recuperación de subtítulo-a-video:

• Rendimiento: Los índices seleccionados por VEGAS mejoraron las métricas de recuperación sobre los subtítulos aleatorios de VLM.
  • Mejora en Precisión/Recall/mAP@1: +1.14%.
  • Mejora en Recall@5: +4.16%.
  • Mejora en mAP@10: +2.46%.
• Cierre de Brecha: VEGAS recuperó aproximadamente el 15% de la brecha entre la selección aleatoria de la máquina y la recuperación humano-humano en el Rango 1, pero recuperó más del 40% de la brecha en Recall@5 y Recall@10. Esto sugiere que VEGAS efectivamente mueve el video correcto hacia los primeros candidatos, incluso si no siempre alcanza el primer rango.

4.3 Ablación y Diagnósticos

• Corrupción de la Mirada: Reemplazar la mirada real con una mirada aleatoria de otros clips aumentó significamente la puntuación VEGAS (empeorando la alineación), confirmando la sensibilidad de la métrica a las señales de mirada correctas.
• Sesgo de Longitud: El análisis de correlación mostró que VEGAS no es impulsado por la longitud del subtítulo o su genericidad; las mejoras no se explican por la selección de subtítulos más cortos.
• Análisis a Nivel de Token: Los ejemplos cualitativos demostraron que VEGAS penaliza correctamente los tokens que describen regiones no atendidas (por ejemplo, "jardín" cuando el usuario miraba una "lavadora") y favorece los tokens alineados con los puntos de fijación.

5. Significado y Reivindicaciones

El artículo afirma que VEGAS demuestra la utilidad práctica de incorporar la atención del espectador durante la inferencia. Sus principales contribuciones son:

1. Una Métrica Libre de Entrenamiento: Proporciona un método para evaluar y seleccionar subtítulos personalizados sin necesidad de realizar ajustes finos (fine-tuning) o reentrenar grandes modelos de lenguaje visual.
2. Condicionamiento en Tiempo de Prueba: Desplaza el paradigma de usar la mirada como una señal de supervisión en el entrenamiento hacia una señal de condicionamiento en el tiempo de prueba para la personalización.
3. Especificidad de Dominio: Los resultados resaltan que el subtitulado condicionado por la mirada es más efectivo cuando la atención visual ayuda a desambiguar referentes concretos (por ejemplo, actividades egocéntricas) pero es menos diagnóstico cuando el estímulo soporta muchos resúmenes conceptuales válidos (por ejemplo, diapositivas instructivas).
4. Mejora de la Recuperación: Al alinear los subtítulos con la atención individual, VEGAS mejora la indexación semántica de los videos, haciendo que sean más recuperables basándose en lo que un usuario específico realmente miró.

Los autores mantienen la modestia, señalando que VEGAS hereda las limitaciones de los VLM subyacentes (por ejemplo, alucinaciones) y que la mirada indica dónde mira un espectador pero no necesariamente cómo interpreta relaciones visuales complejas. Se sugiere como trabajo futuro explorar proxies de atención implícitos (como modelos de saliencia) y destilar VEGAS en objetivos de entrenamiento.