Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering

Resumen Técnico: EGOPOINTVQA y HINT

1. El Problema

La próxima generación de asistentes de IA integrados en dispositivos portátiles (gafas inteligentes, realidad aumentada) debe ser capaz de entender la atención del usuario en su entorno. Una forma natural de comunicación humana es el uso de gestos de apuntado combinados con expresiones deícticas (pronombres como "esto", "ese", "estos").

Sin embargo, los Modelos de Lenguaje Multimodales (MLLM) actuales tienen dificultades significativas para:

• Interpretar referencias espaciales ambiguas basadas únicamente en gestos.
• Vincular pronombres deícticos en el texto con los objetos específicos señalados en un video egocéntrico.
• Razonar sobre la intención referencial del usuario, ya que los conjuntos de datos existentes carecen de gestos ricos y las arquitecturas no están diseñadas para codificar explícitamente la información de la mano.

Los modelos de vanguardia (como GPT-4o o Qwen3-VL) fallan sistemáticamente en estas tareas, a menudo ignorando el gesto y basándose en sesgos de saliencia visual o en el contexto general de la escena.

2. Metodología

Para abordar este desafío, los autores proponen dos contribuciones principales: un nuevo conjunto de datos y una nueva arquitectura de modelo.

A. EGOPOINTVQA (Conjunto de Datos y Benchmark)
Es el primer conjunto de datos diseñado específicamente para la respuesta a preguntas (VQA) basada en gestos de apuntado en videos egocéntricos.

• Composición: Contiene 4,000 videos sintéticos (generados en el simulador AI2-THOR) y 400 videos del mundo real (grabados con gafas Meta Ray-Ban).
• Tareas: El dataset se divide en seis categorías de razonamiento que requieren resolver referencias deícticas:
  1. Referencia: Identificar el objeto señalado.
  2. Conteo: Determinar cuántos objetos de ese tipo hay.
  3. Espacial: Ubicar el objeto relativo a otros.
  4. Temporal: Identificar el orden de múltiples gestos de apuntado.
  5. Atributo: Preguntar sobre propiedades (color, forma).
  6. Retroalimentación: Preguntar sobre la función del objeto.
• Generación: Utiliza un pipeline automatizado que extrae información densa de la escena, genera preguntas de opción múltiple y luego las reescribe usando pronombres deícticos ("¿Qué es esto?") para obligar al modelo a usar el gesto.

B. HINT (Hand Intent Tokens)
Es una arquitectura propuesta para mejorar la capacidad de los MLLM de interpretar gestos.

• Concepto: En lugar de tratar el gesto como una simple parte de la imagen, HINT extrae la geometría de la mano y la inyecta como tokens explícitos en la secuencia de entrada del modelo.
• Proceso:
  1. Extracción de Keypoints 3D: Se utiliza un modelo de reconstrucción de manos (WiLoR) para obtener las coordenadas 3D de 21 puntos clave de la mano en cada cuadro del video.
  2. Adaptador de Keypoints: Una capa ligera (Keypoint Adapter) proyecta estos puntos 3D en un único "Token de Intención de Mano" ($H_t$) que representa la postura completa de la mano.
  3. Interleaving (Entrelazado): Estos tokens de intención se insertan en la secuencia de entrada del MLLM, intercalados con los tokens visuales ($V_t$) y el texto.
• Ventaja: Esto proporciona al modelo un contexto espacial y temporal explícito sobre dónde y cuándo se está señalando, permitiendo que el modelo asocie el gesto con la pregunta de manera precisa.

3. Contribuciones Clave

1. EGOPOINTVQA: Un benchmark riguroso que revela la incapacidad de los modelos actuales para manejar referencias deícticas en video, estableciendo un nuevo estándar para la comprensión de gestos egocéntricos.
2. HINT: Un método simple pero efectivo que codifica la intención de la mano mediante tokens derivados de keypoints 3D, mejorando significativamente la capacidad de "anclaje" (grounding) del modelo.
3. Análisis Exhaustivo: Demostración de que el entrenamiento con tokens de gesto mejora el rendimiento en todas las tareas, superando a modelos mucho más grandes que no tienen esta capacidad específica.

4. Resultados

Los experimentos se realizaron en el conjunto de prueba de EGOPOINTVQA (300 videos reales, 672 pares pregunta-respuesta).

• Rendimiento de Línea Base: Los modelos más avanzados (GPT-4o, Qwen3-VL-32B, InternVL3-78B) obtuvieron puntuaciones bajas, promediando menos del 70% de precisión. El modelo GPT-4o falló notablemente en tareas temporales y de referencia.
• Impacto de HINT:
  • La implementación de HINT sobre la base InternVL3-14B alcanzó una precisión promedio de 68.1% sobre las 6 tareas.
  • Esto supera al estado del arte (InternVL3-14B sin HINT) en un 6.6% y supera a todos los demás modelos de código abierto y propietarios evaluados.
  • La mejora fue más drástica en la tarea de Referencia (identificar el objeto), donde HINT-14B mejoró la precisión en más de 10 puntos porcentuales (de 63.1% a 73.8%).
• Eficiencia: El método añade muy poco costo computacional (los tokens de mano representan menos del 1% de los tokens totales) y aumenta el tiempo de inferencia en solo 0.26 segundos.
• Validación: Se demostró que sin la mano visible en el video, el rendimiento cae drásticamente, confirmando que el gesto es esencial. Además, el ajuste fino con HINT no degradó las capacidades generales de comprensión de video del modelo en otros benchmarks (Video-MME, MVBench).

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de asistentes de IA verdaderamente interactivos en dispositivos portátiles.

• Puente entre Gestos e IA: Demuestra que la IA puede aprender a interpretar la comunicación no verbal natural (señalar) si se le proporcionan las representaciones adecuadas (tokens de intención).
• Más allá del "Grounding" Visual: Muestra que el simple análisis visual de la imagen no es suficiente; la geometría explícita de la interacción humana (la mano) debe ser una señal de entrada de primera clase para los modelos multimodales.
• Recurso Abierto: Al liberar el dataset, el código y el modelo, los autores facilitan la investigación futura en la interacción humano-robot y la realidad aumentada, permitiendo que la comunidad aborde el problema de la ambigüedad referencial en entornos dinámicos.

En resumen, el artículo establece que para que los asistentes de IA entiendan lo que el usuario señala, no basta con "ver" el video; deben "entender" la intención geométrica de la mano, y HINT es la solución propuesta para lograrlo.