Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos

Título: Aprovechamiento de la Mirada y el "Set-of-Mark" en Modelos de Lenguaje Grandes Visuales (VLLM) para la Anticipación de Interacciones Humano-Objeto en Videos Egocéntricos

1. El Problema

La capacidad de anticipar las interacciones entre humanos y objetos es fundamental para el desarrollo de sistemas de asistencia inteligente que puedan guiar a los usuarios en sus actividades diarias (por ejemplo, en cocinas o entornos industriales) y predecir sus intenciones a corto y largo plazo.

• Desafío principal: Predecir qué objeto interactuará un usuario a continuación basándose en videos de visión egocéntrica (grabados desde la perspectiva del usuario).
• Limitaciones actuales: Los enfoques existentes a menudo carecen de una capacidad suficiente de "anclaje visual" (visual grounding) para entender el contexto espacial y no aprovechan eficazmente las señales de intención del usuario, como la trayectoria de la mirada (gaze), antes de que ocurra la interacción. Además, el procesamiento de secuencias de video densas en modelos grandes es computacionalmente costoso.

2. Metodología Propuesta

Los autores proponen un marco de trabajo novedoso que formula la tarea como una Respuesta a Preguntas Visuales (VQA). El sistema toma un video de entrada y debe seleccionar el objeto correcto de una lista de candidatos. La arquitectura se compone de cuatro módulos clave:

• Módulo Set-of-Mark (SoM):

  • Utiliza la técnica de prompting "Set-of-Mark" para mejorar el anclaje visual.
  • Procesa el último fotograma del video utilizando Semantic-SAM para generar máscaras semánticas sobre las regiones de la escena.
  • Estas máscaras ayudan al modelo a entender la estructura espacial y a localizar objetos específicos sin necesidad de etiquetas alfanuméricas, ya que el modelo elige entre una lista de candidatos proporcionada en el prompt.

• Módulo de Mirada (Gaze Module):

  • Utiliza la trayectoria de las fijaciones oculares (gaze) del usuario como un indicador de intención.
  • Se proyecta una ventana deslizante de las $W=15$ fijaciones 2D más recientes sobre los fotogramas.
  • Esta trayectoria se renderiza visualmente como círculos conectados que cambian de color (de rojo para la mirada más reciente a azul para la más antigua), proporcionando una pista visual clara sobre a qué objetos está prestando atención el usuario.

• Módulo de Muestreo (Sampling Module):

  • Aborda la complejidad computacional de procesar videos largos en VLLMs (que tienen complejidad $O(N^2)$).
  • Introduce una estrategia de muestreo exponencial inverso. En lugar de tomar fotogramas uniformemente, este método sesga la selección hacia los fotogramas que preceden inmediatamente a la interacción.
  • Utiliza un parámetro $\lambda$ para controlar la intensidad de este sesgo temporal, priorizando la información más relevante justo antes del evento.

• Módulo VLLM:

  • Recibe los fotogramas muestreados (enriquecidos con máscaras SoM y la trayectoria de mirada), junto con un prompt de texto que incluye la pregunta, las opciones de respuesta y las instrucciones sobre cómo interpretar las pistas visuales.
  • El modelo es agnóstico, lo que significa que puede funcionar con cualquier VLLM de última generación.

3. Contribuciones Clave

1. Nueva Estrategia de Integración Multimodal: Propone combinar información espacial (mediante máscaras semánticas SoM) con señales de intención (trayectorias de mirada) para mejorar la anticipación de interacciones.
2. Muestreo Temporal Innovador: Presenta una estrategia de muestreo de fotogramas basada en una distribución exponencial inversa, optimizando la información temporal para capturar la dinámica previa a la interacción.
3. Agnosticismo del Modelo: La metodología no depende de un VLLM específico, demostrando mejoras consistentes en diferentes arquitecturas.
4. Código Abierto: Los autores liberan el código fuente para fomentar futuras investigaciones en este dominio.

4. Resultados Experimentales

• Dataset: Se evaluó en el subconjunto HD-EPIC Gaze Interaction Anticipation, que contiene 1,000 preguntas de opción múltiple con clips de video de 10 segundos.
• Modelos Utilizados: Se probaron LLaVA-OneVision 7B y Gemini 2.0 Flash.
• Rendimiento:
  • La propuesta alcanzó una precisión del 27.2% con LLaVA-OneVision y 27.5% con Gemini 2.0 Flash.
  • Esto supera a los métodos más avanzados (State-of-the-Art) anteriores, incluido el baseline de HD-EPIC (Gemini 1.5 Pro, 21.0%) y el ganador del desafío Qwen2.5VL-Ricoh (22.0%), logrando una mejora de más del 5%.
  • Se observaron mejoras significativas (+6.8% y +6.5%) sobre las versiones estándar de los modelos sin las técnicas propuestas.
• Estudio de Ablación:
  • Confirmó que la combinación de SoM + Gaze es superior a usar cualquiera de ellos por separado.
  • Identificó que el tamaño de muestra óptimo es 15 fotogramas con un parámetro de sesgo temporal $\lambda = 1/10$.
  • Demostró que el muestreo uniforme ($\lambda=0$) es menos efectivo que el muestreo sesgado hacia el final del clip.

5. Significado e Impacto

Este trabajo representa un avance significativo en la comprensión de videos egocéntricos y la anticipación de acciones.

• Validación de la Mirada: Demuestra que integrar explícitamente la trayectoria de la mirada como una pista visual (no solo como datos de entrada crudos) es crucial para que los modelos de lenguaje visual comprendan la intención humana.
• Eficiencia y Precisión: La estrategia de muestreo inverso permite capturar la dinámica temporal crítica sin incurrir en costos computacionales excesivos, resolviendo un cuello de botella común en VLLMs.
• Aplicabilidad: El enfoque tiene un alto potencial para aplicaciones en tiempo real, como sistemas de seguridad industrial (alertar sobre interacciones peligrosas) o asistentes personales inteligentes en el hogar, donde predecir la siguiente acción es vital para la seguridad y la usabilidad.

En resumen, el artículo establece un nuevo estado del arte en la anticipación de interacciones humano-objeto, demostrando que la fusión de anclaje espacial avanzado, señales de atención visual y una selección temporal inteligente de datos es la clave para desbloquear el verdadero potencial de los VLLMs en entornos egocéntricos.