Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

Resumen Técnico: Fusión de Trayectoria de la Mano para la Localización de Consultas de Lenguaje Natural Egocéntricas

Definición del Problema
La localización de consultas de lenguaje natural (NLQ, por sus siglas en inglés) egocéntricas busca localizar el intervalo temporal $[t_s, t_e]$ dentro de un video de primera persona de larga duración que corresponda a una consulta de texto libre. Aunque los sistemas de vanguardia (por ejemplo, GroundNLQ) fusionan eficazmente la apariencia del video con la semántica del texto utilizando grandes codificadores preentrenados, a menudo ignoran el movimiento de las manos. Este es un descuido significativo dado que aproximadamente el 41% de las consultas en el conjunto de datos Ego4D NLQ se responden durante momentos de manipulación de mano-objeto o sus resultados inmediatos. Las modalidades auxiliares existentes, como la mirada o la detección de objetos, han sido exploradas, pero la trayectoria de la mano como una modalidad distinta para la localización de NLQ permanece inexplorada a pesar de su centralidad en la actividad de primera persona.

Metodología
El enfoque propuesto introduce un Codificador de Trayectoria de la Mano y un módulo de Fusión de Trayectoria para integrar datos dispersos de esqueletos de la mano con representaciones de video-texto. La arquitectura consta de cinco componentes principales:

1. Codificadores:

   • Codificador de Video: Utiliza arquitecturas preentrenadas y congeladas (InternVideo y EgoVLP) para embeber clips egocéntricos en tokens de video ($E_v$).
   • Codificador de Texto: Utiliza un modelo CLIP congelado para embeber consultas de lenguaje natural en tokens de texto ($E_t$).
   • Codificador de Trayectoria: Un módulo entrenable que procesa una secuencia temporal de esqueletos de la mano (extraídos mediante MediaPipe) en características cinemáticas densas alineadas con el video ($E_h$). Emplea un transformador espacio-temporal factorizado en dos etapas:
     • Agregación Espacial: Utiliza atención cruzada para agrupar 21 hitos anatómicos por mano en un único descriptor a nivel de fotograma, enmascarando explícitamente los hitos no detectados.
     • Modelado Temporal: Aplica autoatención para modelar la evolución de estos descriptores a través de los fotogramas, capturando la dinámica de manipulación (aproximación, contacto, liberación). Los fotogramas no detectados se enmascaran para evitar la fuga de información.

2. Fusión de Trayectoria:

   • Este módulo integra $E_h$ y $E_t$ en los tokens de video $E_v$ utilizando una estrategia de atención cruzada con compuerta adaptativa.
   • Dos mecanismos de atención cruzada independientes permiten que los tokens de video consulten las corrientes de trayectoria y de texto, produciendo representaciones enriquecidas ($E_{vh}$ y $E_{vt}$).
   • Compuerta Adaptativa (Adaptive Gating): En lugar de una suma uniforme, las contribuciones de las ramas de trayectoria y texto se escalan mediante compuertas escalares aprendidas ($g_h$ y $g_t$). Estas compuertas se calculan mediante MLPs ligeros aplicados a los promedios temporales de las respectivas salidas de atención cruzada. Esto permite que la red atenúe selectivamente la señal de la trayectoria cuando la detección de manos es dispersa o irrelevante.
   • Un bloque de refinamiento de autoatención procesa la representación fusionada para obtener la salida multimodal final ($E_o$).

3. Predicción:

   • Una cabeza de Predicción de Segmento Temporal predice el intervalo de respuesta $[t_s, t_e]$ a partir de la representación fusionada $E_o$.

Contribuciones Clave

• Nueva Modalidad: Este trabajo es el primero en estudiar la trayectoria de la mano como una modalidad auxiliar para la localización de NLQ egocéntrica, abordando un vacío donde aproximadamente el 41% de las consultas dependen de la actividad manual.
• Codificación de Trayectoria Robusta: El diseño gestiona explícitamente la dispersión de la detección de manos (las manos son visibles en solo ~41% de los fotogramas de Ego4D en promedio) mediante mecanismos de enmascaramiento en ambas etapas del transformador espacial y temporal.
• Fusión Adaptativa: La introducción de mecanismos de compuerta aprendidos y dependientes del contenido permite que la red pondere dinámicamente la señal de la trayectoria de la mano frente a las características de video y texto, evitando que el ruido de los fotogramas no detectados degrade el rendimiento.

Resultados Experimentales
El sistema fue evaluado en la división de validación de Ego4D NLQ v2 (4,552 pares de consulta-clip) utilizando la métrica $R_m@IoU=n$.

• Ganancias Específicas por Categoría: Las mejoras más significativas se observaron en categorías directamente relacionadas con la manipulación:
  • Interacción Mano-Objeto (HOI): Mejora de +2.54 en $R1@IoU=0.3$.
  • Cantidad/Estado: Mejora de +4.32 en $R1@IoU=0.3$.
  • Dentro de HOI, las ganancias se concentraron en plantillas de acción (por ejemplo, "¿Qué puse en X?"), confirmando que las pistas de trayectoria ayudan a localizar el momento específico de la acción.
• Rendimiento General: El modelo propuesto logró una ganancia de +0.77 en el $R1@IoU=0.3$ general y una ganancia de +1.39 en $R1@IoU=0.5$. La mayor ganancia en el umbral de IoU más estricto sugiere que la cinemática de la mano no solo ayuda a recuperar la región temporal correcta, sino que también agudiza la precisión de la localización.
• Eficiencia: El Codificador de Trayectoria añade solo 195K parámetros (0.6% del modelo completo) y se entrena desde cero manteniendo congeladas las pesadas arquitecturas de video y texto.

Significado y Limitaciones
El artículo afirma que la cinemática de la mano proporciona una señal ligera pero informativa que complementa la apariencia visual, particularmente para consultas que involucran la manipulación de objetos. El diseño demuestra que las modalidades auxiliares pueden integrarse eficazmente sin modificar los modelos preentrenados.

Los autores reconocen modestamente una limitación principal: la dispersión de la detección. Dado que las manos son visibles en solo el 41% de los fotogramas, la contribución de la rama de trayectoria está inherentemente limitada. El artículo postula que futuras mejoras en la detección de manos egocéntricas se traducirían directamente en un fortalecimiento del rendimiento de la localización. Además, el módulo de Fusión de Trayectoria se describe como agnóstico a la modalidad, lo que sugiere que podría extenderse naturalmente a otras señales como la mirada o escenarios de entrenamiento a mayor escala.