Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

Resumen Técnico: Reconocimiento de Acciones Cross-Modal en Video Egocéntrico Utilizando Mamba

Planteamiento del Problema
El reconocimiento de acciones egocéntricas presenta desafíos únicos distintos a los escenarios de cámara fija, incluyendo movimiento errático de la cámara, oclusión frecuente de las manos y la dificultad de mantener representaciones visuales consistentes a lo largo del tiempo. Si bien las arquitecturas basadas en Transformers son adecuadas para construir fuertes representaciones espacio-temporales y manejar secuencias largas, su mecanismo de auto-atención escala cuadráticamente con la longitud de la secuencia, limitando su viabilidad para aplicaciones de video en línea. Además, aunque los datos de movimiento esquelético pueden mitigar problemas de oclusión y proporcionar señales de movimiento limpias, los modelos basados en Mamba existentes aún no han integrado información esquelética con flujos RGB dentro de un marco unificado.

Metodología
Los autores proponen una arquitectura cross-modal construida sobre Modelos de Espacio de Estados (SSM), aprovechando específicamente el modelo Mamba por su complejidad temporal lineal. La arquitectura comprende tres componentes principales:

1. Flujo de Video: Un módulo VideoMamba extrae incrustaciones visuales de cuadros de video RGB.
2. Flujo Esquelético: Un codificador dedicado, construido sobre una pila de bloques Mamba, procesa datos temporales del esqueleto de la mano.
3. Módulo de Fusión: Este componente integra las dos modalidades en una representación unificada para la clasificación.

Una innovación metodológica central es el diseño de cuatro estrategias distintas para la Mezcla de Tokens CLS. En los modelos Mamba y Transformer, el token de Clase (CLS) actúa como un sumidero de información, concentrando información contextual para la clasificación final. Los autores argumentan que descartar los tokens CLS preentrenados de los codificadores unimodales desperdicia representaciones aprendidas. En su lugar, proponen inicializar un nuevo token "CLS Mezclado" utilizando los tokens CLS unimodales preentrenados mediante las siguientes estrategias:

• Ingenua: Descarta ambos tokens CLS preentrenados e inicializa un nuevo token entrenable desde cero.
• Promedio: Inicializa el token CLS Mezclado como el promedio elemento a elemento de los tokens CLS de video y esqueleto.
• Ponderada: Calcula una combinación lineal de los dos tokens utilizando un parámetro escalar entrenable $\alpha$ (derivado mediante una función sigmoide): $CLS_{mix} = \alpha CLS_{video} + (1-\alpha) CLS_{esqueleto}$.
• Basada en Contexto: Calcula dinámicamente el parámetro de ponderación $\alpha$ utilizando un bloque Mamba que procesa las secuencias de tokens no CLS concatenadas de ambas modalidades, permitiendo que el peso de fusión se adapte según el contenido de entrada.

Configuración Experimental
La arquitectura propuesta y las estrategias de fusión se evaluaron en el conjunto de datos H2O, un conjunto de datos de video egocéntrico que proporciona anotaciones sincronizadas del esqueleto de la mano y etiquetas de acción. Los experimentos utilizaron dos configuraciones de modelo (Tiny y Small) con dimensiones de incrustación y profundidades variables (24 bloques Mamba). Los codificadores VideoMamba se inicializaron con puntos de control preentrenados en el conjunto de datos Something-Something V2, mientras que el codificador esquelético se entrenó directamente en H2O.

Resultados Clave
Los resultados experimentales en el conjunto de datos H2O demuestran que integrar datos esqueléticos mejora significativamente el rendimiento sobre las líneas base de solo video, particularmente cuando ambas modalidades proporcionan señales informativas.

• Ganancias de Rendimiento: La estrategia Promedio logró el mejor rendimiento. En la configuración Tiny, obtuvo una ganancia de 10.17% en precisión Top-1 sobre la línea base VideoMamba. En la configuración Small, la ganancia fue de 25.49%.
• Comparación de Estrategias: La estrategia Ponderada tuvo un rendimiento comparable a la estrategia Promedio, con parámetros aprendidos convergiendo hacia una combinación equilibrada ($\alpha \approx 0.5$), aproximando efectivamente el enfoque de promediado.
• Rendimiento de Línea Base: La estrategia Ingenua, que descarta tokens CLS preentrenados, tuvo un rendimiento consistentemente inferior, confirmando la importancia de preservar las representaciones unimodales aprendidas.
• Limitación Basada en Contexto: Contrario a las expectativas, la estrategia más flexible Basada en Contexto no superó a los métodos de fusión más simples. Los autores notan que esto podría deberse a limitaciones arquitectónicas o a la escala del conjunto de datos utilizado.

Significado y Afirmaciones
El artículo afirma que combinar modalidades visuales y esqueléticas dentro de un marco Mamba supera consistentemente a las líneas base de solo video cuando ambas modalidades portan información significativa. La contribución principal es la evaluación sistemática de estrategias de fusión de tokens CLS, estableciendo que el promediado simple de tokens preentrenados es actualmente el enfoque más efectivo para esta tarea y conjunto de datos específicos.

Los autores enmarcan modestamente el trabajo como un paso hacia la comprensión cross-modal egocéntrica eficiente. Identifican direcciones futuras, incluyendo la evaluación de estas estrategias en conjuntos de datos más grandes para determinar si la saturación de la estrategia Basada en Contexto es una restricción de datos o arquitectónica, y explorar el uso de datos esqueléticos como "información privilegiada" durante el entrenamiento para mejorar la inferencia de solo video en el momento de prueba.