🤖 AI

VideoSEMA: a scalable and efficient Mamba-like attention for video understanding

El artículo presenta VideoSEMA, un modelo de clasificación de video escalable y eficiente que combina un mecanismo de atención espacio-temporal dividido tipo Mamba con atención temporal softmax, demostrando una precisión y robustez de resolución superiores en comparación con los modelos existentes de Vision Transformer y Mamba en los benchmarks K400 y SSv2.

Autores originales: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a entender una película. No puedes simplemente mostrarle una sola foto; tienes que mostrarle un flujo completo de imágenes cambiando con el tiempo. Este es el mundo de la comprensión de video, una rama de la informática donde las máquinas aprenden a reconocer acciones, como alguien pelando una papa o un coche girando en una esquina. Durante mucho tiempo, la mejor manera de hacer esto era usar un cerebro gigante y hambriento llamado Transformer. Piensa en un Transformer como un bibliotecario súper organizado que lee cada una de las páginas de cada libro de la biblioteca a la vez para encontrar conexiones. Es increíblemente inteligente, pero se siente abrumado y lento cuando la biblioteca (el video) se vuelve demasiado grande o los libros (los fotogramas) son demasiado detallados.

Para solucionar esto, científicos inventaron recientemente un nuevo tipo de cerebro llamado Mamba. Si el Transformer es un bibliotecario leyendo todo a la vez, Mamba es un detective que camina por el pasillo, recordando pistas a medida que avanza, lo cual es mucho más rápido. Sin embargo, incluso Mamba puede tener dificultades cuando el video es de alta definición o muy largo. La gran pregunta para los investigadores es: ¿Podemos construir un cerebro de video que sea tan inteligente como los pesados Transformers pero tan rápido y eficiente como los nuevos detectives Mamba? Este es exactamente el rompecabezas que el artículo "VideoSEMA" intenta resolver.

Los autores de este artículo, trabajando con investigadores de Qualcomm AI Research y la Universidad de California, Irvine, han construido un nuevo modelo llamado VideoSEMA. No solo añadieron un nuevo ingrediente a la olla; crearon un sistema dividido muy ingenioso. Imagina ver una película donde tienes dos formas diferentes de prestar atención. Primero, miras un solo fotograma (una imagen estática) y usas un ojo especial "tipo Mamba" llamado SEMA. Este ojo es lo suficientemente inteligente como para mirar una pequeña ventana de detalles (como la textura de la piel de una papa) mientras también toma un promedio global rápido de toda la escena, todo sin cansarse. Luego, para entender cómo se mueve la historia, el modelo utiliza una atención "suave" estándar para observar cómo cambian las cosas de un fotograma al siguiente.

El artículo muestra que este enfoque dividido no es solo un golpe de suerte; de hecho, demostraron matemáticamente que, bajo ciertas condiciones, este método dividido es tan bueno como mirar todo el video a la vez. Cuando probaron VideoSEMA en conjuntos de datos de video famosos como K400 (que tiene 400 tipos de acciones humanas) y SSv2 (que se centra en movimientos complicados y detallados), los resultados fueron impresionantes. En el conjunto de datos K400, VideoSEMA superó a modelos mucho más grandes y pesados, incluyendo otros modelos basados en Mamba y grandes Transformers, mientras utilizaba menos recursos informáticos. Por ejemplo, a una resolución de 16 × 224², VideoSEMA logró una precisión del 82.4%, superando al modelo Mamba anterior (VideoMamba) que obtuvo un 80.8%, a pesar de que VideoSEMA tenía menos parámetros.

Uno de los hallazgos más emocionantes es cómo VideoSEMA maneja los videos de alta definición. Los investigadores probaron qué sucede cuando alimentan al modelo con videos de resoluciones mucho más altas, escalando de 224² a 1024² (un salto enorme en detalle), sin reentrenar el modelo. El viejo modelo Mamba (VideoMamba) colapsó drásticamente, cayendo su precisión de 80.8% a 40.8%. En contraste, VideoSEMA se mantuvo mucho mejor, cayendo solo a 54.6%. Esto sugiere que VideoSEMA es mucho más robusto cuando los detalles visuales se complican. También descubrieron que en el conjunto de datos SSv2, VideoSEMA podía lograr mejores resultados con solo 8 fotogramas de video de lo que otros modelos necesitaban con 16 fotogramas, demostrando que es muy eficiente para capturar la información correcta rápidamente.

El artículo también descarta algunas ideas. Probaron el uso de una convolución 3D simple (una forma estándar de mirar video) y un bloque Mamba puro para la parte temporal del video, pero descubrieron que ninguno funcionaba tan bien como usar un mecanismo de atención estándar para la dimensión del tiempo. Demostraron que, si bien Mamba es excelente para el espacio, no fue la mejor opción para manejar la dimensión del tiempo en este esquema específico. Los autores señalan cuidadosamente que, aunque su modelo es muy prometedor, todavía es un trabajo en progreso. Sugieren que para videos aún más largos, podrían necesitar añadir atención "dispersa" o "dilatada" en el futuro para manejar el tiempo extra sin volverse lentos. Pero por ahora, VideoSEMA se erige como una nueva forma fuerte, eficiente y escalable para que las computadoras comprendan el mundo en movimiento que nos rodea.

Resumen Técnico de VideoSEMA: Una atención tipo Mamba escalable y eficiente para la comprensión de video

Declaración del Problema
Comprender patrones espaciotemporales complejos en videos es un desafío fundamental en la visión por computadora, crítico para aplicaciones que van desde la clasificación de acciones hasta el modelado del mundo para sistemas autónomos. Aunque los avances recientes que aprovechan arquitecturas basadas en Transformers y grandes modelos fundacionales han logrado un rendimiento de vanguardia, estos dependen predominantemente de backbones de Vision Transformer (ViT). Estos modelos incurren en costos computacionales prohibitivamente altos para entradas de video grandes debido a la complejidad cuadrática de la atención espacio-temporal completa. Aunque se han explorado los Modelos de Espacio de Estados (SSM) como Mamba para reducir los costos para secuencias largas, y la atención lineal ofrece otra vía de eficiencia, sigue existiendo la necesidad de un backbone que capture eficientemente tanto las características espaciales como las temporales sin la pesada carga computacional de la atención conjunta completa o las limitaciones de las implementaciones existentes de Mamba en contextos de video.

Metodología: VideoSEMA
Los autores proponen VideoSEMA, un nuevo modelo de clasificación de video construido sobre un marco de atención espacio-temporal dividido (split space-time attention framework). La arquitectura desacopla el procesamiento espacial y temporal para lograr escalabilidad y eficiencia:

Procesamiento Espacial (Bloque SEMA): En lugar de la atención global completa o la recurrencia estándar de Mamba, el modelo emplea un bloque de atención tipo Mamba (SEMA) para las dimensiones espaciales. SEMA imita la propiedad de olvido exponencial de Mamba combinando una atención de ventana local con una operación de promedio global. Este diseño permite al modelo acceder a la información global de manera eficiente mientras mantiene una complejidad computacional lineal con respecto a la dimensión espacial ( $O(N)$ ), evitando el costo $O(N^2)$ de la atención softmax completa.
Procesamiento Temporal: El modelo aplica una atención temporal softmax estándar a través de la secuencia de fotogramas. Los autores argumentan que para longitudes de video moderadas (por ejemplo, 16–32 fotogramas), la atención softmax global en la dimensión temporal es computacionalmente asequible y efectiva, obviando la necesidad de aproximaciones lineales en el tiempo.
Arquitectura: El modelo tokeniza los videos de entrada mediante convoluciones 3D, añade un token de clasificador aprendible y agrega embeddings posicionales y temporales. El procesamiento central implica capas alternas de SEMA espacial y atención temporal, seguidas de un submuestreo jerárquico mediante capas convolucionales.
Equivalencia Teórica: El artículo proporciona una prueba teórica que demuestra que, bajo condiciones de rango específicas, esta atención espacio-temporal dividida es matemáticamente equivalente a la atención espacio-temporal completa. Específicamente, la atención dividida actúa como una descomposición marginal-condicional exacta de la matriz de atención completa, siempre que las matrices de puntuación temporal y espacial satisfagan ciertas restricciones de rango con respecto a las dimensiones de la cabeza del modelo.

Contribuciones Clave

Arquitectura Novedosa: Desarrollo del primer modelo de video que utiliza un backbone de imagen escalable y eficiente tipo Mamba (SEMA) dentro de un marco de atención espacio-temporal dividido.
Perspectiva Teórica: Una prueba que establece la equivalencia entre la atención espacio-temporal dividida y la atención espacio-temporal completa bajo condiciones de rango específicas, validando la solidez teórica de la descomposición.
Eficiencia y Rendimiento: Demostración de que VideoSEMA supera a modelos de Vision Transformer y modelos basados en Mamba más pesados en benchmarks estándar, manteniendo un número de parámetros y FLOPs significativamente menor.
Robustez de Resolución: Evidencia de que VideoSEMA se degrada de manera mucho más gradual que VideoMamba cuando la resolución de entrada escala (de $224^2$ a $1020^2$ ) sin ajuste fino (fine-tuning).

Resultados Experimentales
El modelo fue evaluado en los conjuntos de datos Kinetics-400 (K400) y Something-Something v2 (SSv2):

Rendimiento en K400: VideoSEMA logra una precisión Top-1 y Top-5 superior en comparación con modelos de tamaños de parámetros y FLOPs comparables o mayores. Por ejemplo, a una resolución de $16 \times 224^2$ , VideoSEMA (31M parámetros) alcanza un 82.4% de precisión Top-1, superando a VideoMamba-S (26M parámetros, 80.8%) y excediendo significativamente a modelos más grandes como TimeSformer-L (121M parámetros, 80.7%).
Rendimiento en SSv2: VideoSEMA lidera en precisión Top-1 entre modelos de tamaños de parámetros similares. Notablemente, supera a VideoMamba-S por aproximadamente un 2% usando solo 8 fotogramas y supera a VideoMAE por un 0.5% usando 16 fotogramas.
Estudios de Ablación: Los experimentos confirman que la combinación de SEMA para el espacio y la atención softmax para el tiempo produce el mejor equilibrio entre precisión y eficiencia, superando a las variantes que utilizan convoluciones 3D o Mamba para el procesamiento temporal.
Escalabilidad: Cuando se probó en resoluciones más altas ( $512^2$ y $1024^2$ ) sin ajuste fino, VideoSEMA mantiene su robustez, mientras que VideoMamba sufre una caída drástica de precisión (por ejemplo, cayendo a 40.8% en $1024^2$ frente al 54.6% de VideoSEMA).

Significado y Reivindicaciones
El artículo afirma que VideoSEMA representa un paso significativo hacia la comprensión eficiente de video al adaptar con éxito los principios de tipo Mamba al dominio espacial mientras retiene un modelado temporal efectivo. Los autores enfatizan que este es el primer trabajo en explorar backbones tipo Mamba específicamente para aplicaciones de video. La capacidad del modelo para superar a arquitecturas más grandes y computacionalmente más costosas sugiere que el enfoque de atención dividida, fundamentado en la equivalencia teórica con la atención completa, ofrece una alternativa altamente eficiente para capturar dependencias espaciotemporales. Además, la robustez del modelo ante entradas de alta resolución sin ajuste fino resalta su potencial para el despliegue escalable en escenarios del mundo real donde la calidad del video varía. Los autores sugieren que trabajos futuros podrían extender este marco a videos más largos utilizando atención temporal dilatada o dispersa.

Resumen Técnico de VideoSEMA: Una atención tipo Mamba escalable y eficiente para la comprensión de video

Más como este