🤖 AI

VideoSEMA: a scalable and efficient Mamba-like attention for video understanding

O artigo apresenta o VideoSEMA, um modelo de classificação de vídeo escalável e eficiente que combina um mecanismo de atenção espaço-temporal dividida do tipo Mamba com atenção temporal softmax, demonstrando precisão superior e robustez de resolução em comparação com modelos existentes de Vision Transformer e Mamba nos benchmarks K400 e SSv2.

Autores originais: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender um filme. Você não pode apenas mostrar uma única foto; você tem que mostrar a ele um fluxo inteiro de imagens mudando ao longo do tempo. Este é o mundo da compreensão de vídeo, um ramo da ciência da computação onde as máquinas aprendem a reconhecer ações, como alguém descascando uma batata ou um carro fazendo uma curva. Por muito tempo, a melhor maneira de fazer isso era usar um cérebro gigante e faminto chamado Transformer. Pense em um Transformer como um bibliotecário super organizado que lê cada página de cada livro na biblioteca de uma só vez para encontrar conexões. Ele é incrivelmente inteligente, mas fica sobrecarregado e lento quando a biblioteca (o vídeo) fica muito grande ou os livros (os quadros) ficam muito detalhados.

Para corrigir isso, cientistas inventaram recentemente um novo tipo de cérebro chamado Mamba. Se o Transformer é um bibliotecário lendo tudo de uma vez, o Mamba é um detetive que caminha pelo corredor, lembrando-se de pistas conforme avança, o que é muito mais rápido. No entanto, até o Mamba pode ter dificuldades quando o vídeo é de alta definição ou muito longo. A grande questão para os pesquisadores é: Podemos construir um cérebro de vídeo que seja tão inteligente quanto os pesados Transformers, mas tão rápido e eficiente quanto os novos detetives Mamba? Este é exatamente o enigma que o artigo "VideoSEMA" tenta resolver.

Os autores deste artigo, trabalhando com pesquisadores da Qualcomm AI Research e da University of California, Irvine, construíram um novo modelo chamado VideoSEMA. Eles não apenas jogaram um novo ingrediente na panela; eles criaram um sistema dividido inteligente. Imagine assistir a um filme onde você tem duas maneiras diferentes de prestar atenção. Primeiro, você olha para um único quadro (uma imagem estática) e usa um olho especial "tipo Mamba" chamado SEMA. Este olho é inteligente o suficiente para olhar para uma pequena janela de detalhes (como a textura da casca de uma batata) enquanto também faz uma média global rápida de toda a cena, sem se cansar. Então, para entender como a história se move, o modelo usa uma atenção "suave" padrão para observar como as coisas mudam de um quadro para o outro.

O artigo mostra que essa abordagem dividida não é apenas um golpe de sorte; eles realmente provaram matematicamente que, sob certas condições, este método dividido é tão bom quanto olhar para o vídeo inteiro de uma só vez. Quando testaram o VideoSEMA em conjuntos de dados de vídeo famosos como o K400 (que possui 400 tipos de ações humanas) e o SSv2 (que foca em movimentos finos e complexos), os resultados foram impressionantes. No conjunto de dados K400, o VideoSEMA superou modelos muito maiores e mais pesados, incluindo outros modelos baseados em Mamba e grandes Transformers, enquanto utilizava menos recursos computacionais. Por exemplo, em uma resolução de 16 × 224², o VideoSEMA alcançou uma precisão de 82,4%, superando o modelo Mamba anterior (VideoMamba), que obteio 80,8%, mesmo tendo menos parâmetros que o VideoSEMA.

Uma das descobertas mais empolgantes é como o VideoSEMA lida com vídeos de alta definição. Os pesquisadores testaram o que acontece quando alimentam o modelo com vídeos de resoluções muito mais altas, escalando de 224² para 1024² (um salto enorme em detalhes), sem retreinar o modelo. O antigo modelo Mamba (VideoMamba) sofreu uma queda drástica, reduzindo sua precisão de 80,8% para 40,8%. Em contraste, o VideoSEMA manteve-se muito melhor, caindo apenas para 54,6%. Isso sugere que o VideoSEMA é muito mais robusto quando os detalhes visuais se tornam complicados. Eles também descobriram que, no conjunto de dados SSv2, o VideoSEma conseguiu resultados melhores com apenas 8 quadros de vídeo do que outros modelos precisaram de 16 quadros para alcançar, provando que é muito eficiente em capturar a informação certa rapidamente.

O artigo também descarta algumas ideias. Eles testaram o uso de uma convolução 3D simples (uma forma padrão de olhar para o vídeo) e um bloco Mamba puro para a parte temporal do vídeo, mas descobriram que nenhum dos dois funcionou tão bem quanto o uso de um mecanismo de atenção padrão para a dimensão do tempo. Eles mostraram que, embora o Mamba seja ótimo para o espaço, não foi a melhor escolha para lidar com a dimensão do tempo neste setup específico. Os autores ressaltam cuidadosamente que, embora seu modelo seja muito promissor, ele ainda é um trabalho em progresso. Eles sugerem que, para vídeos ainda mais longos, eles podem precisar adicionar atenção "esparsa" ou "dilatada" no futuro para lidar com o tempo extra sem perder velocidade. Mas, por enquanto, o VideoSEMA é uma nova forma forte, eficiente e escalável para os computadores entenderem o mundo em movimento ao nosso redor.

Resumo Técnico do VideoSEMA: Uma Atenção Semelhante ao Mamba, Escalável e Eficiente para Compreensão de Vídeo

Declaração do Problema
Compreender padrões espaço-temporais complexos em vídeos é um desafio fundamental na visão computacional, crítico para aplicações que variam desde a classificação de ações até a modelagem de mundo para sistemas autônomos. Embora avanços recentes aproveitando arquiteturas baseadas em Transformer e grandes modelos de fundação tenham alcançado desempenho de estado da arte, eles dependem predominantemente de backbones de Vision Transformer (ViT). Esses modelos incorrem em custos computacionais proibitivamente altos para grandes entradas de vídeo devido à complexidade quadrática da atenção espaço-temporal total. Embora Modelos de Espaço de Estados (SSMs) como o Mamba tenham sido explorados para reduzir custos para sequências longas, e a atenção linear ofereça outro caminho de eficiência, permanece a necessidade de um backbone que capture eficientemente características espaciais e temporais sem o pesado fardo computacional da atenção conjunta total ou as limitações das implementações existentes de Mamba em contextos de vídeo.

Metodologia: VideoSEMA
Os autores propõem o VideoSEMA, um novo modelo de classificação de vídeo construído sobre uma estrutura de atenção espaço-temporal dividida. A arquitetura desacopla o processamento espacial e temporal para alcançar escalabilidade e eficiência:

Processamento Espacial (Bloco SEMA): Em vez de atenção global total ou recorrência padrão de Mamba, o modelo emprega um bloco de atenção semelhante ao Mamba (SEMA) para dimensões espaciais. O SEMA imita a propriedade de esquecimento exponencial do Mamba combinando uma atenção de janela local com uma operação de média global. Este design permite que o modelo acesse informações globais de forma eficiente enquanto mantém a complexidade computacional linear em relação à dimensão espacial ( $O(N)$ ), evitando o custo $O(N^2)$ da atenção softmax total.
Processamento Temporal: O modelo aplica uma atenção temporal softmax padrão através da sequência de quadros. Os autores argumentam que para comprimentos de vídeo moderados (ex: 16–32 quadros), a atenção softmax global na dimensão temporal é computacionalmente acessível e eficaz, obviando a necessidade de aproximações lineares no tempo.
Arquitetura: O modelo tokeniza vídeos de entrada usando convoluções 3D, anexa um token de classificador aprendível e adiciona embeddings posicionais e temporais. O processamento central envolve camadas alternadas de SEMA espacial e atenção temporal, seguidas por downsampling hierárquico via camadas convolucionais.
Equivalência Teórica: O artigo fornece uma prova teórica demonstrando que, sob condições de rank específicas, esta atenção espaço-temporal dividida é matematicamente equivalente à atenção espaço-temporal total. Especificamente, a atenção dividida atua como uma decomposição marginal-condicional exata da matriz de atenção total, desde que as matrizes de pontuação temporal e espacial satisfaçam certas restrições de rank em relação às dimensões de cabeça do modelo.

Principais Contribuições

Arquitetura Inovadora: Desenvolvimento do primeiro modelo de vídeo utilizando um backbone de imagem escalável e eficiente semelhante ao Mamba (SEMA) dentro de uma estrutura de atenção espaço-temporal dividida.
Insight Teórico: Uma prova estabelecendo a equivalência entre a atenção espaço-temporal dividida e a atenção espaço-temporal total sob condições de rank específicas, validando a solidez teórica da decomposição.
Eficiência e Desempenho: Demonstração de que o VideoSEMA supera modelos de Vision Transformer e modelos baseados em Mamba mais pesados em benchmarks padrão, mantendo um número de parâmetros e FLOPs significativamente menor.
Robustez de Resolução: Evidência de que o VideoSEMA degrada muito mais suavemente que o VideoMamba quando a resolução de entrada escala (de $224^2$ para $1024^2$ ) sem ajuste fino (fine-tuning).

Resultados Experimentais
O modelo foi avaliado nos datasets Kinetics-400 (K400) e Something-Something v2 (SSv2):

Desempenho no K400: O VideoSEMA alcança precisão Top-1 e Top-5 superior em comparação com modelos de tamanhos de parâmetros e FLOPs comparáveis ou maiores. Por exemplo, em resolução de $16 \times 224^2$ , o VideoSEMA (31M parâmetros) alcança 82,4% de precisão Top-1, superando o VideoMamba-S (26M parâmetros, 80,8%) e excedendo significativamente modelos maiores como o TimeSformer-L (121M parâmetros, 80,7%).
Desempenho no SSv2: O VideoSEMA lidera em precisão Top-1 entre modelos de tamanhos de parâmetros similares. Notavelmente, supera o VideoMamba-S em ~2% usando apenas 8 quadros e supera o VideoMAE em 0,5% usando 16 quadros.
Estudos de Ablação: Experimentos confirmam que a combinação de SEMA para o espaço e atenção softmax para o tempo produz o melhor equilíbrio entre precisão e eficiência, superando variantes que utilizam convoluções 3D ou Mamba para o processamento temporal.
Escalabilidade: Quando testado em resoluções mais altas ( $512^2$ e $1024^2$ ) sem ajuste fino, o VideoSEMA mantém a robustez, enquanto o VideoMamba sofre uma queda drástica de precisão (ex: caindo para 40,8% em $1024^2$ comparado aos 54,6% do VideoSEMA).

Significância e Alegações
O artigo afirma que o VideoSEMA representa um passo significativo à frente na compreensão eficiente de vídeo ao adaptar com sucesso os princípios semelhantes ao Mamba para o domínio espacial enquanto retém um modelamento temporal eficaz. Os autores enfatizam que este é o primeiro trabalho a explorar backbones semelhantes ao Mamba especificamente para aplicações de vídeo. A capacidade do modelo de superar arquiteturas maiores e computacionalmente mais caras sugere que a abordagem de atenção dividida, fundamentada na equivalência teórica com a atenção total, oferece uma alternativa altamente eficiente para capturar dependências espaço-temporais. Além disso, a robustez do modelo a entradas de alta resolução sem ajuste fino destaca seu potencial para implantação escalável em cenários do mundo real onde a qualidade do vídeo varia. Os autores sugerem que trabalhos futuros poderiam estender este framework para vídeos mais longos usando atenção temporal dilatada ou esparsa.

Resumo Técnico do VideoSEMA: Uma Atenção Semelhante ao Mamba, Escalável e Eficiente para Compreensão de Vídeo

Mais como este