Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence

Resumo Técnico: Manta

1. Problema e Motivação

O reconhecimento de ação com poucos exemplos (FSAR - Few-Shot Action Recognition) enfrenta desafios significativos quando se utiliza longas subsequências de vídeo. Embora subsequências longas ofereçam contexto mais rico para descrever ações completas (ex: "mergulho de penhasco"), a aplicação direta de modelos existentes esbarra em duas limitações principais:

1. Complexidade Computacional e Falta de Modelagem Local: Os métodos baseados em Transformers (padrão atual) têm complexidade quadrática, limitando-os a subsequências curtas (cerca de 8 quadros). A aplicação direta do Mamba (um modelo eficiente para sequências longas baseado em Modelos de Espaço de Estado - SSM) ignora a importância crítica da modelagem de características locais. Em ações longas, os traços essenciais podem ocupar apenas uma pequena fração do vídeo e não estarem alinhados temporalmente entre amostras, levando a classificações erradas se apenas características globais forem consideradas.
2. Acúmulo de Variância Intraclasses: À medida que o número de quadros aumenta, a variância dentro da mesma classe (devido a condições de gravação, pós-processamento ou ângulos diferentes) acumula-se. Isso dificulta o agrupamento (clustering) de amostras da mesma classe, degradando o desempenho do FSAR.

2. Metodologia: O Framework Manta

Os autores propõem o Manta (Matryoshka MAmba and CoNtrasTive LeArning), um framework que integra duas ramificações paralelas para superar os desafios acima:

A. Ramificação Matryoshka Mamba (Modelagem e Alinhamento)
Esta componente é projetada para capturar características locais e realizar alinhamento temporal implícito sem a complexidade do Transformer.

• Estrutura de Matrioska: O modelo utiliza uma estrutura aninhada inspirada nas bonecas russas.
  • Módulos Internos (Inner Modules): Múltiplos módulos operam em fragmentos não sobrepostos da subsequência longa. Eles utilizam o Mamba-2 para modelar e aprimorar características locais de cada fragmento, em vez de modelar o global diretamente.
  • Módulo Externo (Outer Module): Captura as dependências temporais entre as características locais aprimoradas. Ele realiza uma varredura bidirecional (para frente e para trás) para alinhar implicitamente as características ao longo do tempo.
• Multi-Escala: O sistema opera em múltiplas escalas de tempo (diferentes comprimentos de janelas de quadros). Pesos aprendíveis são usados para ponderar e fundir as saídas de diferentes escalas, permitindo que o modelo se adapte a características locais de diferentes tamanhos.
• Cálculo de Distância Cruzada: Para reforçar o alinhamento, calcula-se a distância entre protótipos de suporte e consultas em ambas as direções (original e invertida), utilizando a média dessas distâncias para a classificação.

B. Ramificação de Aprendizado Contrastivo Híbrido (Mitigação de Variância)
Para combater o acúmulo de variância intraclass, o Manta emprega uma estratégia de aprendizado contrastivo híbrida:

• Paradigma Supervisionado: Aplicado aos dados de suporte (rotulados), onde amostras da mesma classe são tratadas como positivas e de classes diferentes como negativas.
• Paradigma Não Supervisionado: Aplicado aos dados de consulta (não rotulados) e à combinação de todos os dados. Isso ajuda a agrupar amostras sem depender estritamente de rótulos, mitigando o impacto da variância visual.
• Perda Híbrida ($L_{hc}$): A combinação das perdas supervisionadas e não supervisionadas força o modelo a aprender representações mais robustas e compactas dentro das classes.

C. Objetivo de Treinamento
A perda total ($L_{total}$) é uma combinação ponderada da perda de entropia cruzada (da ramificação Mamba) e da perda contrastiva híbrida.

3. Contribuições Principais

1. Primeira Aplicação de Longas Subsequências com Mamba no FSAR: O Manta é o primeiro trabalho a explorar a eficácia do Mamba para FSAR em vídeos longos, superando as limitações de custo computacional dos Transformers.
2. Arquitetura Matryoshka Mamba: Uma inovação que aninha módulos internos (para características locais) dentro de um módulo externo (para alinhamento temporal), permitindo uma modelagem eficiente e precisa de ações complexas e longas.
3. Aprendizado Contrastivo Híbrido: Uma nova abordagem que combina métodos supervisionados e não supervisionados para reduzir especificamente o acúmulo de variância intraclass em vídeos longos.
4. Desempenho SOTA: O modelo alcança novos recordes de estado da arte (SOTA) em benchmarks padrão.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro conjuntos de dados principais: SSv2, Kinetics, UCF101 e HMDB51.

• Desempenho Geral: O Manta superou consistentemente os métodos state-of-the-art (como STRM, HyRSM, MoLo e AMFAR) em configurações de 1-shot e 5-shot.
  • Exemplo: No SSv2 (1-shot), o Manta com backbone ResNet-50 alcançou 63.4% de acurácia, superando o anterior SOTA (AMFAR) de 61.7%.
• Eficácia em Subsequências Longas: Enquanto outros métodos falham ou sofrem de "Out of Memory" (OOM) ao aumentar o número de quadros ($F$) além de 16-32, o Manta manteve estabilidade e melhorou a performance até 128 quadros.
• Robustez:
  • Ruído de Quadros: O Manta demonstrou ser significativamente mais robusto à adição de quadros irrelevantes (ruído) em comparação com métodos baseados em Transformers.
  • Tarefas Complexas: Em cenários com mais classes ($N > 5$), o Manta manteve a estabilidade, enquanto outros modelos sofreram quedas drásticas.
  • Generalização: Testes de cruzamento entre datasets (ex: treinar em Kinetics e testar em SSv2) mostraram que o Manta sofre menos degradação de performance, indicando melhor generalização.
• Eficiência: O Manta é mais rápido na inferência (menos latência) do que os métodos baseados em Transformers, graças à arquitetura linear do Mamba e otimizações para GPU.

5. Significado e Impacto

O trabalho Manta é significativo por:

• Resolver o dilema "Longo vs. Computacional": Demonstra que é possível processar vídeos longos para reconhecimento de ação com alta eficiência e precisão, algo que os Transformers não conseguiam fazer de forma prática.
• Abordagem Holística: Ao tratar simultaneamente a modelagem de características locais (que são cruciais em vídeos longos) e a variância intraclass (que se acumula com a duração), o Manta oferece uma solução mais robusta para o FSAR no mundo real.
• Futuro da Pesquisa: Estabelece uma nova linha de pesquisa para o uso de Modelos de Espaço de Estado (SSM) em tarefas de visão computacional que envolvem sequências temporais longas e dados escassos.

Em resumo, o Manta redefine o estado da arte no reconhecimento de ação com poucos exemplos para vídeos longos, combinando a eficiência do Mamba com estratégias avançadas de aprendizado de representação e alinhamento temporal.