Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

Resumo Técnico: Reconhecimento de Ação Cross-Modal em Vídeo Ego-Cêntrico Utilizando Mamba

Declaração do Problema
O reconhecimento de ações ego-cêntricas apresenta desafios únicos distintos dos cenários de câmera fixa, incluindo movimento de câmera errático, oclusão frequente das mãos e a dificuldade de manter representações visuais consistentes ao longo do tempo. Embora arquiteturas baseadas em Transformers sejam bem adequadas para construir fortes representações espaço-temporais e lidar com sequências longas, seu mecanismo de auto-atenção escala quadraticamente com o comprimento da sequência, limitando sua viabilidade para aplicações de vídeo online. Além disso, embora dados de movimento esquelético possam mitigar problemas de oclusão e fornecer pistas de movimento limpas, modelos existentes baseados em Mamba ainda não integraram informações esqueléticas com fluxos RGB dentro de um framework unificado.

Metodologia
Os autores propõem uma arquitetura cross-modal construída sobre Modelos de Espaço de Estado (SSMs), aproveitando especificamente o modelo Mamba por sua complexidade de tempo linear. A arquitetura compreende três componentes principais:

1. Fluxo de Vídeo: Um módulo VideoMamba extrai embeddings visuais de quadros de vídeo RGB.
2. Fluxo Esquelético: Um codificador dedicado, construído sobre uma pilha de blocos Mamba, processa dados temporais do esqueleto das mãos.
3. Módulo de Fusão: Este componente integra as duas modalidades em uma representação unificada para classificação.

Uma inovação metodológica central é o projeto de quatro estratégias distintas para Mistura de Token CLS. Nos modelos Mamba e Transformer, o token de Classe (CLS) atua como um sumidouro de informações, concentrando informações contextuais para a classificação final. Os autores argumentam que descartar os tokens CLS pré-treinados dos codificadores unimodais desperdiça representações aprendidas. Em vez disso, eles propõem inicializar um novo token "CLS Misturado" usando os tokens CLS unimodais pré-treinados através das seguintes estratégias:

• Ingênua: Descarta ambos os tokens CLS pré-treinados e inicializa um novo token treinável do zero.
• Média: Inicializa o token CLS Misturado como a média elemento a elemento dos tokens CLS de vídeo e esquelético.
• Ponderada: Calcula uma combinação linear dos dois tokens usando um parâmetro escalar aprendível $\alpha$ (derivado via função sigmoide): $CLS_{mix} = \alpha CLS_{video} + (1-\alpha) CLS_{skeleton}$.
• Baseada em Contexto: Calcula dinamicamente o parâmetro de ponderação $\alpha$ usando um bloco Mamba que processa as sequências de tokens não-CLS concatenadas de ambas as modalidades, permitindo que o peso de fusão se adapte com base no conteúdo de entrada.

Configuração Experimental
A arquitetura proposta e as estratégias de fusão foram avaliadas no conjunto de dados H2O, um conjunto de dados de vídeo ego-cêntrico que fornece anotações sincronizadas do esqueleto das mãos e rótulos de ação. Os experimentos utilizaram duas configurações de modelo (Tiny e Small) com dimensões de embedding e profundidades variáveis (24 blocos Mamba). Os codificadores VideoMamba foram inicializados com checkpoints pré-treinados no conjunto de dados Something-Something V2, enquanto o codificador esquelético foi treinado diretamente no H2O.

Principais Resultados
Os resultados experimentais no conjunto de dados H2O demonstram que a integração de dados esqueléticos melhora significativamente o desempenho em relação às linhas de base apenas de vídeo, particularmente quando ambas as modalidades fornecem sinais informativos.

• Ganhos de Desempenho: A estratégia Média alcançou o melhor desempenho. Na configuração Tiny, ela gerou um ganho de 10,17% na precisão Top-1 sobre a linha de base VideoMamba. Na configuração Small, o ganho foi de 25,49%.
• Comparação de Estratégias: A estratégia Ponderada performou comparavelmente à estratégia Média, com parâmetros aprendidos convergindo para uma combinação equilibrada ($\alpha \approx 0,5$), aproximando efetivamente a abordagem de média.
• Desempenho da Linha de Base: A estratégia Ingênua, que descarta tokens CLS pré-treinados, performou consistentemente abaixo, confirmando a importância de preservar representações unimodais aprendidas.
• Limitação Baseada em Contexto: Contrariando expectativas, a estratégia mais flexível Baseada em Contexto não superou os métodos de fusão mais simples. Os autores observam que isso pode ser devido a limitações arquitetônicas ou à escala do conjunto de dados utilizado.

Significado e Alegações
O artigo alega que combinar modalidades visuais e esqueléticas dentro de um framework Mamba supera consistentemente as linhas de base apenas de vídeo quando ambas as modalidades carregam informações significativas. A contribuição principal é a avaliação sistemática de estratégias de fusão de tokens CLS, estabelecendo que a média simples de tokens pré-treinados é atualmente a abordagem mais eficaz para esta tarefa e conjunto de dados específicos.

Os autores enquadram modestamente o trabalho como um passo em direção à compreensão ego-cêntrica cross-modal eficiente. Eles identificam direções futuras, incluindo avaliar essas estratégias em conjuntos de dados maiores para determinar se a saturação da estratégia Baseada em Contexto é uma restrição de dados ou arquitetônica, e explorar o uso de dados esqueléticos como "informação privilegiada" durante o treinamento para melhorar a inferência apenas visual no momento do teste.