Resumo Técnico: Agregação de Volume de Similaridade Espaço-Temporal para Reconhecimento de Ações de Vocabulário Aberto

1. Declaração do Problema

Métodos recentes de Reconhecimento de Ações de Vocabulário Aberto (OVAR) geralmente dependem da agregação de características visuais em uma representação global (por exemplo, usando tokens [CLS]) antes de calcular o alinhamento com incorporações de texto. Embora eficaz para generalização zero-shot, esse paradigma inerentemente descarta informações locais ricas de patches dentro de cada quadro. Consequentemente, pistas espaço-temporais de alta granularidade — como trajetórias de movimento, interações localizadas e a evolução de padrões visuais ao longo do tempo — ficam obscurecidas. Tentativas existentes de aproveitar tokens locais (por exemplo, TC-CLIP, BDC-CLIP) frequentemente ainda colapsam interações espaço-temporais estruturadas em um único vetor global antes do alinhamento com texto, falhando em modelar explicitamente a correspondência entre padrões visuais locais que evoluem temporalmente e semânticas de ações textuais.

2. Metodologia: Agregação de Volume de Similaridade (SimVA)

Os autores propõem o SimVA, um framework que desloca o paradigma de agregação de características para agregação de similaridade. Em vez de mesclar características visuais primeiro, o SimVA constrói um volume denso de similaridade espaço-temporal 4D entre tokens visuais em nível de patch e incorporações de texto, preservando evidências locais ao longo de todo o pipeline de processamento.

2.1 Construção do Volume de Similaridade

Dado um vídeo de entrada $V$ e prompts de texto de ação, o framework utiliza um modelo CLIP pré-treinado para extrair:

• Incorporações Visuais: Incorporações em nível de patch $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$ para $T$ quadros.
• Incorporações de Texto: Incorporações de classe $F_{text} \in \mathbb{R}^{N_C \times D}$ para $N_C$ categorias de ação.

Um volume de similaridade 4D $S \in \mathbb{R}^{T \times H \times W \times N_C}$ é construído calculando similaridades de cosseno entre cada patch espaço-temporal $(t, i, j)$ e cada classe $c$. Este volume representa a correspondência visual-texto localizada através do espaço e do tempo.

2.2 Amostragem de Classes de Ação

A agregação direta do volume completo é computacionalmente proibitiva quando $N_C$ é grande. O SimVA introduz uma estratégia de amostragem de classes:

1. Calcular uma representação global de vídeo $\bar{V}$ medindo a média dos tokens [CLS] em nível de quadro.
2. Calcular escores de similaridade global $S_{global} = \bar{V}^\top F_{text}$.
3. Selecionar as top-$M$ classes. Durante o treinamento, ruído uniforme é adicionado para incentivar a exploração, e a classe verdadeira é forçada a entrar no subconjunto.
   Isso reduz a dimensão de classe de $N_C$ para um tamanho tratável $M$, encolhendo o volume para $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$.

2.3 Agregação Espaço-Temporal Estruturada

O framework processa o volume de similaridade amostrado através de um pipeline estruturado repetido ao longo de $N_L$ camadas:

• Agregação Espacial: Usando blocos Swin Transformer, o modelo refina padrões de similaridade intra-quadro. Isso impõe consistência local entre patches pertencentes ao mesmo objeto e suprime ruído de fundo, contextualizando similaridades locais dentro do quadro.
• Modulação Consciente de Movimento: Para injetar pistas de variação inter-quadro, o modelo estima deslocamentos de movimento entre quadros consecutivos usando características de imagem do CLIP. Esses deslocamentos são normalizados para remover o movimento global da câmera e projetados em um sinal de modulação $\gamma_t$. Este sinal escala adaptativamente as características refinadas espacialmente, enfatizando regiões com mudanças dinâmicas significativas (por exemplo, objetos em movimento) antes da modelagem temporal.
• Agregação Temporal: Um bloco Mamba (Modelo de Espaço de Estados) processa as sequências de similaridade conscientes de movimento. Diferentemente dos Transformers que atendem globalmente, o mecanismo de varredura para frente do Mamba alinha-se com a progressão temporal natural dos vídeos. Ele acumula sequencialmente padrões de similaridade conscientes de transição, modelando a evolução de evidências específicas de ação ao longo do tempo enquanto preserva o alinhamento espaço-temporal.

2.4 Objetivo de Treinamento

Os escores finais em nível de vídeo são obtidos via projeção linear e pooling médio espaço-temporal. O objetivo de treinamento combina:

1. Perda de Agregação ($L_{agg}$): Perda de entropia cruzada nos logits de classe amostrados.
2. Perda de Classificação ($L_{cls}$): Uma perda auxiliar calculada a partir do alinhamento global vídeo-texto (usando tokens [CLS]) para prevenir o esquecimento catastrófico e preservar o prior pré-treinado.

3. Contribuições Principais

1. Mudança de Paradigma: Introduz um framework para OVAR baseado em CLIP que opera diretamente no espaço de similaridade, deslocando-se de agregação de características para agregação de similaridade para preservar correspondências espaço-temporais densas.
2. Arquitetura Escalável: Propõe uma estratégia de amostragem de classes eficiente em memória que permite que a agregação de similaridade escale para cenários de vocabulário aberto grandes sem custos computacionais proibitivos.
3. Agregação Estruturada: Projeta um pipeline integrando agregação espacial (para consistência intra-quadro), modulação consciente de movimento (para dinâmicas inter-quadro) e agregação temporal baseada em Mamba (para modelagem de evolução sequencial).
4. Validação Empírica: Demonstra eficácia em benchmarks de generalização zero-shot, few-shot e de base para novo.

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks padrão (Kinetics-400, Kinetics-600, HMDB-51, UCF-101, Something-Something V2) usando um backbone CLIP ViT-B/16.

• Desempenho Zero-Shot: O SimVA superou bases fortes (por exemplo, ActionCLIP, X-CLIP, ViFi-CLIP, TC-CLIP) em todos os conjuntos de dados. No HMDB-51, UCF-101 e K600, alcançou resultados state-of-the-art ou altamente competitivos (por exemplo, 76,5% Top-1 no K600, 86,2% no UCF-101).
• Aprendizado Few-Shot: Em configurações com $K \in \{2, 4, 8, 16\}$ exemplos por classe, o SimVA consistentemente superou métodos existentes, indicando adaptação robusta a tarefas de vídeo com supervisão limitada.
• Generalização Base para Novo: O modelo alcançou a melhor precisão de base em todos os conjuntos de dados e a maior média harmônica (HM) no UCF-101 e SSv2, mostrando forte generalização para categorias não vistas enquanto retém desempenho nas classes base.
• Eficiência: Apesar da construção densa de volume, o SimVA mantém um orçamento computacional comparável a outros métodos baseados em CLIP (124,6M parâmetros, 315 GFLOPs), demonstrando uma relação favorável entre eficiência e desempenho.

5. Significado e Alegações

O artigo afirma que o SimVA transfere efetivamente as capacidades poderosas de alinhamento imagem-texto do CLIP para o domínio espaço-temporal, modelando explicitamente como padrões visuais localizados evoluem em interação com semânticas textuais. Ao manter correspondências densas visual-texto e evitar pooling global precoce, o framework permite discriminação precisa de ações de alta granularidade que dependem de variações temporais sutis.

Os autores afirmam que a agregação no espaço de similaridade é uma direção promissora para adaptar modelos visão-linguagem ao reconhecimento de ações em vídeo. Eles reconhecem uma limitação referente ao orçamento fixo de amostragem de classes, notando que estratégias adaptativas poderiam melhorar ainda mais a escalabilidade, mas mantêm que a abordagem atual oferece um equilíbrio robusto entre desempenho e viabilidade computacional.