Resumo Técnico: CEZSAR

Definição do Problema

O artigo aborda o Reconhecimento de Ações em Zero-Shot (ZSAR) em vídeos, uma tarefa voltada para classificar instâncias de ações pertencentes a classes que não estavam presentes durante a fase de treinamento do modelo. Os autores identificam dois desafios persistentes nas abordagens existentes de ZSAR:

1. A Lacuna Semântica: Um desalinhamento entre o domínio visual (representado por CNNs ou Transformers) e o domínio textual (representado por modelos de linguagem). Mesmo em espaços de incorporação conjuntos, a distribuição das características visuais frequentemente diverge de suas contrapartes semânticas. Por exemplo, ações como "Cavalo com Arco" e "Trave de Equilíbrio" compartilham estruturas de cena semelhantes (ginásios), mas diferem em movimentos específicos e equipamentos, levando a confusão nos espaços de incorporação.
2. Mudança de Domínio: A discrepância nas distribuições de probabilidade entre o conjunto de treinamento e o conjunto de teste não visto. Como o conjunto de teste é desconhecido durante o treinamento, os modelos têm dificuldade em generalizar para novas distribuições de dados.

Métodos existentes frequentemente dependem de atributos definidos por humanos ou incorporações de palavras simples (por exemplo, Word2Vec, GloVe), que falham em capturar diferenças semânticas de alta granularidade ou exigem esforço manual extensivo. Além disso, embora modelos pré-treinados em grande escala como o CLIP mostrem promessa, eles exigem recursos computacionais massivos e dados (centenas de milhões de pares) que são frequentemente inacessíveis.

Metodologia: CEZSAR

Os autores propõem o CEZSAR (Método de Incorporação Contrastiva para Reconhecimento de Ações em Zero-Shot), um modelo projetado para aprender um espaço de incorporação conjunto para vídeos e descrições em linguagem natural usando aprendizado contrastivo.

Arquitetura

O modelo consiste em dois módulos principais:

• Módulo de Incorporação Visual (VEM):
  • Os vídeos são amostrados a 1 quadro por segundo (FPS).
  • Os quadros são codificados usando uma Rede Neural Convolucional (CNN) pré-treinada, especificamente ResNet-152, produzindo uma pilha de características.
  • Uma camada totalmente conectada reduz a dimensionalidade, seguida por um Codificador Transformer com atenção auto-ponderada multi-cabeça para modelar informações temporais.
  • A saída é projetada em um espaço semântico conjunto (128 dimensões).
• Módulo de Incorporação de Frases (SEM):
  • Descrições em linguagem natural são processadas usando Sentence-BERT (SBERT) para gerar incorporações de 768 dimensões.
  • Estas são projetadas via uma camada totalmente conectada no mesmo espaço semântico conjunto.

Estratégia de Treinamento: Amostragem de Negativos Difíceis

Uma inovação central é o procedimento de amostragem automática de negativos difíceis, que elimina a necessidade de pares negativos anotados por humanos:

1. Filtragem Semântica: O modelo usa um modelo SBERT pré-treinado para avaliar a similaridade entre frases. Frases com alta similaridade de cosseno (acima de um limiar $\tau$) são consideradas semanticamente similares.
2. Aumento Baseado em Objetos: O sistema detecta objetos no vídeo e gera frases descritivas para eles. Em seguida, seleciona descrições negativas que são suficientemente diferentes tanto da descrição anotada por humanos quanto das descrições geradas por objetos.
3. Geração de Triplets: Este processo gera triplets consistindo em (vídeo, descrição positiva, descrição negativa). Os autores relatam a geração de aproximadamente três milhões de triplets a partir do conjunto de dados ActivityNet Captions.
4. Função de Perda: O modelo é treinado usando uma função de Perda de Triplet, que minimiza a distância entre um vídeo e sua descrição positiva enquanto maximiza a distância para sua descrição negativa.

Classificação

Durante a inferência, o modelo mapeia tanto o vídeo de entrada quanto os protótipos de classe (definidos por descrições de frases) no espaço de incorporação conjunto. A classificação é realizada usando uma regra do vizinho mais próximo baseada na similaridade de cosseno. A incorporação final do vídeo ($VidE$) pode opcionalmente incorporar informações semânticas de nível de objeto ($O(v)$) juntamente com características visuais brutas ($VE(v)$), controladas pelos parâmetros de ponderação $\alpha$ e $\beta$.

Contribuições Principais

O artigo delineia três contribuições principais:

1. Um Método Contrastivo Cross-Modal Novel: O CEZSAR associa efetivamente características visuais a descrições de frases, reduzindo significativamente a lacuna semântica entre modalidades.
2. Projeção Modular: A arquitetura permite que vídeos e descrições sejam projetados através de sub-redes distintas, facilitando a inclusão de modalidades adicionais (texto, imagens ou outros vídeos) sem retreinar todo o modelo contrastivo.
3. Eficiência e Robustez: O método alcança resultados state-of-the-art em benchmarks padrão usando uma única GPU e uma fração dos dados e tempo de treinamento exigidos por modelos em grande escala como o CLIP.

Resultados Experimentais

O método foi avaliado nos conjuntos de dados UCF-101 e Kinetics-400 sob várias configurações de divisão zero-shot (por exemplo, 0% de classes vistas, 100% de classes não vistas).

• UCF-101: Sob a configuração 0/101 (todas as classes não vistas), o CEZSAR alcançou 95,2% de precisão (visualizado na Fig. 1b), uma melhoria significativa sobre a linha de base ZSARCAP (67,2%) e outros métodos state-of-the-art. A inclusão de semântica de nível de objeto forneceu melhorias marginais, mas consistentes.
• Kinetics-400: O modelo superou todos os métodos state-of-the-art anteriores em todas as configurações de teste (25, 100 e 400 classes não vistas). Para a divisão de 400 classes, alcançou 23,8% de precisão, superando o melhor anterior de 20,4%.
• Amostras Difíceis: Em um subconjunto de 15 classes difíceis e altamente similares (por exemplo, distinguir entre "montar a cavalo" e "corrida de cavalos"), o CEZSAR alcançou 63,3% de precisão, comparado a 47,4% para o ZSARCAP. As matrizes de confusão indicam uma redução substancial em erros de classificação, particularmente para grupos envolvendo equipamentos ou cenários similares.

Significado e Alegações

Os autores afirmam que o CEZSAR demonstra que o aprendizado contrastivo é uma abordagem direta, porém eficaz, para superar a lacuna semântica no ZSAR. Ao condicionar a aprendizagem de características visuais em descrições textuais — uma modalidade menos suscetível à mudança de domínio — o modelo mitiga naturalmente o problema da mudança de domínio.

O artigo enfatiza que alto desempenho no reconhecimento em zero-shot não necessariamente requer infraestrutura de pré-treinamento em grande escala (por exemplo, milhares de GPUs e centenas de milhões de pares de dados). Em vez disso, um framework contrastivo cuidadosamente projetado com amostragem automática de negativos pode alcançar resultados superiores em conjuntos de dados padrão usando significativamente menos recursos (1000x menos representações visuais e 100x menos pares de dados do que modelos na escala do CLIP, treinados em poucas horas em uma única GPU). O trabalho sugere que o principal motor dos ganhos de desempenho é a redução efetiva da lacuna semântica, e não meramente o volume de informações semânticas.