Resumo Técnico: LookWhen – Reconhecimento Rápido de Vídeo Aprendendo Quando, Onde e O Que Calcular

1. Declaração do Problema

Transformers tornaram-se a arquitetura dominante para reconhecimento de vídeo, dividindo vídeos em milhares de tokens. No entanto, seu custo computacional escala de forma superlinear com o número de tokens, criando um gargalo significativo para o processamento de vídeos longos. Embora vídeos contenham redundância substancial (alguns tokens são redundantes, outros inferíveis a partir do entorno), Transformers padrão processam todos os tokens independentemente da necessidade. Métodos de cálculo adaptativo existentes frequentemente mesclam tokens em camadas intermediárias ou dependem de mapas de atenção que podem conter artefatos ou ruído irrelevante, falhando em explorar totalmente a esparsidade sem sacrificar a precisão ou incorrer em altos custos de tempo de execução devido a operações não amigáveis a GPUs.

O desafio central é fatorizar o reconhecimento de vídeo em três tarefas de aprendizado distintas:

1. Quando: Determinar os momentos temporais a processar.
2. Onde: Identificar as localizações espaciais a processar.
3. O Que: Definir a representação a extrair.

Isso requer isolar rapidamente os tokens de entrada responsáveis pela representação de saída (para aumentar a eficiência) enquanto se aproxima com precisão representações densas de vídeo usando apenas um subconjunto esparsos de tokens.

2. Metodologia: O Framework LookWhen

O LookWhen introduz um framework seletor–extrator especificamente projetado para vídeo, estendendo trabalhos anteriores baseados em imagem (LookWhere) com adaptações críticas de arquitetura e pré-treinamento.

2.1 Arquitetura

O modelo consiste em dois componentes distintos:

• Seletor Raso: Recebe um vídeo reduzido (reduzido em tempo, altura e largura). Processa a entrada completa para pontuar todos os tokens no espaço-tempo, mas permanece computacionalmente barato devido à sua profundidade rasa (3 camadas de transformer) e resolução de entrada reduzida. Ele gera um mapa de seletor para identificar os tokens mais informativos.
• Extrator Profundo: Recebe apenas os top-K tokens selecionados (mais tokens de vídeo e de quadro) do vídeo de resolução completa. É um modelo profundo e expressivo (tamanho ViT-B) que aproxima a representação de vídeo completa usando apenas essas entradas esparsas.

2.2 Estratégia de Pré-Treinamento

Uma inovação chave é a definição de alvos de supervisão eficazes para seleção e extração, abordando a falta de "professores" adequados para vídeo.

A. Alvos de Seleção: Aprendendo "Quando" e "Onde"

• Problema com Atenção: Mapas de atenção padrão de professores de vídeo (por exemplo, InternVideo2) frequentemente contêm artefatos ou são ruidosos, tornando-os alvos pobres para seleção.
• Solução (Top1-Distância): Em vez de prever atenção, o seletor é treinado para prever unicidade de token.
  • Um professor de imagem (DINOv3) com características ancoradas espacialmente é usado para calcular características para todos os patches.
  • Um algoritmo "top1-distância" calcula a similaridade de cosseno entre cada patch e seu vizinho mais próximo no espaço de características.
  • Tokens com a maior distância para seu vizinho mais próximo (ou seja, os mais únicos/isolados) são classificados mais alto.
  • O seletor aprende a prever essa pontuação de unicidade, efetivamente selecionando os tokens menos redundantes.

B. Alvos de Extração: Aprendendo "O Que"

• Destilação de Duplo Professor: O extrator é treinado para aproximar representações de dois professores congelados:
  1. Professor de Vídeo (InternVideo2): Fornece um token de nível de vídeo representando o contexto global.
  2. Professor de Imagem (DINOv3): Fornece características de nível de quadro e de patch.
• Normalização Temporal: Para ensinar ao extrator o que muda dentro de um vídeo (crucial para tarefas de granularidade fina), os tokens de classe quadro a quadro do DINOv3 são normalizados ao longo do tempo (média zero, variância unitária) antes da concatenação. Isso cria um alvo que enfatiza dinâmicas temporais em vez de conteúdo estático.
• Funções de Perda: O modelo minimiza uma perda combinada:
  • $L_{map}$: Entropia Cruzada Binária entre os mapas de seletor previstos e o alvo.
  • $L_{video}$: Erro Quadrático Médio (MSE) entre o token de vídeo do extrator e os tokens de vídeo dos professores.
  • $L_{frame}$ e $L_{patch}$: Perdas MSE para tokens de quadro e patch, onde as características do DINOv3 são normalizadas no espaço-tempo.

2.3 Inferência

Durante a inferência e o ajuste fino, os professores são descartados. O sistema opera eficientemente: o seletor raso pontua o vídeo reduzido para escolher os top-K tokens, e o extrator profundo processa apenas esses tokens selecionados para gerar características para tarefas subsequentes.

3. Contribuições Principais

1. Extensão do Framework para Vídeo: Os autores estendem o paradigma seletor-extrator para vídeo adaptando a arquitetura (seletor raso, extrator profundo) e objetivos de pré-treinamento para lidar com redundância espaço-temporal.
2. Mecanismo de Seleção Novel: Introduzem top1-distância, um método para treinar seletores baseado na unicidade no espaço de características em vez de mapas de atenção. Isso evita a necessidade de atenção livre de artefatos e identifica efetivamente tokens redundantes.
3. Extração de Duplo Professor: Propõem uma estratégia de pré-treinamento usando tanto um professor de vídeo (para contexto global) quanto um professor de imagem com características normalizadas temporalmente (para aprender mudanças temporais), permitindo que o extrator aprenda representações gerais e de granularidade fina.
4. Eficiência sem Restrições de Hardware: Diferentemente de métodos de mesclagem de tokens que podem sofrer incompatibilidade com Flash Attention ou alto pico de memória, o LookWhen usa operações padrão de aprendizado profundo, tornando-o altamente eficiente na prática.

4. Resultados Experimentais

Os autores avaliaram o LookWhen em seis conjuntos de dados: Kinetics-400 (K400), Something-Something-v2 (SSv2), Epic-Kitchens-100 (EK100), Diving48, Jester e Charades.

• Precisão vs. FLOPs: O LookWhen alcança uma compensação superior de precisão-computação em comparação com bases eficientes (por exemplo, VideoMAE, VideoMamba) e versões atualizadas do mesmo tamanho.
  • Em K400, o LookWhen (70% esparso) alcança 84,6% de precisão com 40% menos FLOPs que o UMT-B800e e 78% menos FLOPs que o VideoMambaPro com precisão comparável ou melhor.
  • Em SSv2, alcança 72,0% de precisão em 108 GFLOPs, superando o VideoMAEv2 (71,2% em 180 GFLOPs).
• Dominação de Pareto: O LookWhen domina em Pareto (melhor precisão e menor custo) em 9 de 12 casos de avaliação (6 tarefas × 2 configurações: sondagem linear e ajuste fino).
• Vazão em Cenário Real: Medido em uma GPU NVIDIA L40S, o LookWhen é 6,7× mais rápido que o InternVideo2-B denso (IV2) em precisão igual. Essa lacuna é maior do que as economias teóricas de FLOP sugerem porque as bases IV2+mesclagem sofrem incompatibilidades com Flash Attention e exigem tamanho de lote 1 ou mascaramento.
• Estudos de Ablação:
  • Seleção: Treinar em "top1-dist" (unicidade) supera significativamente o treinamento em mapas de atenção (IV2 ou DINOv3) ou seleção aleatória.
  • Extração: Usar tanto professores de vídeo quanto de imagem, juntamente com normalização temporal das características do DINOv3, produz o melhor desempenho, particularmente em tarefas de granularidade fina como Diving48 e Jester.

5. Significado e Alegações

O artigo afirma que o LookWhen aborda com sucesso a ineficiência computacional de Transformers de vídeo aprendendo a calcular apenas quando, onde e o que é necessário.

• Eficiência: Demonstra que a esparsidade pode ser alcançada sem as penalidades de tempo de execução da mesclagem de tokens, oferecendo um caminho prático para reconhecimento de vídeo mais rápido.
• Generalização: O framework aprende representações gerais que são eficazes tanto para sondagem linear (extração de características) quanto para ajuste fino, frequentemente superando seu próprio professor denso (InternVideo2) em cenários específicos.
• Escalabilidade: Ao desacoplar a seleção de tokens da extração profunda de características, o método permite esparsidade agressiva (até 95%) enquanto mantém alta precisão.

Os autores notam limitações, como a restrição atual a modelos ViT-Base devido a restrições de computação e a dependência de professores com representações ancoradas posicionalmente. No entanto, eles postulam que, à medida que modelos fundamentais evoluem para fornecer melhores saídas ancoradas posicionalmente, o framework LookWhen se tornará ainda mais eficaz. Trabalho futuro é sugerido para vídeos longos, processamento multi-visão e dados hiperespectrais.