Interpreting Video Representations with Spatio-Temporal Sparse Autoencoders

Título: Interpretação de Representações de Vídeo com Autoencoders Esparsos Espaço-Temporais

1. Problema e Motivação

Os Autoencoders Esparsos (SAEs) têm revolucionado a interpretabilidade em modelos de linguagem e imagens estáticas, decompondo ativações em características monossêmicas (que representam um único conceito). No entanto, sua aplicação em modelos de visão de vídeo permanece subexplorada.

O desafio central identificado pelos autores é estrutural:

• Um vídeo gera um tensor de características com dimensões temporais ($T$ frames) e espaciais ($P$ patches).
• Um conceito semântico (ex: uma mão movendo-se) deve ativar características consistentes ao longo do tempo.
• Falha dos SAEs Padrão: Ao codificar cada patch de forma independente, os SAEs padrão ignoram a estrutura espaço-temporal. O mecanismo de seleção "hard TopK" (que escolhe as $k$ maiores ativações) causa incoerência temporal: as características ativas mudam drasticamente entre frames consecutivos, mesmo quando o conteúdo visual é estável. Isso destrói a capacidade de rastrear conceitos ao longo do tempo.

2. Metodologia Proposta

Os autores propõem uma extensão dos SAEs para o domínio de vídeo, introduzindo objetivos de aprendizado que preservam a coerência temporal e espacial.

• Base: Extração de características de backbones pré-treinados (DINOv2 e VideoMAE) e aplicação de SAEs com fator de expansão 8x ($H=6144$) e $k=64$.
• Novas Variantes com Objetivos Contrastivos:
  1. Contraste Temporal (T-SAE): Força ativações consistentes para a mesma posição espacial em frames consecutivos ($t$ e $t+1$).
  2. Contraste Separado (ST-SAE): Adiciona uma perda contrastiva espacial (entre patches adjacentes no mesmo frame) além da perda temporal, permitindo controle independente.
  3. Contraste Raster-Scan (R-SAE): Serializa a grade espaço-temporal em uma sequência 1D e aplica uma única perda contrastiva em elementos adjacentes, unificando coerência espacial e temporal.
• Agrupamento Hierárquico Matryoshka (+M):
  • Divide o dicionário em um grupo de alto nível (20% das features) e baixo nível (80%).
  • O grupo de alto nível é treinado para ser auto-suficiente na reconstrução, concentrando informações semanticamente relevantes (ações) em um subconjunto compacto, enquanto detalhes finos ficam no grupo inferior.
• Compensação Controlável: A força do contraste (controlada pelo coeficiente de perda $\lambda$ ou temperatura $\tau$) define um ponto de operação na fronteira de Pareto entre fidelidade de reconstrução e coerência temporal.

3. Principais Contribuições

1. Primeiro Estudo Sistemático de SAEs em Vídeo: Demonstra que SAEs podem decompor representações de vídeo em conceitos interpretáveis (elementos de cena, objetos, ações), mas expõe a falha crítica de incoerência temporal.
2. Diagnóstico da Incoerência Temporal: Identifica que a seleção hard TopK reduz a autocorrelação temporal (lag-1) em 36%. Mostra que suavização post-hoc (ex: EMA) melhora a coerência, mas degrada a discriminação de ações, provando que o aprendizado conjunto é necessário.
3. Descoberta de Artefato de Métrica: Revela que a métrica padrão de "Monosemanticity" (baseada em similaridade DINOv2) infla artificialmente os scores de modelos pré-treinados em vídeo (VideoMAE) devido a vieses de alinhamento. Ao usar CLIP como backbone neutro, DINOv2 e VideoMAE produzem características igualmente monossêmicas.
4. Mecanismo de Compensação Ajustável: Estabelece que a força contrastiva é um eixo controlável. Baixa força preserva a reconstrução; alta força maximiza a coerência temporal e a discriminação de ações.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados SSv2 (interações mão-objeto) e Kinetics-400 (ações diversas), usando backbones DINOv2 e VideoMAE.

• Coerência Temporal:
  • SAEs padrão reduzem a coerência (lag-1) de 0.435 (raw) para 0.277.
  • A variante Temporal+M com alta força contrastiva supera até mesmo as características brutas, alcançando lag-1 = 0.462 (vs. 0.435 do raw).
• Discriminação de Ações (Classificação):
  • As características SAE superam as características brutas em classificação de ações.
  • A variante Temporal+M alcança +3.9% de acurácia sobre as características brutas (20.4% vs 17.4% no DINOv2).
  • Ablação Causal: A remoção de apenas 10 features (0.16% do dicionário) na variante temporal causa uma queda drástica de 9.3 pontos percentuais na acurácia, indicando que o sinal preditivo está concentrado em poucas features identificáveis.
• Recuperação Texto-Vídeo:
  • Melhoria significativa na recuperação: até 2.8x no R@1 para DINOv2 e 1.9x para VideoMAE.
  • As features SAE alinham melhor a semântica visual com textos de ações do que as features brutas ou reconstruídas (mesmo com mesma dimensionalidade).
• Análise de Camadas:
  • Para DINOv2 (sem pré-treinamento temporal), o contraste temporal é crucial na camada final.
  • Para VideoMAE (com pré-treinamento temporal), o ganho do contraste é menor, pois a estrutura temporal já está parcialmente aprendida.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma para a interpretabilidade de modelos de vídeo:

• Princípio de Design: A coerência temporal não é um efeito colateral, mas uma propriedade controlável via objetivos contrastivos.
• Interpretabilidade Mecanística: Confirma que é possível isolar features que representam ações específicas e objetos de forma estável ao longo do tempo, permitindo intervenções causais precisas.
• Limitações e Futuro: O método assume correspondência espacial aproximada (funciona bem em câmeras fixas, mas pode sofrer com movimento de câmera intenso). O uso de soft sparsity (sparsemax) mostrou-se insuficiente para substituir totalmente o hard TopK, sugerindo que mecanismos híbridos são o caminho futuro.

Em resumo, os autores demonstram que, ao adaptar SAEs com objetivos espaço-temporais, é possível obter representações de vídeo que são simultaneamente altamente interpretáveis, temporalmente coerentes e mais eficazes em tarefas downstream do que as representações brutas ou SAEs padrão.