Resumo Técnico: TACO – Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition

1. Declaração do Problema

O artigo aborda o desafio de adaptar Modelos de Visão-Linguagem (VLMs) de larga escala, especificamente o CLIP, para o reconhecimento de vídeo de vocabulário aberto (open-vocabulary video recognition). Embora o CLIP ofereça uma forte generalização para conceitos visuais não vistos via pré-treinamento imagem-texto, adaptar o modelo para o domínio de vídeo requer a injeção de conhecimento temporal específico de vídeo sem destruir suas capacidades de generalização pré-treinadas.

Os autores identificam uma inconsistência crítica nos paradigmas de ajuste fino (fine-tuning) existentes:

• Objetivo de Treinamento: A otimização é estritamente confinada ao espaço In-Distribution (ID) (as categorias específicas no conjunto de dados de ajuste fino).
• Objetivo de Avaliação: O modelo é avaliado no espaço Out-of-Distribution (OOD) (categorias não vistas).

Métodos existentes tentam equilibrar generalização e especialização usando regularizações, mas negligenciam o desvio de representações que ocorre além da distribuição de treinamento. O artigo argumenta que o ajuste fino padrão causa um desvio das representações visuais e de texto em direções diferentes no espaço OOD, interrompendo o alinhamento cross-modal estabelecido pelo modelo CLIP pré-treinado. Esse "desvio de alinhamento" (alignment shift) compromete diretamente a capacidade do modelo de generalizar para categorias de vídeo não vistas.

2. Metodologia: Estrutura TACO

Para mitigar os efeitos negativos do desvio de representação, os autores propõem o TACO, uma estrutura construída sobre dois componentes principais:

A. Destilação de Estrutura Relativa (RSD - Relative Structure Distillation)

Em vez de modelar explicitamente a semântica OOD (o que exigiria uma coleta de dados dispendiosa), o TACO regulariza todo o espaço de representação para preservar sua estrutura geométrica relativa.

• Mecanismo: O método introduz Âncoras Geométricas Aleatórias ($Z$) amostradas da hiperesfera unitária do espaço de embedding do CLIP. Essas âncoras atuam como pontos de referência geométrica que são semanticamente neutros, mas uniformemente distribuídos pelo espaço.
• Objetivo de Destilação: Uma perda de divergência de Kullback-Leibler (KL) é aplicada para alinhar as relações relativas entre os embeddings do estudante (visuais e de texto) e as âncoras com as do modelo professor (uma Média Móvel Exponencial do estudante).
  • A função de perda ($L_{RSD}$) garante que a estrutura geométrica definida por $vZ^\top$ e $ZW^\top$ permaneça consistente entre o estudante e o professor.
• Efeito: Isso evita que os embeddings derivem arbitrariamente no espaço OOD durante o ajuste fino, suprimindo efetivamente desvios de alinhamento prejudiciais sem exigir dados de supervisão OOD explícitos.

B. Projeção de Especialização (Specialization Projection)

Os autores observam que o ajuste fino padrão expõe o espaço de representação compartilhado diretamente à perda de Entropia Cruzada (CE) específica da tarefa, levando à especialização excessiva.

• Mecanismo: Uma camada de projeção linear residual leve ($h(\cdot)$) é inserida entre o codificador visual e o espaço de otimização.
  • O Espaço de Representação (saída do codificador) é mantido distinto do Espaço de Otimização (entrada para a perda CE).
  • A cabeça de projeção é treinada com uma taxa de aprendizado mais alta e é descartada durante a inferência.
• Efeito: Isso desacopla o espaço de representação da pressão direta do objetivo CE. A adaptação específica da tarefa ocorre no ramo de projeção "descartável", preservando a capacidade do espaço de representação subjacente de generalizar para categorias não vistas.

A função de perda total combina a perda de Entropia Cruzada padrão ($L_{CE}$) e a perda de Destilação de Estrutura Relativa ($L_{RSD}$):
$$L = L_{CE} + \lambda L_{RSD}$$

3. Principais Contribuições

1. Reenquadramento do Problema: O artigo identifica e analisa a inconsistência de objetivo entre o ajuste fino baseado em ID e a avaliação baseada em OOD no reconhecimento de vídeo, demonstrando que o ajuste fino padrão induz desvio de representação e desvios de alinhamento no espaço OOD.
2. Destilação de Estrutura Relativa: Uma técnica de regularização inovadora que preserva a estrutura geométrica global do espaço de embedding usando âncoras geométricas aleatórias, controlando efetivamente o desvio OOD sem dados OOD explícitos.
3. Desacoplamento de Representação-Otimização: Uma estratégia arquitetônica genérica usando uma Projeção de Especialização para evitar que o espaço de representação compartilhado seja diretamente especializado pela tarefa.
4. Desempenho de Estado da Arte: A estrutura é validada em múltiplos benchmarks, demonstrando melhorias consistentes sobre métodos existentes.

4. Resultados Experimentais

Os autores avaliam o TACO em configurações de Cross-Dataset e Base-to-Novel usando backbones ViT-B/16 e ViT-L/14.

• Desempenho Cross-Dataset: O TACO supera métodos de estado da arte (ex: Open-VCLIP, FROSTER, MoTE) em UCF-101, HMDB-51 e Kinetics-600. Por exemplo, com um backbone ViT-L/14, o TACO atinge 91,4% no UCF-101 e 64,2% no HMDB-51, superando significativamente o melhor anterior (MoTE).
• Desempenho Base-to-Novel: O TACO atinge a maior Média Harmônica (HM) em K400, HMDB, UCF e Something-Something v2, indicando um equilíbrio superior entre o ajuste às categorias de treinamento e a generalização para as novas.
• Estudos de Ablação:
  • Âncoras: Âncoras geométricas aleatórias amostradas de uma distribuição Gaussiana ($N(0, I)$) superam âncoras semânticas derivadas de LLMs ou corpora de texto, confirmando que o ganho provém da cobertura geométrica e não do conteúdo semântico.
  • Desacoplamento: A Projeção de Especialização mostra-se eficaz em diferentes tipos de adaptação (baseada em Adapter, baseada em Prompt, LoRA e Full Fine-tuning), provando que o método é ortogonal ao mecanismo de adaptação subjacente.
  • Desvio de Alinhamento: Experimentos confirmam que o TACO reduz a divergência KL (desvio de alinhamento) no espaço OOD em comparação ao ajuste fino padrão, correlacionando-se com a melhoria na generalização.

5. Significância e Alegações

O artigo afirma que o TACO oferece uma solução simples, porém eficaz, para o compromisso entre generalização e especialização no reconhecimento de vídeo de vocabulário aberto. Sua principal significância reside em mudar o foco de apenas adicionar restrições dentro da distribuição de treinamento para preservar a consistência do espaço de representação além da distribuição de treinamento.

Ao abordar explicitamente o desvio no espaço OOD através de regularização geométrica e desacoplamento arquitetônico, o TACO permite que os modelos adquiram conhecimento específico de vídeo enquanto mantêm o alinhamento robusto e transferível herdado do CLIP. Os autores enfatizam que sua abordagem é escalável, facilmente integrável em vários pipelines de adaptação e alcança resultados de estado da arte sem depender de módulos complexos de modelagem temporal ou coleta de dados OOD dispendiosa.