Resumo Técnico: MoTIF – Modelo de Gargalo de Conceito Temporal para Classificação Interpretável de Vídeo

Declaração do Problema

Enquanto os Modelos de Gargalo de Conceito (CBMs) permitiram com sucesso a classificação interpretável de imagens ao estruturar previsões em torno de conceitos compreensíveis por humanos, estender esse paradigma para vídeo permanece desafiador. Diferentemente de imagens estáticas, os dados de vídeo contêm um componente temporal onde os conceitos evoluem ao longo do tempo, e muitas ações não podem ser inferidas a partir de um único quadro. As abordagens existentes frequentemente lutam com dois problemas principais:

1. Modelagem Temporal vs. Interpretabilidade: Os transformadores padrão excelam em capturar dependências de longo alcance, mas empregam uma mistura densa de características temporais que obscurece atribuições ao nível de conceito, tornando-os inadequados para modelagem CBM interpretável.
2. Extração de Conceitos: Anotar manualmente conceitos para vídeo é intensivo em mão de obra. Embora os Modelos Visão-Linguagem (VLMs) ofereçam um caminho para descoberta automática, estender isso para capturar conceitos fundamentados temporalmente e condicionados à classe, sem intervenção manual, é não trivial.

O desafio central é projetar uma arquitetura que lide com entradas de vídeo de comprimento variável e modele dinâmicas temporais, preservando a estrita interpretabilidade ao nível de conceito e evitando a natureza de "caixa preta" dos modelos padrão de aprendizado profundo.

Metodologia: MoTIF

Os autores introduzem o MoTIF (Moving Temporal Interpretable Framework), um CBM baseado em transformador adaptado para classificação de vídeo. O framework opera em sequências de ativações de conceito ao nível de janela e consiste em três componentes primários:

1. Pipeline de Descoberta de Conceitos Baseado em VLM

Em vez de depender de vocabulários de conceitos predefinidos, o MoTIF emprega uma etapa de descoberta agnóstica à tarefa:

• Processo: Um pequeno subconjunto de vídeos de treinamento é amostrado por classe. Um Modelo Visão-Linguagem (VLM), condicionado ao rótulo da classe, gera candidatos em linguagem natural para objetos e ações dentro de cada janela temporal.
• Filtragem: Esses candidatos são incorporados usando modelos baseados em CLIP. Duplicatas próximas são removidas via filtragem por similaridade cosseno (limiar > 0,9), resultando em um banco de conceitos global e diversificado $C$.
• Ativação: Para cada janela de vídeo, as incorporações visuais são comparadas ao banco de conceitos para gerar uma matriz de ativação de conceito $X \in \mathbb{R}^{T \times K}$, onde $T$ é o número de janelas e $K$ é o número de conceitos.

2. Auto-Atenção Temporal por Canal (Atenção Diagonal)

A inovação arquitetônica central é um módulo temporal que isola o raciocínio para cada conceito:

• Estrutura Diagonal: Diferentemente dos transformadores padrão que misturam canais por meio de projeções lineares completas ($W_Q \in \mathbb{R}^{C \times C}$), o MoTIF usa convoluções 1$\times$1 profundas para gerar projeções de Consulta, Chave e Valor para cada canal de conceito independentemente.
• Mecanismo: Cada canal de conceito $c$ calcula suas próprias pontuações de atenção $W_{c,t,u}$ sobre a sequência temporal. Isso garante que evidências de um conceito não fluam para outro, preservando a atribuição estrita de conceito.
• Saída: A saída é uma soma ponderada de valores para cada conceito, mantendo a independência dos canais de conceito enquanto modela quando e como os conceitos se repetem ao longo do tempo.

3. Classificação e Explicação

• Transformação Afim: As ativações passam por uma transformação afim não negativa ($\gamma_c X + \delta_c$) seguida por uma não linearidade Softplus para garantir ativações não negativas e diferenciáveis.
• Agrupamento (Pooling): Um mecanismo de agrupamento Log-Sum-Exp (LSE) agrega logits por passo de tempo em uma previsão ao nível de vídeo. Isso serve como uma aproximação suave do agrupamento máximo e fornece um perfil de importância temporal.
• Explicação em Três Modos: O MoTIF decompõe as previsões em:
  1. Conceitos Globais: Relevância agregada sobre o vídeo completo.
  2. Conceitos Locais: Relevância dentro de janelas temporais específicas de alto peso.
  3. Dependências Temporais: Mapas de atenção mostrando como um canal de conceito distribui o foco ao longo do tempo (por exemplo, identificando âncoras temporais ou presença persistente).

Principais Contribuições

1. Arquitetura MoTIF: Um CBM de Vídeo que utiliza auto-atenção temporal por canal, modelando dinâmicas temporais no nível do conceito individual enquanto preserva a independência dos conceitos.
2. Explicação Multi-Granular: O framework fornece três modos de explicação complementares (mapas globais, locais e de dependência temporal) para rastrear a tomada de decisão ao longo do tempo.
3. Descoberta Baseada em VLM: Um pipeline que extrai conceitos textuais centrados em objetos e ações diretamente dos vídeos de treinamento usando supervisão fraca a partir de rótulos de classe, eliminando a necessidade de anotação manual e melhorando a cobertura de conceitos.

Resultados Experimentais

Os autores avaliaram o MoTIF em quatro benchmarks: Breakfast Actions, HMDB51, UCF101 e Something-Something V2 (SSv2).

• Desempenho vs. CBM Global: O MoTIF supera consistentemente um CBM Global (que faz agrupamento médio das representações de janela antes da classificação). Por exemplo, no Breakfast Actions, o MoTIF melhorou a precisão em 11–18 pontos percentuais sobre o CBM Global, demonstrando o valor da modelagem de conceitos localizados temporalmente.
• Desempenho vs. Modelos de Caixa Preta: Embora uma lacuna permaneça em relação aos modelos de caixa preta mais avançados (por exemplo, VideoMAE V2), o MoTIF reduz significativamente essa lacuna enquanto mantém a interpretabilidade. No SSv2, a variante espaço-temporal (MoTIF-ST) alcançou 41,9% de precisão, comparado a 33,6% para o CBM Global.
• Sensibilidade Temporal: Estudos de ablação usando benchmarks sintéticos e embaralhamento de janelas confirmaram que o MoTIF depende da ordem temporal e não de pistas de aparência estática, particularmente em conjuntos de dados como SSv2, onde rótulos relacionais são críticos.
• Análise de Intervenção: Intervenções destrutivas (zerar os principais conceitos) reduziram significativamente a sobreposição de previsões, enquanto intervenções corretivas (editar conceitos) repararam com sucesso classificações errôneas, validando o vínculo causal entre conceitos e previsões.
• Compensações: Os autores notam uma compensação controlável: impor atenção diagonal preserva a interpretabilidade, mas pode reduzir ligeiramente a precisão em conjuntos de dados altamente complexos em comparação com variantes de atenção completa. No entanto, a atenção completa emaranha os canais, reduzindo a interpretabilidade.

Significado e Alegações

O artigo posiciona o MoTIF como um framework principiado para aprender e explicar representações de conceito temporal. Seu significado reside em:

• Preenchendo a Lacuna: Demonstra que o raciocínio temporal pode ser integrado a modelos de gargalo de conceito sem descartar a estrutura ao nível de conceito, oferecendo uma alternativa viável aos classificadores de vídeo de caixa preta opacos.
• Interpretabilidade sem Sacrifício: Ao isolar o raciocínio temporal por conceito, o MoTIF permite que os usuários rastreiem erros de volta para conceitos temporais ausentes ou ambíguos, em vez de interações de características opacas.
• Modularidade: O framework é compatível com várias espinhas dorsais de incorporação (CLIP, SigLIP, Perception Encoders) e métodos de descoberta de conceitos (textuais ou visuais), sugerindo que melhorias na qualidade dos conceitos e na escalabilidade arquitetônica são caminhos complementares para melhor desempenho.

Os autores concluem que, embora o desempenho dependa fortemente da qualidade dos conceitos, o MoTIF fornece uma base robusta e interpretável para a compreensão de vídeo, alcançando desempenho de última geração entre CBMs enquanto permanece competitivo com baselines não interpretáveis.