Resumo Técnico: CLARA – Alinhamento Multimodal em Nível de Clipe com Racionalidades Derivadas de VLM para Detecção de Vídeos de Ódio

Declaração do Problema

A detecção de vídeos de ódio é um desafio crítico, porém subexplorado, na moderação de conteúdo, particularmente à medida que as plataformas de vídeo social crescem. Diferente de texto ou conteúdo multimodal estático (ex: memes), o significado de ódio em vídeos frequentemente surge de interações complexas e temporalmente dependentes entre sinais de fala, áudio e pistas visuais. Esses sinais são frequentemente breves, implícitos e sensíveis ao contexto, emergindo progressivamente através de múltiplos clipes em vez de estarem contidos em um único quadro ou enunciado.

As abordagens existentes baseiam-se predominantemente em modelagem grosseira de nível de vídeo, onde vídeos inteiros são codificados em representações globais antes da fusão e classificação. Esse paradigma sofre de três limitações principais:

1. Perda de Granularidade Temporal: Comprimir um vídeo em uma única representação corre o risco de diluir momentos de ódio curtos e decisivos com segmentos neutros longos.
2. Estratégias de Fusão Rígidas: Regras de fusão fixas falham em se adaptar às mudanças dinâmicas nas contribuições das modalidades (ex: o ódio mudando de palavras faladas para o contexto visual) ao longo do tempo.
3. Modelagem Local-Global Desconectada: Trabalhos anteriores raramente modelam explicitamente a relação entre pistas locais e o contexto do discurso mais amplo, o que é essencial para interpretar o ódio implícito.

Metodologia: O Framework CLARA

Os autores propõem o CLARA (Clip-Level Multimodal Alignment with VLM-Derived Rationales), um framework que altera a unidade básica de modelagem do vídeo completo para clipes alinhados por enunciado. A arquitetura consiste em seis componentes principais:

1. Segmentação de Clipe Alinhada por Enunciado

Em vez de segmentação de comprimento fixo, os vídeos são segmentados com base em fronteiras de enunciado usando transcrições e carimbos de tempo do Whisper-large-v3. Isso garante que cada clipe corresponda a uma unidade semanticamente coerente. Intervalos de silêncio são tratados mesclando pausas menores que 1 segundo em clipes adjacentes, mantendo pausas mais longas como segmentos independentes para preservar a estrutura do discurso.

2. Codificador de Clipe Baseado em MoE

Para cada clipe, as características multimodais são extraídas:

• Áudio: Embeddings brutos do Whisper-large-v3.
• Visual: Embeddings de nível de quadro de um ViT pré-treinado, com orçamentos de quadros alocados proporcionalmente à duração do clipe.
• Texto: Embeddings concatenados de transcrições e texto OCR (extraído via PaddleOCR) codificados pelo BERT.

Essas características são projetadas em um espaço latente compartilhado e fundidas usando um codificador de Mistura de Especialistas (MoE). Uma rede de roteamento direciona dinamicamente as entradas para um subconjunto de especialistas (Top-K), permitindo um alinhamento multimodal adaptativo e dependente da entrada, em vez de uma fusão estática. Uma perda de equilíbrio de carga (load-balancing loss) garante a utilização eficiente dos especialistas.

3. Aprendizado Contrastivo de Segmentos Local-Global

Para unir pistas locais e contexto global, uma objetiva contrastiva é introduzida. O modelo constrói:

• Segmentos Locais: Sequências curtas de clipes consecutivos.
• Segmentos Globais: Extensões temporais mais longas que cobrem o vídeo.
  O objetivo impõe consistência entre segmentos locais e globais do mesmo vídeo (pares positivos) enquanto afasta segmentos de vídeos diferentes (pares negativos). Isso incentiva o modelo a capturar tanto sinais de curto prazo quanto dependências temporais de longo alcance.

4. Geração de Racionalidade Impulsionada por VLM

Um Modelo de Linguagem e Visão (Qwen3VL-8B-Instruct) gera racionalidades de nível de vídeo através de um processo de prompting de dois passos:

1. Análise Objetiva: Descrevendo visuais, resumindo o texto e explicando sua relação.
2. Verificação de Ódio: Determinando a natureza do ódio (explícito/implícito) e fornecendo razões baseadas em evidências.
   Essas racionalidades servem como orientação semântica de alto nível.

5. Transformer com Portão de Racionalidade (Rationale-Gated Transformer)

A embedding da racionalidade gerada e a sequência de embeddings dos clipes são integradas via um Transformer com portão (gated Transformer). Um mecanismo de portão leve modula as contribuições dos ramos de racionalidade e de clipe antes da codificação temporal. Isso permite que o modelo pondere dinamicamente o raciocínio semântico de alto nível contra a evidência de clipe de granularidade fina antes de agregá-los em uma representação final de vídeo.

6. Objetivo de Treinamento

O modelo é otimizado usando uma combinação de:

• Perda de Entropia Cruzada Supervisionada: Para classificação final de ódio.
• Perda Contrastiva ($L_{CL}$): Para alinhamento local-global.
• Perda de Equilíbrio de Carga ($L_{LB}$): Para estabilidade do MoE.

Contribuições Principais

1. Paradigma de Nível de Clipe: O CLARA vai além da modelagem grosseira de nível de vídeo ao representar explicitamente os vídeos como sequências de clipes alinhados por enunciado, preservando unidades temporais de granularidade fina onde as pistas de ódio emergem.
2. Arquitetura Adaptativa: O framework combina um codificador de clipe MoE para fusão dinâmica, um objetivo contrastivo local-global para consistência temporal em múltiplas escalas e um Transformer com portão que integra racionalidades derivadas de VLM para orientação semântica.
3. Desempenho de Estado da Arte: Experimentos extensos demonstram que o CLARA supera consistentemente as bases existentes em múltiplos conjuntos de dados.

Resultados Experimentais

Os autores avaliaram o CLARA em três conjuntos de dados: HateMM, MultiHateClip (subconjuntos chinês e inglês) e DeHate.

• Desempenho: O CLARA alcançou resultados de estado da arte em todos os conjuntos de dados e métricas (Acurácia, Macro-F1, Macro-Precisão, Macro-Recall).
  • No HateMM, o CLARA alcançou 87,9% de Acurácia e 87,2% de Macro-F1, superando o segundo melhor método (MM-HSD) em 4,0% em Acurácia (0,879 vs 0,839) e 3,9% em Macro-F1 (0,872 vs 0,833).
  • Melhorias significativas semelhantes foram observadas no MHC_CN, MHC_EN e DeHate, com melhorias absolutas em todos os conjuntos de dados variando de 2,4% a 5,3% em Acurácia e de 2,7% a 7,4% em Macro-F1.
• Estudos de Ablação: Remover qualquer componente (modalidades, MoE, aprendizado contrastivo, racionalidades ou o Transformer com portão) resultou em degradação do desempenho. Notavelmente, remover o Transformer com portão causou uma queda significativa, destacando a importância da modelagem temporal explícita.
• Análise de Parâmetros:
  • MoE: O desempenho ideal foi encontrado com 10 especialistas e roteamento Top-2, embora configurações com 8–10 especialistas tenham produzido resultados fortes.
  • Peso Contrastivo: Um peso moderado ($\lambda_{CL} \approx 0,4$) proporcionou o melhor equilíbrio entre alinhamento e classificação.
  • Orçamento de Quadros: Um orçamento relativamente pequeno (40 quadros) foi suficiente, com orçamentos maiores não oferecendo benefício adicional.

Significância e Alegações

O artigo afirma que a detecção eficaz de vídeos de ódio requer não apenas a integração de múltiplas modalidades, mas quando e em qual granularidade temporal elas são alinhadas. Ao deslocar a interação multimodal para o nível de clipe alinhado por enunciado, o CLARA mitiga a diluição de pistas de ódio decisivas encontradas na modelagem global de vídeo.

Os autores asseguram que sua abordagem aborda efetivamente o desafio do ódio implícito e dependente de contexto ao:

1. Preservar a estrutura temporal de granularidade fina.
2. Vincular explicitamente a evidência local com o discurso mais amplo via aprendizado contrastivo.
3. Aproveitar as racionalidades derivadas de VLM para guiar a interpretação no nível da sequência, em vez de pós-compressão.

O trabalho posiciona o CLARA como uma solução robusta e de estado da arte que avança o campo além de estratégias de fusão fixa e representações de granularidade grosseira, oferecendo uma compreensão mais matizada de como o significado de ódio se desenrola ao longo do tempo.