Resumo Técnico: Aprendendo a Detectar Negação Cross-Modal

Declaração do Problema

A detecção de conceitos semânticos de alto nível, especificamente a negação, através de diferentes modalidades continua sendo um desafio significativo para os atuais Modelos de Visão-Linguagem (VLMs). Embora a negação seja central na comunicação humana — transmitindo ausência, recusa ou oposição — os sistemas atuais lutam para compreendê-la ou gerá-la, particularmente ao vincular negadores textuais (ex: "não", "nunca") a pistas visuais de ausência ou contradição.

O artigo identifica três problemas principais nas configurações multimodais atuais:

1. Falta de Separabilidade: A negação não forma uma classe linear ou não linearmente separável nos espaços latentes dos VLMs padrão.
2. Codificação Específica de Modalidade: Os embeddings pré-treinados codificam primariamente características específicas da modalidade em vez de um sinal de negação generalizável.
3. Falha de Alinhamento: Sobreposições simples falham em alinhar a negação entre texto e imagem, pois formatos de modalidade única capturam padrões intramodais, mas perdem dependências cross-modais essenciais.

Os autores investigam essas questões no contexto do discurso político, analisando pares de vídeo-texto onde mudanças sutis de contexto e significados implícitos frequentemente escapam de sistemas focados em correspondências diretas.

Metodologia

A pesquisa emprega um pipeline de múltiplos estágios envolvendo curadoria de dataset, análise de embedding, inovação arquitetural e anotação baseada em LLM.

1. Dataset e Pré-processamento

• Fonte de Dados: Um dataset curado de 13.370 tweets do MultiParTweet, com foco específico em 3.222 pares de vídeo-texto de conteúdo político.
• Transcrição: O Reconhecimento Automático de Fala (ASR) processa trilhas de áudio, e o OCR extrai texto incorporado em imagens.
• Classificação: Os autores definem uma taxonomia de oito classes de padrões de negação baseada na presença ou ausência de negação no texto do tweet e na transcrição da mídia (ex: negação apenas no texto, negação apenas na transcrição, negação em ambos, ou em nenhum).

2. Análise de Embedding

Os autores primeiro testaram se sinais de negação existem em embeddings padrão:

• Modelos Utilizados: Qwen-2.5VL (3B) para texto/imagem/vídeo e variantes do JEPA-V2 (incluindo SSV-pré-treinado) para vídeo.
• Técnicas: Análise Discriminante Linear (LDA) e t-SNE para visualização; PCA para redução de dimensionalidade; e uma bateria de 26 classificadores diversos (lineares, baseados em árvores, ensemble, vizinhos mais próximos) para testar a separabilidade.
• Descobertas: Os classificadores alcançaram alta acurácia nominal, mas a Acurácia Balanceada e os escores de ROC AUC permaneceram próximos ao acaso (0.5). O PCA revelou que os embeddings codificam características específicas da modalidade em vez de sinais de negação.

3. Arquitetura de Atenção Cross-Modal

Para superar as limitações dos embeddings unimodais, os autores propuseram uma Estrutura de Atenção Cross-Modal:

• Arquitetura: Um transformer unificado concatena os embeddings de vídeo ($V$) e texto ($T$) ($X = \text{Concat}(V, T)$) e aplica atenção multi-cabeça (multi-head attention).
• Mecanismo: O modelo aprende dependências inter-modais para fundir sinais que são fracos ou confusos quando isolados.
• Configuração: Experimentos compararam configurações de atenção de 4 vs. 8 cabeças, descobrindo que 4 cabeças frequentemente mitigavam a sobreparametrização em espaços de dimensionalidade moderada.

4. Anotação Baseada em LLM

• Ferramenta: O Qwen-VL 2.5 foi utilizado para gerar anotações estruturadas para os 3.222 pares de vídeo-texto políticos.
• Processo: O LLM foi instruído a detectar negação no texto e no vídeo de forma independente, e então avaliar o alinhamento de modalidade (Total, Parcial, Único, Não relacionado) e a intenção política.
• Validação: Especialistas humanos validaram as anotações do LLM, revelando que, embora o LLM performe bem na negação apenas textual, a detecção de negação visual degrada sem arquiteturas de fusão especializadas.

Principais Resultados

1. Falha de Embeddings Unimodais

Classificadores padrão aplicados a embeddings específicos de modalidade (vídeo, imagem ou texto) falharam em distinguir amostras negadas de não negadas além dos níveis de acaso. Isso confirma que a negação não é um sinal separável em espaços latentes padrão.

2. Sucesso da Atenção Cross-Modal

A estrutura de atenção cross-modal proposta superou significativamente os baselines unimodais:

• Ganhos de Performance: Alcançou até +4,53% de acurácia e +7,03% de F1 sobre os baselines de processamento de texto unimodal.
• Robustez: Esses ganhos foram consistentes através de diferentes backbones de embedding (Qwen e JEPA-V2) e extratores de características (FLAVA), provando que a melhoria advém do modelamento de dependências inter-modais e não apenas de uma melhor extração de características.

3. Assimetria na Manifestação da Negação

A análise estatística dos 3.222 pares revelou uma assimetria crítica:

• Negação Textual: Frequentemente aparece de forma independente e é detectável em contextos apenas de texto.
• Negação Visual: É semanticamente dependente do contexto linguístico. Pistas de negação visual foram quase exclusivamente identificadas em pares alinhados de texto-vídeo e estavam ausentes em pares não relacionados ou unimodais.
• Padrões de Atenção: Modelos treinados em alvos de negação textual mostraram atenção assimétrica (suprimindo o alinhamento quando as modalidades se contradizem), enquanto modelos treinados em negação de vídeo mantiveram uma atenção cross-modal alta e simétrica, reforçando a dependência da negação visual em relação ao texto.

4. JEPA-V2 e Raciocínio Temporal

Embora os embeddings do JEPA-V2 tenham fornecido características temporais de alto nível, a melhor performance para detecção de negação textual ainda foi alcançada com a atenção cross-modal de 4 cabeças usando embeddings Qwen, sugerindo que a escolha do embedding base impacta significativamente a eficácia do mecanismo de atenção.

Significância e Contribuições

O artigo reivindica cinco contribuições principais para o campo da análise multimodal:

1. Taxonomia de Oito Classes: Uma nova classificação de padrões de negação multimodal decorrentes de relações texto-imagem, permitindo uma análise mais refinada de mudanças de significado.
2. Evidência Diagnóstica: Prova empírica de que a negação carece de fronteiras claras em embeddings típicos de VLM, desafiando a suposição de que a negação é um recurso padrão aprendível em espaços latentes.
3. Arquitetura Cross-Modal: Uma estrutura eficaz baseada em atenção que modela explicitamente dependências inter-modais, demonstrando que a fusão é essencial para uma detecção de negação robusta.
4. Análise de Representação de Vídeo: Uma análise de representações de vídeo especializadas (JEPA2) mostrando que embeddings de vídeo mais profundos podem revelar padrões de negação, embora ainda requeiram alinhamento cross-modal para performance ótima.
5. Estrutura de Anotação por LLM: Um framework escalável, baseado em prompting, para anotar negação no discurso político, o que destaca as limitações dos atuais VLMs em lidar com negação visual sem intervenção humana ou arquitetural.

Conclusão:
Os autores concluem que a negação no discurso multimodal não é um sinal ao nível de embedding, mas um fenômeno cross-modal. Sua expressão e interpretação dependem fortemente do alinhamento de pistas textuais e visuais. Portanto, arquiteturas que suportam fusão multimodal, como a atenção cross-modal, são essenciais para superar os baselines unimodais. O trabalho sugere que sistemas futuros devem ir além da simples extração de características para aprender a semântica da negação cross-modal, potencialmente utilizando anotações derivadas de LLM como supervisão fraca.