AVTF-Net: Attention-Guided Visual–Textual Fusion with AlexNet and BERT for Multimodal Fake News Detection

Resumo Técnico: AVTF-Net para Detecção de Notícias Falsas Multimodais

Declaração do Problema
A rápida disseminação de notícias falsas em plataformas digitais representa uma ameaça significativa à integridade da informação, frequentemente baseando-se em uma combinação de texto enganoso e imagens manipuladas. Embora os sistemas de detecção unimodais (apenas texto ou apenas imagem) tenham avançado, particularmente com modelos baseados em transformadores como o BERT, eles falham em detectar inconsistências cross-modais. Modelos baseados em texto desconsideram o contexto visual, enquanto modelos baseados em imagem perdem as nuances semânticas do texto. Consequentemente, esses sistemas têm dificuldade em identificar estratégias de desinformação que exploram a dissonância entre alegações textuais e evidências visuais. Há uma necessidade crítica de um sistema robusto capaz de raciocinar conjuntamente sobre entradas multimodais para detectar tais discrepâncias semânticas cross-modais.

Metodologia
O artigo propõe o AVTF-Net, um framework de aprendizado profundo híbrido projetado para a detecção de notícias falsas multimodais. A arquitetura integra um AlexNet modificado para extração de características visuais e um modelo BERT ajustado para embeddings contextuais textuais, conectados via uma estratégia de fusão precoce (early fusion).

• Ramo Visual (AlexNet Modificado): O modelo utiliza um AlexNet customizado para extraar características espaciais e semânticas de imagens redimensionadas para 227×227 pixels. Diferente do AlexNet padrão, as camadas finais são modificadas para incluir um módulo de projeção compacto. Isso envolve duas camadas densas (4096 unidades cada) seguidas por uma camada totalmente conectada de 512 unidades com ativação ReLU, dropout e normalização de lote (batch normalization). Este processo gera um embedding visual compacto de 512 dimensões ($h_v$) otimizado para fusão.
• Ramo Textual (BERT): O conteúdo textual (títulos, postagens, comentários) é processado usando um modelo BERT pré-treinado. Os tokens de entrada são formados pela soma dos embeddings de palavra, posição e segmento. O modelo emprega autoatenção de múltiplamente cabeças (multi-head self-attention) e redes de alimentação direta (feed-forward) para capturar relações contextuais e dependências de longo alcance. O output final é uma representação de frase agrupada (pooled) projetada em um espaço de embedding compartilhado de 512 dimensões ($h_t$).
• Estratégia de Fusão Multimodal: A inovação central reside no mecanismo de fusão precoce. Os embeddings visuais e textuais de 512 dimensões são concatenados para formar um vetor composto de 1024 dimensões. Este vetor passa por:
  1. Alinhamento Não Linear: Uma matriz de pesos aprendível e um viés (bias) transformam o vetor concatenado, que é passado por uma ativação tanh para harmonizar escalas e semânticas.
  2. Módulo de Atenção Leve: Um mecanismo de atenção cross-modal pondera dinamicamente os componentes específicos de cada modalidade para amplificar pistas informativas e suprimir padrões irrelevantes.
  3. Classificação: A representação fundida é passada por uma camada totalmente conectada e uma função de ativação sigmoide para classificação binária (Falso vs. Real).
• Treinamento: O modelo é otimizado usando o otimizador Adam e perda de entropia cruzada (cross-entropy loss), incorporando dropout e normalização de lote para regularização e estabilidade.

Principais Contribuições

1. Arquitetura Híbrida Inovadora: O design customiza o AlexNet com camadas totalmente conectadas leves e pooling de média global para embeddings visuais compactos, enquanto integra um modelo BERT ajustado. Isso é acoplado a um módulo de atenção de fusão leve para integrar efetivamente a informação visual e textual.
2. Utilização de Dataset Multimodal: O estudo utiliza o dataset Fakeddit, um corpus de larga escala de postagens do Reddit contendo pares de texto e imagem. Isso desloca o foco de benchmarks apenas de texto para cenários multimodais realistas onde a desinformação envolve ambas as modalidades.
3. Avaliação da Estratégia de Fusão: O artigo avalia sistematicamente tanto as estratégias de fusão precoce (ao nível de características) quanto de fusão tardia (ao nível de decisão). Os resultados experimentais demonstram que a fusão precoce é superior para capturar correlações inter-modais em níveis mais profundos, superando a fusão tardia e os baselines unimodais.

Resultos
O modelo proposto foi avaliado no dataset Fakeddit (1 milhão de amostras) e comparado contra baselines unimodais (apenas BERT, apenas AlexNet), modelos multimodais de fusão tardia, métodos de ensemble e abordagens de estado da arte (SOTA).

• Métricas de Desempenho: O AVTF-Net alcançou uma Acurácia de 95,80% e um F1-score de 95,60%, superando os melhores baselines unimodais (apenas BERT: 89,20% de Acurácia; apenas AlexNet: 81,50% de Acurácia) e o modelo multimodal de fusão tardia (92,60% de Acurácia).
• Comparação com SOTA: O modelo superou métodos recentes de estado da arte, como MACN+MKD, MTTV e GS2F no dataset Fakeddit, alcançando o maior AUC-ROC (0,97) e a menor taxa de erro de classificação (4,20%).
• Generalização: A avaliação cross-domain nos datasets Twitter, PolitiFact e Weibo mostrou que o modelo mantém alta acurácia (89,40%–91,60%), indicando fortes capacidades de generalização apesar de mudanças de domínio.
• Estudos de Ablação: Remover o módulo de atenção causou uma queda significativa no desempenho (a Acurácia caiu para 91,30%), validando seu papel na ancoragem das semânticas de imagem e texto. Da mesma forma, remover a fusão de características (usando apenas uma modalidade) resultou em uma diminuição substancial no desempenho.

Significância e Alegações
O artigo afirma que o AVTF-Net estabelece um novo estado da arte na identificação automatizada de desinformação ao abordar efetivamente as limitações dos sistemas unimodais. Ao aproveitar a fusão precoce, o modelo captura com sucesso dependências cross-modais e discrepâncias semânticas que são características de notícias falsas sofisticadas. Os autores asseguram que o alto desempenho (aproximando-se dos níveis de anotadores humanos de 96,90% de acurácia) e a robustez contra ruído tornam o sistema adequado para aplicações práticas em verificação de conteúdo, monitoramento de desinformação e moderação automatizada. O estudo enfatiza que a integração de evidências visuais e textuais é essencial para detectar notícias falsas de alta fidelidade, onde textos e imagens são manipulados para reforçar narrativas falsas. O trabalho futuro sugerido pelos autores inclui a exploração de encoders visuais avançados (ex: Vision Transformers), a incorporação de bases de conhecimento externas e a melhoria da adaptabilidade de domínio para diferentes plataformas e idiomas.