Resumo Técnico: Um Conjunto de Perfilagem de Mídia Multi-Visão

Definição do Problema

A detecção automatizada de viés político e factualidade em veículos de notícias é crítica para moldar a opinião pública, no entanto, o campo sofre com a falta de recursos unificados, avaliações abrangentes em abordagens diversas e análise sistemática de estratégias de representação e fusão. Métodos existentes frequentemente dependem excessivamente de conteúdo textual, que pode ser ruidoso, difícil de rastrear em escala e caro para coletar. Embora trabalhos recentes tenham explorado sinais alternativos como metadados de infraestrutura e contexto social, abordagens baseadas em grafos frequentemente sofrem com esparsidade estrutural (por exemplo, componentes desconectados) que limita a aprendizagem de representações. Além disso, avaliações anteriores estão frequentemente vinculadas a visões de grafos únicas e benchmarks, deixando questões em aberto sobre quais sinais e estratégias de fusão são mais confiáveis sob modalidades ausentes ou ruidosas.

Metodologia

Os autores propõem um conjunto de perfilagem multi-visão que integra três visões de grafos e duas visões textuais para caracterizar veículos de notícias.

1. Construção de Dados e Recursos

• MBFC-2025: Os autores introduzem um novo benchmark em grande escala contendo aproximadamente 2.600 veículos classificados pelo Media Bias/Fact Check (MBFC). Diferentemente do conjunto de dados ACL-2020 anterior, que utilizava uma escala de 3 pontos, o MBFC-2025 utiliza uma escala de 5 pontos tanto para viés político (Esquerda, Esquerda-Centro, Centro, Direita-Centro, Direita) quanto para factualidade (Muito Alta, Alta, Mista, Baixa, Muito Baixa).
• Representações Multi-Visão: Para ambos os conjuntos de dados ACL-2020 (~900 veículos) e MBFC-2025, o conjunto constrói cinco representações distintas:
  • Grafo Alexa: Captura sobreposição de audiência baseada em recomendações de sites similares.
  • Grafo de Hiperlinks: Derivado do rastreamento de links externos nas páginas iniciais e artigos dos veículos, refletindo conexões inter-veículos.
  • Grafo Derivado de LLM: Gerado ao solicitar a um LLM (GPT-3.5) que identifique cinco sites semanticamente similares para um veículo dado, codificando similaridade semântica.
  • Artigos: Conteúdo textual capturando tom e enquadramento.
  • Descrições da Wikipedia: Informações contextuais sobre os veículos.

2. Framework de Modelagem

A abordagem formula a perfilagem de mídia como um problema de classificação multimodal onde viés político e factualidade são previstos independentemente.

• Redes Neurais em Grafos (GNNs): Três arquiteturas são empregadas para aprender incorporações estruturais a partir dos grafos: Redes de Convolução Gráfica com Portões Residuais (ResGatedGCN), Redes de Convolução Gráfica (GraphConv) e GraphSAGE. Estas são treinadas usando um objetivo contrastivo em um cenário não supervisionado.
• Modelos Textuais: Modelos de Linguagem Pré-treinados (PLMs) incluindo BERT, RoBERTa, DistilBERT e ALBERT são ajustados finamente em artigos e descrições da Wikipedia. Grandes Modelos de Linguagem (LLMs) como Llama-2, Mistral e GPT-4o também são avaliados usando prompts de poucos exemplos e estratégias de votação (rígida/branda) em artigos resumidos.
• Estratégias de Fusão: O estudo avalia vários métodos para combinar incorporações:
  • Fusão Estática: SVM, Perceptron Multicamada (MLP), Auto-atenção e mecanismos de Atenção Cruzada/Co-atenção.
  • Fusão Dinâmica Baseada em RL: Uma abordagem nova que trata a fusão como um problema de bandito contextual. Um agente de aprendizagem por reforço (usando Otimização de Política Proximal) aprende pesos específicos de veículo para cada visão para maximizar dinamicamente a probabilidade do rótulo verdadeiro, abordando as limitações do peso estático em configurações multi-visão ruidosas ou incompletas.

Contribuições Principais

1. Benchmark MBFC-2025: Um conjunto de dados em grande escala e de granularidade fina de ~2.600 veículos com rótulos em escala de 5 pontos para viés político e factualidade, abordando a escassez de recursos de alta granularidade.
2. Recursos Multi-Visão: A compilação de representações de cinco visões (três grafos, duas fontes de texto) para ambos ACL-2020 e MBFC-2025, permitindo comparação sistemática de diferentes tipos de sinal.
3. Avaliação e Análise Sistemáticas: Uma análise abrangente de visões de incorporação e estratégias de fusão, incluindo a primeira aplicação de Aprendizagem por Reforço (RL) para fusão multi-visão na detecção de viés e factualidade.
4. Resultados State-of-the-Art: Estabelecimento de novos benchmarks no MBFC-2025 e desempenho aprimorado no ACL-2020, demonstrando a eficácia de estratégias de fusão dinâmica.

Resultados Experimentais

• Viés Político: No conjunto de dados ACL-2020, a estratégia de fusão dinâmica baseada em RL alcançou um Macro-F1 de 97,60%, superando a melhor linha de base estática (SVM com visões combinadas) em 95,53%. No mais desafiador MBFC-2025, o agente RL alcançou um Macro-F1 de 78,00%, superando significativamente as linhas de base estáticas (69,29%) e métodos de ensemble (72,41%).
• Factualidade: Enquanto modelos apenas-texto (especificamente ALBERTBase com votação rígida) permaneceram dominantes para factualidade no MBFC-2025 (71,74% Macro-F1), a fusão baseada em RL alcançou um Macro-F1 de 55,30%, performando em par com outras técnicas de fusão como Co-atenção (56,94%). No ACL-2020, a abordagem RL alcançou 76,80% Macro-F1.
• Análise de Visão: O grafo Alexa foi identificado como a visão única mais eficaz devido à ampla cobertura e características de nó informativas. Grafos de hiperlinks forneceram sinais complementares, enquanto grafos derivados de LLM foram encontrados como os mais fracos devido à falta de características de nó explícitas e informações estruturais limitadas.
• Dificuldade da Tarefa: Achados empíricos confirmam que o viés político é mais fácil de detectar do que a factualidade, pois o viés é mais explícito na linguagem, enquanto a factualidade requer compreensão contextual mais profunda.

Significância e Alegações

O artigo alega que a perfilagem eficaz de veículos depende de representações confiáveis que vão além do conteúdo textual ruidoso. Ao introduzir o MBFC-2025 e um conjunto multi-visão, os autores abordam a lacuna em recursos unificados e análise sistemática. A significância primária reside em demonstrar que estratégias de fusão dinâmica, especificamente aquelas impulsionadas por Aprendizagem por Reforço, superam métodos de combinação estática, particularmente em configurações multi-visão complexas onde os sinais variam em confiabilidade. O trabalho estabelece que, embora representações de grafos de visão única sejam subótimas, combinar múltiplas visões captura dependências de rede diversas, embora adicionar muitas representações possa levar a retornos decrescentes. Os autores posicionam este trabalho como um ponto de partida para perfilagem em nível de fonte, observando que pesquisas futuras devem se estender para previsão em nível de artigo e alegação e contextos multilíngues.

Limitações

Os autores reconhecem várias restrições:

• Cobertura de Dados: Alguns sites não puderam ser analisados, e o conjunto de dados permanece centrado nos EUA, potencialmente sub-representando outras perspectivas culturais ou políticas.
• Construção de Grafos: Grafos de hiperlinks e LLM carecem de atributos de nó ricos, forçando o uso de características fictícias que podem ter restringido o desempenho.
• Restrições Computacionais: O estudo priorizou modelos eficientes e não explorou o ajuste fino de LLMs maiores ou arquiteturas avançadas de mistura de especialistas devido a limitações de tempo e memória.
• Escopo: O framework é projetado para análise de pesquisa e transparência, não para filtragem de conteúdo ou personalização, e as descobertas devem ser interpretadas com cautela ao generalizar além das fontes estudadas.