Resumo Técnico: CrediBench: Dados de Rede em Escala Web para Predição de Credibilidade

Declaração do Problema

A avaliação automática da credibilidade de fontes online é crítica para navegar nos modernos ecossistemas de informação, particularmente dada a rápida propagação de desinformação e a emergência da IA generativa, que pode produzir conteúdo indistinguível e persuasivo. As abordagens existentes para a predição de credibilidade sofrem de duas limitações primárias:

1. Escassez de Dados e Custo: A maioria dos métodos depende de anotações humanas escassas e dispendiosas ou avaliações orientadas por especialistas que não escalam para o volume dos fluxos de informação modernos.
2. Estreiteza de Modalidade: A pesquisa atual foca predominantemente em alegações, postagens ou documentos individuais, analisando apenas sinais baseados em texto (endógenos). Isso ignora os sinais estruturais e temporais inerentes à topologia da web, como domínios interligados e sua evolução ao longo do tempo.

Além disso, os conjuntos de dados existentes para predição de credibilidade são limitados em escala (frequentemente contendo apenas dezenas de milhares de domínios) e frequentemente carecem da integração de três modalidades centrais: topologia da internet (estrutura de grafo), temporalidade (evolução ao longo do tempo) e o conteúdo de texto da página web. Essa lacuna dificulta o desenvolvimento de estratégias de mitigação escaláveis e generalizáveis para a desinformação.

Metodologia

Os autores apresentam o CrediBench, um conjunto de dados e framework em escala web projetado para abordar essas lacunas, modelando a predição de credibilidade como um problema de aprendizado de Grafo Temporal Atribuído a Texto (TAG).

1. Pipeline de Construção de Dados

O CrediBench é construído a partir de oito meses de dados do Common Crawl. O pipeline envolve:

• Construção do Grafo: Os nós representam domínios da web e as arestas representam hiperlinks entre eles. O conjunto de dados inclui mais de 40 milhões de nós e mais de 1 bilhão de arestas por snapshot mensal.
• Extração de Texto: O conteúdo bruto das páginas web (texto simples do corpo) é extraído para cada domínio do Common Crawl a partir de arquivos WET usando um cluster Spark distribuído. Este texto é processado em embeddings.
• Snapshots Temporais: Os dados são organizados em snapshots mensais (ex: outubro–dezembro de 2024), capturando a evolução dinâmica do grafo e do conteúdo da web.
• Filtragem: Domínios com um grau abaixo de um limite (padrão de 3) são filtrados para manter um único componente conectado de domínios ativos, reduzindo a carga computacional e focando em entidades relevantes.

2. Conjuntos de Rótulos (Labels)

Para permitir o aprendizado supervisionado, os autores curaram dois conjuntos de rótulos distintos:

• Rótulos de Regressão (Domain Quality Ratings - DQR): Um conjunto de dados de 11.520 domínios rotulados com pontuações de credibilidade orientadas por especialistas. O ground truth é a pontuação do Primeiro Componente Principal (PC1) derivado de uma PCA de seis fontes especialistas, variando de 0 a 1.
• Rótulos de Classificação Binária (DomainRel): Um novo conjunto de dados de 662.575 domínios agregados de oito fontes (incluindo verificadores de fatos, listas de crowdsourcing como Wikipedia e bancos de dados de malware/phishing). Os domínios são rotulados como críveis (1) ou não confiáveis (0), cobrindo quatro categorias: desinformação, crowdsourced, phishing e malware.

3. Formulação da Tarefa

O artigo formula a predição de credibilidade como duas tarefas de nível de nó no TAG:

• Regressão: Predizer uma pontuação de credibilidade contínua ($y \in [0, 1]$).
• Classificação Binária: Predizer um status de credibilidade booleano ($y \in \{0, 1\}$).

4. Modelos Experimentais

Os autores avaliam várias modalidades e combinações:

• Apenas Texto: Usando LLMs como Gemma3, Qwen3 e OpenAI TE3L para embutir o conteúdo de texto, alimentando regressores/classificadores MLP.
• Apenas Grafo: Usando Redes Neurais de Grafos (GCN, GraphSAGE, GAT) para aprender estruturas de hiperlinks.
• Multimodal: Concatenando embeddings de grafo (de GAT) e embeddings de texto (de LLMs) para formar representações conjuntas.
• Temporal: Agregando embeddings através de snapshots mensais consecutivos para capturar a evolução temporal.

Principais Contribuições

1. Maior Conjunto de Dados de Credibilidade de Domínio: O CrediBench é o maior conjunto de dados de seu tipo, apresentando 8 meses de grafos em escala web com atributos de texto ricos. Cada snapshot contém >40M de nós, >1B de arestas e >100GB de conteúdo de texto.
2. Rotulagem Multimodal Inovadora: A introdução do DomainRel, um conjunto de rótulos binários de 662k domínios abrangendo quatro distintas categorias de credibilidade, supera significativamente os conjuntos de dados de nível de domínio existentes em tamanho e diversidade.
3. Validação Empírica de Multimodalidade: O estudo demonstra que combinar estrutura de grafo, conteúdo de texto e evolução temporal produz um desempenho superior em comparação com abordagens de modalidade única.
4. Recursos Abertos: O conjunto de dados está hospedado no Hugging Face, e um pacote PyPI amigável ao usuário (credigraph) é fornecido para acesso via API e reprodutibilidade.

Resultados Experimentais

Os experimentos foram conduzidos em snapshots próximos às eleições federais dos EUA de 2024 (outubro–dezembro de 2024).

• Desempenho de Regressão:
  • O modelo multimodal (GAT + Text Embeddings) alcançou os melhores resultados, reduzindo o Erro Médio Absoluto (MAE) de 0.162 (baseline LLM-URL) para 0.107.
  • Modelos de apenas texto (usando OpenAI TE3L) superaram os modelos de apenas grafo, indicando que o conteúdo de texto fornece sinais fortes, mas a combinação de ambas as modalidades resulta no menor erro.
• Desempenho de Classificação:
  • O classificador multimodal melhorou a acurácia de 56% (baseline LightGBM) para 85%.
  • O modelo de melhor desempenho foi um GAT multimodal com embeddings de texto (GAT ⊕ Gemma3/TE3L), alcançando ~84-85% de acurácia através dos snapshots.
• Insights Temporais:
  • A incorporação da evolução temporal (agregando dados ao longo dos meses) reduziu ainda mais o MAE para 0.107 na tarefa de regressão, confirmando que a natureza dinâmica do grafo da web é um sinal crítico para a credibilidade.
  • A análise de sobreposição de domínios mostrou que, embora ~49% dos domínios sejam retidos ao longo dos meses, apenas ~19% das arestas são comuns, destacando a necessidade de aprendizado de grafo temporal.

Significância e Alegações

O artigo afirma que o CrediBench fornece uma "base sólida para pesquisas futuras em predição de credibilidade" ao abordar a falta crítica de conjuntos de dados multimodais em larga escala. Os autores afirmam que:

• Escalabilidade é a Chave: Métodos existentes falham em escalar para o nível da web; o CrediBench permite o treinamento de modelos capazes de lidar com bilhões de interações.
• Sinais Holísticos são Necessários: Os resultados empíricos apoiam a hipótese de que a credibilidade não é apenas uma função de texto ou estrutura, mas um resultado de sua interação ao longo do tempo. Ignorar qualquer uma dessas modalidades leva a um desempenho subótimo.
• Reprodutibilidade: Ao liberar os dados e o código, os autores visam acelerar o desenvolvimento de estratégias de mitigação principadas e escaláveis contra a desinformação, particularmente no contexto de métodos de geração de conteúdo em evolução, como os LLMs.

O trabalho se posiciona como um passo necessário para compreender os "sinais de credibilidade estruturais e temporais evidentes na mudança da topologia da web", indo além das limitações da análise de nível de alegação para uma perspectiva de nível de domínio e escala web.