Resumen Técnico: CrediBench: Datos de Red a Escala Web para la Predicción de la Credibilidad

Declaración del Problema

La evaluación automática de la credibilidad de las fuentes en línea es crítica para navegar los ecosistemas de información modernos, particularmente dada la rápida propagación de la desinformación y la emergencia de la IA generativa, que puede producir contenido indistinguible y persuasivo. Los enfoques existentes para la predicción de la credibilidad sufren de dos limitaciones primarias:

1. Escasez y Costo de Datos: La mayoría de los métodos dependen de anotaciones humanas escasas y costosas o de evaluaciones impulsadas por expertos que no escalan al volumen de los flujos de información modernos.
2. Estrechez de Modalidad: La investigación actual se centra predominantemente en reclamos, publicaciones o documentos individuales, analizando únicamente señales basadas en texto (endógenas). Esto ignora las señales estructurales y temporales inherentes a la topología de la web, tales como los dominios intervinculados y su evolución a lo largo del tiempo.

Además, los conjuntos de datos existentes para la predicción de la credibilidad son limitados en escala (a menudo conteniendo solo decenas de miles de dominios) y frecuentemente carecen de la integración de tres modalidades centrales: la topología de internet (estructura de grafo), la temporalidad (evolución a través del tiempo) y el contenido de texto de las páginas web. Esta brecha dificulta el desarrollo de estrategias de mitigación escalables y generalizables para la desinformación.

Metodología

Los autores presentan CrediBench, un conjunto de datos y un marco de trabajo a escala web diseñado para abordar estas brechas mediante el modelado de la prediccción de la credibilidad como un problema de aprendizaje de Grafos Temporales con Atributos de Texto (TAG).

1. Pipeline de Construcción de Datos

CrediBench se construye a partir de ocho meses de datos de Common Crawl. El pipeline involucra:

• Construcción de Grafos: Los nodos representan dominios web y las aristas representan hipervínculos entre ellos. El conjunto de datos incluye más de 40 millones de nodos y más de 1 mil mil millones de aristas por instantánea mensual.
• Extracción de Texto: El contenido bruto de las páginas web (texto de cuerpo plano) se extrae para cada dominio de los archivos WET de Common Crawl utilizando un clúster distribuido de Spark. Este texto se procesa en embeddings.
• Instantáneas Temporales: Los datos se organizan en instantáneas mensuales (por ejemplo, octubre–diciembre de 2024), capturando la evolución dinámica del grafo y el contenido de la web.
• Filtrado: Los dominios con un grado inferior a un umbral (predeterminado en 3) se filtran para mantener un único componente conectado de dominios activos, reduciendo la carga computacional y centrándose en entidades relevantes.

2. Conjuntos de Etiquetas

Para permitir el aprendizaje supervisado, los autores curaron dos conjuntos de etiquetas distintos:

• Etiquetas de Regresión (Calificaciones de Calidad de Dominio - DQR): Un conjunto de datos de 11,520 dominios etiquetados con puntuaciones de credibilidad impulsadas por expertos. La verdad de campo es la puntuación del Primer Componente Principal (PC1) derivado de un PCA de seis fuentes expertas, que oscila entre 0 y 1.
• Etiquetas de Clasificación Binaria (DomainRel): Un nuevo conjunto de datos de 662,575 dominios agregados de ocho fuentes (incluyendo verificadores de hechos, listas de origen colaborativo como Wikipedia, y bases de datos de malware/phishing). Los dominios se etiquetan como creíbles (1) o no confiables (0), cubriendo cuatro categorías: desinformación, origen colaborativo, phishing y malware.

3. Formulación de la Tarea

El artículo formula la predicción de la credibilidad como dos tareas a nivel de nodo en el TAG:

• Regresión: Predicción de una puntuación de credibilidad continua ($y \in [0, 1]$).
• Clasificación Binaria: Predicción de un estatus de credibilidad booleano ($y \in \{0, 1\}$).

4. Modelos Experimentales

Los autores evalúan diversas modalidades y combinaciones:

• Solo Texto: Utilizando LLMs como Gemma3, Qwen3 y OpenAI TE3L para embeber el contenido de texto, alimentando regresores/clasificadores MLP.
• Solo Grafo: Utilizando Redes Neuronales de Grafos (GCN, GraphSAGE, GAT) para aprender estructuras de hipervínculos.
• Multimodal: Concatenando embeddings de grafos (de GAT) y embeddings de texto (de LLMs) para formar representaciones conjuntas.
• Temporal: Agregando embeddings a través de instantáneas mensuales consecutivas para capturar la evolución temporal.

Contribuciones Clave

1. El Conjunto de Datos de Credibilidad de Dominios más Grande: CrediBench es el conjunto de datos más grande de su tipo, con grafos a escala web de 8 meses con ricos atributos de texto. Cada instantánea contiene >40M de nodos, >1B de aristas y >100GB de contenido de texto.
2. Etiquetado Multimodal Novedoso: La introducción de DomainRel, un conjunto de etiquetas binarias de 662k dominios que abarca cuatro distintas categorías de credibilidad, supera significativamente en tamaño y diversidad a los conjuntos de datos de nivel de dominio existentes.
3. Validación Empírica de la Multimodalidad: El estudio demuestra que la combinación de la estructura del grafo, el contenido de texto y la evolución temporal produce un rendimiento superior en comparación con los enfoques de una sola modalidad.
4. Recursos Abiertos: El conjunto de datos está alojado en Hugging Face y se proporciona un paquete PyPI de fácil uso (credigraph) para el acceso vía API y la reproducibilidad.

Resultados Experimentales

Los experimentos se realizaron en instantáneas que rodean las elecciones federales de EE. UU. de 2024 (octubre–diciembre de 2024).

• Rendimiento de Regresión:
  • El modelo multimodal (GAT + Embeddings de Texto) logró los mejores resultados, reduciendo el Error Absoluto Medio (MAE) de 0.162 (baseline de LLM-URL) a 0.107.
  • Los modelos de solo texto (usando OpenAI TE3L) superaron a los modelos de solo grafo, indicando que el contenido de texto proporciona señales fuertes, pero la combinación de ambas modalidades produce el error más bajo.
• Rendimiento de Clasificación:
  • El clasificador multimodal mejoró la precisión del 56% (baseline de LightGBM) al 85%.
  • El modelo con mejor desempeño fue un GAT multimodal con embeddings de texto (GAT ⊕ Gemma3/TE3L), logrando ~84-85% de precisión a través de las instantáneas.
• Perspectivas Temporales:
  • La incorporación de la evolución temporal (agregando datos a través de los meses) redujo aún más el MAE a 0.107 en la tarea de regresión, confirmando que la naturaleza dinámica del grafo de la web es una señal crítica para la credibilidad.
  • El análisis de la superposición de dominios mostró que mientras ~49% de los dominios se retienen a través de los meses, solo ~19% de las aristas son comunes, resaltando la necesidad del aprendizaje de grafos temporales.

Significancia y Reivindicaciones

El artículo afirma que CrediBench proporciona una "base sólida para la investigación futura sobre la predicción de la credibilidad" al abordar la falta crítica de conjuntos de datos multimodales a gran escala. Los autores sostienen que:

• La Escalabilidad es Clave: Los métodos existentes no logran escalar al nivel de la web; CrediBench permite el entrenamiento de modelos capaces de manejar miles de millones de interacciones.
• Las Señales Holísticas son Necesarias: Los resultados empíricos respaldan la hipótesis de que la credibilidad no es solo una función del texto o la estructura, sino del juego entre ambos a lo largo del tiempo. Ignorar cualquiera de estas modalidades conduce a un desempeño subóptimo.
• Reproducibilidad: Al liberar los datos y el código, los autores buscan acelerar el desarrollo de estrategias de mitigación con principios sólidos contra la desinformación, particularmente en el contexto de los métodos de generación de contenido en evolución como los LLM.

El trabajo se posiciona como un paso necesario hacia la comprensión de las "señales de credibilidad estructurales y temporales evidentes en la cambiante topología de la web", yendo más allá de las limitaciones del análisis a nivel de reclamo hacia una perspectiva de nivel de dominio y escala web.