Sintesi Tecnica: CrediBench: Dati di Rete su Scala Web per la Predizione della Credibilità

Definizione del Problema

La valutazione automatica della credibilità delle fonti online è fondamentale per navigare nei moderni ecosistemi informativi, specialmente data la rapida diffusione della disinformazione e l'emergere dell'IA generativa, capace di produrre contenuti indistinguibili e persuasivi. Gli approcci esistenti alla predizione della credibilità soffrono di due limitazioni primarie:

1. Scarsità di Dati e Costi: La maggior parte dei metodi si basa su annotazioni umane scarse e costose o su valutazioni guidate da esperti che non scalano rispetto al volume dei flussi informativi moderni.
2. Limitatezza Modale: La ricerca attuale si concentra prevalentemente su singoli claim, post o documenti, analizzando solo segnali testuali (endogeni). Ciò ignora i segnali strutturali e temporali intrinseci nella topologia del web, come i domini interconnessi e la loro evoluzione nel tempo.

Inoltre, i dataset esistenti per la predizione della credibilità sono limitati in scala (spesso contenenti solo decine di migliaia di domini) e mancano frequentemente dell'integrazione di tre modalità centrali: la topologia di internet (struttura del grafo), la temporalità (evoluzione nel tempo) e il contenuto testuale delle pagine web. Questa lacuna ostacola lo sviluppo di strategie di mitigazione scalabili e generalizzabili per la disinformazione.

Metodologia

Gli autori presentano CrediBench, un dataset e un framework su scala web progettati per affrontare queste lacune modellando la predizione della credibilità come un problema di apprendimento di un Grafo Temporale con Attributi Testuali (TAG).

1. Pipeline di Costruzione dei Dati

CrediBench è costruito partendo da otto mesi di dati Common Crawl. La pipeline prevede:

• Costruzione del Grafo: I nodi rappresentano i domini web e gli archi rappresentano gli ipertesti tra di essi. Il dataset include oltre 40 milioni di nodi e oltre 1 miliardo di archi per ogni snapshot mensile.
• Estrazione del Testo: Il contenuto grezzo delle pagine web (testo semplice del corpo) viene estratto per ogni dominio da file WET di Common Crawl utilizzando un cluster Spark distribuito. Questo testo viene elaborato in embedding.
• Snapshot Temporali: I dati sono organizzati in snapshot mensili (ad es., ottobre–dicembre 2024), catturando l'evoluzione dinamica del grafo web e dei contenuti.
• Filtraggio: I domini con un grado inferiore a una soglia (predefinita a 3) vengono filtrati per mantenere una singola componente connessa di domini attivi, riducendo il carico computazionale e concentrandosi su entità rilevanti.

2. Set di Etichette (Label Sets)

Per abilitare l'apprendimento supervisionato, gli autori hanno curato due distinti set di etichette:

• Etichette di Regressione (Domain Quality Ratings - DQR): Un dataset di 11.520 domini etichettati con punteggi di credibilità guidati da esperti. La verità di base (ground truth) è il punteggio del Primo Componente Principale (PC1) derivato da una PCA di sei fonti esperte, con un intervallo da 0 a 1.
• Etichette di Classificazione Binaria (DomainRel): Un nuovo dataset di 662.575 domini aggregati da otto fonti (tra cui fact-checker, liste crowdsourced come Wikipedia e database di malware/phishing). I domini sono etichettati come credibili (1) o inattendibili (0), coprendo quattro categorie: disinformazione, crowdsourced, phishing e malware.

3. Formulazione del Task

Il paper formula la predizione della credibilità come due task a livello di nodo sul TAG:

• Regressione: Predire un punteggio di credibilità continuo ($y \in [0, 1]$).
• Classificazione Binaria: Predire uno stato di credibilità booleano ($y \in \{0, 1\}$).

4. Modelli Sperimentali

Gli autori valutano varie modalità e combinazioni:

• Solo Testo (Text-Only): Utilizzando LLM come Gemma3, Qwen3 e OpenAI TE3L per embeddare il contenuto testuale, alimentando regressori/classificatori MLP.
• Solo Grafo (Graph-Only): Utilizzando reti neurali grafiche (GCN, GraphSAGE, GAT) per apprendere le strutture degli ipertesti.
• Multi-Modale: Concatenando gli embedding del grafo (da GAT) e gli embedding del testo (da LLM) per formare rappresentazioni congiunte.
• Temporale: Aggregando gli embedding attraverso snapshot mensili consecutivi per catturare l'evoluzione temporale.

Contributi Chiave

1. Il più grande dataset di credibilità dei domini: CrediBench è il più grande dataset di questo tipo, caratterizzato da 8 mesi di grafi su scala web con ricchi attributi testuali. Ogni snapshot contiene >40M di nodi, >1B di archi e >100GB di contenuto testuale.
2. Nuova Etichettatura Multi-Modale: L'introduzione di DomainRel, un set di etichette binarie di 662k domini che spaziano in quattro distinte categorie di credibilità, supera significativamente i dataset esistenti a livello di dominio in termini di dimensione e diversità.
3. Validazione Empirica della Multi-Modalità: Lo studio dimostra che la combinazione di struttura del grafo, contenuto testuale ed evoluzione temporale produce prestazioni superiori rispetto agli approcci a singola modalità.
4. Risorse Aperte: Il dataset è ospitato su Hugging Face e viene fornito un pacchetto PyPI user-friendly (credigraph) per l'accesso tramite API e la riproducibilità.

Risultati Sperimentali

Gli esperimenti sono stati condotti su snapshot relativi alle elezioni federali statunitensi del 2024 (ottobre–dicembre 2024).

• Performance di Regressione:
  • Il modello multi-modale (GAT + Text Embeddings) ha ottenuto i migliori risultati, riducendo l'Errore Assoluto Medio (MAE) da 0.162 (baseline LLM-URL) a 0.107.
  • I modelli basati solo sul testo (utilizzando OpenAI TE3L) hanno superato i modelli basati solo sul grafo, indicando che il contenuto testuale fornisce segnali forti, ma la combinazione di entrambe le modalità produce l'errore più basso.
• Performance di Classificazione:
  • Il classificatore multi-modale ha migliorato l'accuratezza dal 56% (baseline LightGBM) all'85%.
  • Il modello con le migliori prestazioni è stato un GAT multi-modale con embedding testuali (GAT ⊕ Gemma3/TE3L), raggiungendo circa l'84-85% di accuratezza attraverso gli snapshot.
• Insight Temporali:
  • L'integrazione dell'evoluzione temporale (aggregando i dati attraverso i mesi) ha ulteriormente ridotto il MAE a 0.107 nel task di regressione, confermando che la natura dinamica del grafo web è un segnale critico.
  • L'analisi della sovrapposizione dei domini ha mostrato che, mentre circa il 49% dei domini viene mantenuto nel corso dei mesi, solo il ~19% degli archi è comune, evidenziando la necessità dell'apprendimento di grafi temporali.

Significato e Assertions

Il paper sostiene che CrediBench fornisca una "solida base per la ricerca futura sulla predizione della credibilità" affrontando la critica mancanza di dataset su larga scala e multi-modali. Gli autori affermano che:

• La Scalabilità è Fondamentale: I metodi esistenti non riescono a scalare al livello del web; CrediBench consente l'addestramento di modelli capaci di gestire miliardi di interazioni.
• Segnali Olistici sono Necessari: I risultati empirici supportano l'ipotesi che la credibilità non sia solo una funzione di testo o struttura, ma del loro interplay nel tempo. Ignorare una qualsiasi di queste modalità porta a risultati subottimali.
• Riproducibilità: Rilasciando i dati e il codice, gli autori mirano ad accelerare lo sviluppo di strategie di mitigazione basate su principi e scalabili, in particolare nel contesto dei metodi di generazione di contenuti in evoluzione come gli LLM.

Il lavoro si posiziona come un passo necessario verso la comprensione dei "segnali di credibilità strutturali e temporali evidenti nella mutevole topologia del web", andando oltre i limiti dell'analisi a livello di singolo claim verso una prospettiva a livello di dominio e su scala web.