Technische Samenvatting: CrediBench: Web-schaal Netwerkdata voor Geloofwaardigheidsvoorspelling

Probleemstelling

De automatische beoordeling van de geloofwaardigheid van online bronnen is cruciaal voor het navigeren door moderne informatiesystemen, vooral gezien de snelle verspreiding van misinformatie en de opkomst van generatieve AI, die onderscheidingsloos en overtuigende inhoud kan produceren. Bestaande benaderingen voor het voorspellen van geloofwaardigheid lijden aan twee primaire beperkingen:

1. Schaarsheid en Kosten van Data: De meeste methoden vertrouwen op schaarse, kostbare menselijke annotaties of door experts gestuurde evaluaties die niet opschalen naar het volume van moderne informatiestromen.
2. Modale Beperking: Huidig onderzoek richt zich voorngevoeglijk op individuele claims, berichten of documenten, waarbij uitsluitend tekstgebaseerde (endogene) signalen worden geanalyseerd. Dit negeert de structurele en temporele signalen die inherent zijn aan de topologie van het web, zoals onderling verbonden domeinen en hun evolutie over de tijd.

Bovendien zijn bestaande datasets voor het voorspellen van geloofwaardigheid beperkt in omvang (vaak slechts tienduizenden domeinen) en ontbreekt het hen regelmatig aan de integratie van drie centrale modaliteiten: internettopologie (graafstructuur), temporaliteit (evolutie over de tijd) en de tekstinhoud van webpagina's. Deze kloof belemmert de ontwikkeling van schaalbare, generaliseerbare strategieën voor het beperken van misinformatie.

Methodologie

De auteurs presenteren CrediBench, een web-schaal dataset en framework dat is ontworpen om deze hiaten aan te pakken door geloofwaardigheidsvoorspelling te modelleren als een Text-Attributed Temporal Graph (TAG) leerprobleem.

1. Data Constructie Pipeline

CrediBench is geconstrueerd uit acht maanden aan Common Crawl data. De pipeline omvat:

• Graafconstructie: Knopen representeren webdomeinen en randen representeren hyperlinks tussen hen. De dataset bevat meer dan 40 miljoen knopen en meer dan 1 miljard randen per maandelijkse snapshot.
• Tekstextractie: Ruwe webpagina-inhoud (platte bodytekst) wordt voor elk domein geëxtraheerd uit Common Crawl WET-bestanden met behulp van een gedistribuste Spark-cluster. Deze tekst wordt verwerkt tot embeddings.
• Temporele Snapshots: De data is georganiseerd in maandelijkse snapshots (bijv. oktober–december 2024), die de dynamische evolutie van de webgraaf en de inhoud vastleggen.
• Filtering: Domeinen met een graad onder een drempelwaarde (standaard 3) worden gefilterd om een enkele verbonden component van actieve domeinen te behouden, wat de computationele belasting vermindert en de focus legt op relevante entiteiten.

2. Labelsets

Om supervised learning mogelijk te maken, hebben de auteurs twee afzonderlijke labelsets gecureerd:

• Regressie Labels (Domain Quality Ratings - DQR): Een dataset van 11.520 domeinen voorzien van expert-gestuurde geloofwaardigheidsscores. De grondwaarheid is de First Principal Component (PC1) score afgeleid van een PCA van zes expertbronnen, variërend van 0 tot 1.
• Binaire Classificatie Labels (DomainRel): Een nieuwe dataset van 662.575 domeinen geaggregeerd uit acht bronnen (inclusief factcheckers, crowd-sourced lijsten zoals Wikipedia, en malware/phishing databases). Domeinen zijn gelabeld als geloofwaardig (1) of onbetrouwbaar (0), verdeeld over vier categorieën: misinformatie, crowd-sourced, phishing en malware.

3. Taakformulering

Het paper formuleert geloofwaardigheidsvoorspelling als twee node-level taken op de TAG:

• Regressie: Het voorspellen van een continue geloofwaardigheidsscore ($y \in [0, 1]$).
• Binaire Classificatie: Het voorspellen van een booleaanse geloofwaardigheidsstatus ($y \in \{0, 1\}$).

4. Experimentele Modellen

De auteurs evalueren diverse modaliteiten en combinaties:

• Alleen Tekst: Gebruikmakend van LLM's zoals Gemma3, Qwen3 en OpenAI TE3L om tekstinhoud te embedden, gevoed aan MLP regressoren/classifiers.
• Alleen Graaf: Gebruikmakend van Graph Neural Networks (GCN, GraphSAGE, GAT) om hyperlinkstructuren te leren.
• Multi-Modaal: Het concateneren van graaf-embeddings (vanuit GAT) en tekst-embeddings (vanuit LLM's) om gezamenlijke representaties te vormen.
• Temporeel: Het aggregeren van embeddings over opeenvolgende maandelijkse snapshots om de temporele evolutie te vangen.

Belangrijkste Bijdragen

1. Grootste Domein Geloofwaardigheidsdataset: CrediBench is de grootste dataset van dit type, met 8 maanden aan web-schaal grafen met rijke tekstattributen. Elke snapshot bevat >40M knopen, >1B randen en >100GB aan tekstinhoud.
2. Nieuwe Multi-Modale Labeling: De introductie van DomainRel, een binaire gelabelde set van 662k domeinen die vier verschillende geloofwaardigheidscategorieën beslaat, overtreft de omvang en diversiteit van bestaande domein-niveau datasets aanzienlijk.
3. Empirische Validatie van Multi-Modaliteit: De studie toont aan dat het combineren van graafstructuur, tekstinhoud en temporele evolutie superieure prestaties oplevert vergeleken met single-modality benaderingen.
4. Open Bronnen: De dataset is gehost op Hugging Face, en een gebruiksvriendelijke PyPI-package (credigraph) wordt geleverd voor API-toegang en reproduceerbaarheid.

Experimentele Resultaten

Experimenten werden uitgevoerd op snapshots rond de Amerikaanse federale verkiezingen van 2024 (oktober–december 2024).

• Regressie Prestaties:
  • Het multi-modale model (GAT + Tekst Embeddings) behaalde de beste resultaten, waarbij de Mean Absolute Error (MAE) werd verminderd van 0.162 (LLM-URL baseline) naar 0.107.
  • Text-only modellen (gebruikmakend van OpenAI TE3L) presteerden beter dan graph-only modellen, wat aangeeft dat tekstinhoud sterke signalen biedt, maar dat de combinatie van beide modaliteiten de laagste fout oplevert.
• Classificatie Prestaties:
  • De multi-modale classifier verbeterde de nauwkeurigheid van 56% (LightGBM baseline) naar 85%.
  • Het best presterende model was een multi-modale GAT met tekst-embeddings (GAT ⊕ Gemma3/TE3L), met een nauwkeurigheid van ~84-85% over de snapshots heen.
• Temporele Inzichten:
  • Het opnemen van temporele evolutie (het aggregeren van data over maanden) verminderde de MAE verder naar 0.107 op de regressietaken, wat bevestigt dat de dynamische aard van de webgraaf een cruciaal signaal is.
  • Analyse van domeinoverlap toonde aan dat hoewel ~49% van de domeinen behouden blijft over de maanden, slechts ~19% van de randen gemeenschappelijk is, wat de noodzaak van temporal graph learning benadrukt.

Betekenis en Claims

Het paper beweert dat CrediBench een "sterk fundament biedt voor toekomstig onderzoek naar geloofwaardigheidsvoorspelling" door de kritieke schaarste aan grootschalige, multi-modale datasets aan te pakken. De auteurs stellen dat:

• Schaalbaarheid Cruciaal is: Bestaande methoden falen bij het opschalen naar het webniveau; CrediBench maakt het trainen van modellen mogelijk die in staat zijn om miljarden interacties te verwerken.
• Holistische Signalen Noodzakelijk zijn: De empirische resultaten ondersteunen de hypothese dat geloofwaardigheid niet enkel een functie is van tekst of structuur, maar een resultaat is van hun wisselwerking in de tijd. Het negeren van een van deze modaliteiten leidt tot suboptimale prestaties.
• Reproduceerbaarheid: Door de data en code vrij te geven, beogen de auteurs de ontwikkeling van geprincipeerde, schaalbare strategieën tegen misinformatie te versnellen, met name in de context van evoluerende contentgeneratiemethoden zoals LLM's.

Dit werk positioneert zich als een noodzakelijke stap naar het begrijpen van de "structurele en temporele geloofwaardigheidssignalen zichtbaar in de veranderende webtopologie", waarbij men verder kijkt dan de beperkingen van claim-niveau analyse naar een domein-niveau, web-schaal perspectief.