Computational Fact-Checking of Online Discourse: Scoring scientific accuracy in climate change related news articles

Dit onderzoek presenteert een semi-automatische workflow die op LLM's en kennisgrafieken is gebaseerd om de wetenschappelijke nauwkeurigheid van klimaatgerelateerde nieuwsartikelen te beoordelen, maar concludeert dat de huidige kennisbronnen en schaalbaarheid nog ontoereikend zijn voor een effectieve, grootschalige fact-checking.

De kern

Stel je voor dat je in een enorme, drukke bibliotheek loopt waar elke seconde duizenden nieuwe boeken, kranten en video's worden geschreven. De meeste mensen hebben geen tijd om alles te lezen, laat staan om te controleren of wat erin staat ook wel waar is. Vooral bij gevoelige onderwerpen zoals de klimaatverandering is het lastig om te weten wie de waarheid spreekt en wie er een verhaal uit de duim zuigt.

Dit artikel beschrijft een slimme, half-automatische manier om te proberen de wetenschappelijke waarheid te meten in nieuwsberichten over het klimaat.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Informatie-Overstroming"

We worden overspoeld door informatie. Mensen zijn niet meer in staat om al die content zelf te controleren. Traditionele fact-checkers (zoals mensen die feiten controleren) zijn verpletterd door de hoeveelheid en snelheid van nieuws. Ze kunnen niet tegen elke stroom op.

2. De Oplossing: Een Digitale "Waarheids-Compaan"

De auteurs hebben een systeem gebouwd dat werkt als een slimme tolk tussen twee werelden:

• De "Strand" (Nieuws): Hier liggen losse, ongestructureerde verhalen uit kranten en video's.
• De "Gouden Bibliotheek" (Wetenschappelijke Feiten): Dit is een verzameling van onbetwiste, wetenschappelijke feiten over het klimaat (zoals de rapporten van het IPCC).

Het doel is om te kijken of de verhalen op het strand overeenkomen met de feiten in de bibliotheek.

3. Hoe werkt het? (De 3 Stappen)

Stap 1: De Vertaler (LLM)
Stel je voor dat je een video of een krantenartikel hebt. De computer gebruikt een AI-tolker (een Large Language Model, of LLM) om dit lange verhaal te lezen en er korte, simpele zinnen uit te halen.

• Voorbeeld: In plaats van "Het is erg koud en de ijskappen smelten," haalt de AI eruit: "Mensen veroorzaken opwarming" en "Opwarming doet ijs smelten."
• Dit is als het uit een rommelige koffer de losse kledingstukken halen en ze netjes opvouwen.

Stap 2: De Vergelijker (De Kennisgraf)
Nu heeft de computer een lijstje met simpele zinnen. Deze worden vergeleken met de "Gouden Bibliotheek" (de wetenschappelijke feiten).

• De computer zoekt: "Zie ik deze zin ook in de Gouden Bibliotheek?"
• Als het antwoord JA is: Groen licht! De zin is waarschijnlijk waar.
• Als het antwoord NEE is: Rood licht! De zin staat niet in de feitenverzameling, of misschien zelfs in strijd ermee.

Stap 3: De Score
Aan het einde krijgt het nieuwsartikel een Waarheids-Score (van 0 tot 1).

• Een groen lampje betekent: "Dit klopt met de wetenschap."
• Een rood lampje betekent: "Dit lijkt niet te kloppen of is niet bewezen."

4. Wat hebben ze ontdekt? (De "Maanlanding" met struikelblokken)

De auteurs hebben dit systeem gebouwd en getest met experts en gewone mensen.

• Het werkt (deels): Mensen vinden het idee geweldig. Ze willen zo'n tool hebben in hun browser, net als een spellingscontrole, maar dan voor feiten. Experts vinden het een veelbelovende stap.
• Het is nog niet perfect:
  • De Bibliotheek is te klein: De "Gouden Bibliotheek" met alle wetenschappelijke feiten is nog te klein en niet volledig digitaal beschikbaar. Het is alsof je probeert een heel land op een kaart te tekenen, maar je hebt maar een paar straten getekend.
  • De Tolker maakt fouten: De AI die de zinnen uithaalt, kan soms "hallucineren" (dingen verzinnen) of de context verkeerd begrijpen. Soms is een grapje of een sarcastische opmerking voor de computer een feit.
  • Context is koning: Een zin kan technisch waar zijn, maar als je hem uit zijn verband trekt, wordt hij onwaar. Dat is lastig voor een computer om te snappen.

5. De Conclusie: Een Belofte, maar nog geen Voltooid Werk

Dit onderzoek is als het bouwen van de eerste prototype-auto die op zonne-energie rijdt. Het rijdt, het werkt, en mensen vinden het cool. Maar:

1. Je hebt nog geen goed wegennet (de wetenschappelijke feiten moeten beter digitaal beschikbaar komen).
2. De motor is soms nog onbetrouwbaar (de AI moet slimmer worden).
3. Je moet oppassen dat je niet te veel energie verbruikt om de auto te bouwen (het milieu-effect van AI zelf).

Kortom: We hebben een slimme tool die kan helpen om nepnieuws over het klimaat op te sporen, maar we moeten eerst nog veel werk verzetten om de "waarheidsbibliotheek" groter te maken en de AI slimmer te maken voordat we er volledig op kunnen vertrouwen. Het is een eerste, belangrijke stap in de strijd voor een eerlijke publieke discussie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Computational Fact-Checking of Online Discourse: Scoring Scientific Accuracy in Climate Change Related News Articles" in het Nederlands.

Probleemstelling

Democratische samenlevingen zijn afhankelijk van betrouwbare informatie, maar de overvloed aan online content (bijna 100 zettabytes per jaar) maakt het voor burgers onmogelijk om de waarheid van nieuwsartikelen en video's over complexe thema's zoals klimaatverandering te verifiëren. Traditionele fact-checkers lopen achter op de snelheid en omvang van de verspreiding van desinformatie.
De kernproblemen die dit artikel adresseert zijn:

1. Schaalbaarheid: Het gebrek aan geautomatiseerde methoden om grote hoeveelheden content te beoordelen.
2. Transparantie en Reproduceerbaarheid: Bestaande LLM-gedreven fact-checkers (zoals die van Leippold et al.) werken vaak als "black boxes" zonder open prompts, code of data.
3. Gebrek aan FAIR Ground Truth: Er is een tekort aan vindbare, toegankelijke, interoperabele en herbruikbare (FAIR) kennisgrafieken met wetenschappelijke feiten over klimaatverandering om claims tegen te toetsen. Veel bronnen (zoals IPCC-rapporten) zijn nog steeds in PDF-formaat, wat machine-leesbaarheid beperkt.

Methodologie: Een Neurosymbolische Aanpak

Het auteurs stellen een workflow voor die Neurosymbolische AI combineert: het gebruik van Large Language Models (LLMs) voor taalverwerking gekoppeld aan de strikte logica van Kennisgrafieken (Knowledge Graphs - KGs).

De workflow bestaat uit zeven modules:

1. Media Verwerking:
   • Niet-tekstuele bestanden (video/audio) worden getranscribeerd met OpenAI Whisper.
   • Tekst wordt geëxtraheerd uit webpagina's (Beautiful Soup) en PDF's (PDFMiner).
2. Stelling-extractie (Statement Extraction):
   • Het doel is het extraheren van gestructureerde "triplets" (Onderwerp, Predikaat, Object) uit ongestructureerde tekst.
   • Verschillende methoden werden getest: Semantic Role Labeling (SRL), domeinspecifieke Named Entity Recognition (NER), en LLMs.
   • Keuze: LLMs (specifiek ChatGPT/GPT-3.5) bleken het meest effectief voor het extraheren en formatteren van triplets binnen de scope van dit bewijsconcept, hoewel menselijke supervisie noodzakelijk blijft om hallucinaties te voorkomen.
3. Alignatie (Alignment):
   • Predicaten worden genormaliseerd en synoniemen gedetecteerd om een consistente structuur te garanderen.
   • De triplets worden opgeslagen in het Turtle-formaat (RDF) met een unieke Media-ID voor traceerbaarheid.
4. Uitbreiding van de Kennisgrafiek:
   • Betrouwbare bronnen (zoals IPCC AR6 rapporten) worden verwerkt tot een "Ground Truth" kennisgrafiek in een GraphDB-database.
   • Dit stelt het systeem in staat om metadata, betrouwbaarheidsscores en tijdscontext toe te voegen.
5. Waarheidscontrole (Veracity Check):
   • Geëxtraheerde triplets worden vergeleken met de Ground Truth KG via SPARQL-query's.
   • Er wordt gezocht naar exacte matches. Als geen exacte match wordt gevonden, wordt theoretisch gekeken naar padlengtes en knooppunten in de grafiek (gebaseerd op Ciampaglia et al.) om de waarschijnlijkheid van waarheid te schatten.
6. Quantificatie van Extra Metrieken:
   • Hoewel het systeem ook rekening zou kunnen houden met context, helderheid en objectiviteit, is dit momenteel beperkt door de kwaliteit van de beschikbare data.
7. Scoreberekening:
   • De uiteindelijke wetenschappelijke nauwkeurigheidscore ($s_{acc}$) wordt berekend als een gewogen som van metrieken. Momenteel weegt waarheid (veracity) het zwaarst ($w_{ver} = 1$), omdat andere metrieken nog niet voldoende computationeel kwantificeerbaar zijn.

Belangrijkste Bijdragen

1. Overzicht van Ground Truth: Een analyse van de huidige staat van kennisgrafieken voor klimaatverandering en de identificatie van de noodzaak voor FAIR-data.
2. Modulaire Open-Source Workflow: Een implementatie die media-inhoud semantiseert, triplets extrahert en een wetenschappelijke nauwkeurigheidscore berekent. De code is open-source beschikbaar.
3. Evaluatie met Experts en Gebruikers: Een uitgebreide evaluatie die de haalbaarheid en de beperkingen van de aanpak in kaart brengt.

Resultaten en Evaluatie

De tool is geëvalueerd door 27 experts (waaronder NLP-specialisten van het ORKG-team) en 43 anonieme gebruikers via een enquête.

• Expert Feedback:
  • Experts bevestigden dat de aanpak actueel is, maar benadrukten dat LLMs niet zonder meer te vertrouwen zijn vanwege hallucinaties en reproduceerbaarheidsproblemen.
  • De grootste uitdagingen zijn: het behoud van context (een triplet mist vaak nuance), het omgaan met semantische alignatie, en het opschalen van de Ground Truth.
  • Er is consensus dat de tool vooral nuttig is als geïntegreerd hulpmiddel (bijv. browserplugin) en niet als een volledig autonoom fact-checker.
• Gebruikersenquête:
  • Gebruikers vinden een "wetenschappelijke nauwkeurigheidscore" nodig en nuttig.
  • Er is grote vraag naar fact-checking voor diverse mediaformaten, van krantenartikelen tot korte video's (TikTok/YouTube).
  • De voorkeur gaat uit naar een browserplugin als implementatievorm.

Betekenis en Toekomstperspectief

Het artikel concludeert dat computationele fact-checking veelbelovend is, maar fundamenteel beperkt wordt door de kwaliteit en beschikbaarheid van de onderliggende kennisinfrastructuur.

• Beperkingen: De huidige "Ground Truth" (zoals IPCC-rapporten) is vaak niet machine-leesbaar (PDF), wat de schaalbaarheid belemmert. Ook is de contextbewaring van LLM-extracties ontoereikend voor complexe, nuance-rijke discussies.
• Toekomstige Werkzaamheden:
  1. FAIR Ground Truth: Er is urgente samenwerking nodig om wetenschappelijke kennis om te zetten in interoperabele, semantische kennisgrafieken.
  2. Verbeterde Semantificatie: Verdere ontwikkeling van methoden voor nauwkeurige triplet-extractie en contextbehoud.
  3. Sociale Acceptatie: Fact-checking tools moeten transparant zijn en rekening houden met publiek vertrouwen; een puur technische score is niet voldoende als het publiek de bronnen niet vertrouwt.
  4. Energie-efficiëntie: Het gebruik van LLMs moet worden afgewogen tegen de energieconsumptie en rebound-effecten.

Kortom, dit werk biedt een functioneel raamwerk voor neurosymbolische fact-checking, maar benadrukt dat de echte uitdaging niet in de algoritmen ligt, maar in het creëren van een robuuste, open en FAIR-kennisinfrastructuur voor de wetenschap.