ClimateCheck 2026: Scientific Fact-Checking and Disinformation Narrative Classification of Climate-related Claims

1. Probleemstelling

Het paper adresseert de uitdagingen bij het automatisch verifiëren van klimaatgerelateerde claims op sociale media aan de hand van wetenschappelijke literatuur. Hoewel automatische feitencheckers (AFC) vooruitgang hebben geboekt, zijn bestaande systemen vaak beperkt tot algemene bronnen (zoals Wikipedia) en worstelen ze met de complexiteit van wetenschappelijke teksten. Specifieke problemen zijn:

• Specialisatie: Wetenschappelijke abstracts gebruiken domeinspecifieke terminologie en vereisen complex redeneren.
• Disinformatie-narratieven: Klimaatdisinformatie bestaat vaak niet uit geïsoleerde valse claims, maar uit terugkerende retorische patronen (narratieven) die moeilijk te detecteren zijn zonder context.
• Onvolledige annotatie: Het is praktisch onmogelijk om voor elke claim alle mogelijke relevante wetenschappelijke abstracts te annoteren, wat leidt tot vertekening in de evaluatiemetrics.
• Afhankelijkheid van LLM's: Er is een groeiende afhankelijkheid van grote taalmodellen (LLMs) die computationeel duur zijn en niet altijd superieure prestaties leveren in gespecialiseerde domeinen.

2. Methodologie en Opzet

ClimateCheck 2026 is de tweede editie van een gezamenlijke taak (shared task) die draait om drie kerncomponenten:

A. Dataset Uitbreiding en Structuur

• De dataset is uitgebreid met ongeveer drie keer zoveel trainingsdata als de editie van 2025 (in totaal 958 unieke claims en 4.927 claim-abstract paren).
• Unieke Eigenschap: Alle drie de taken (retrieval, verificatie, narratief-classificatie) zijn geannoteerd over dezelfde set claims, wat een uniek benchmark creëert voor het bestuderen van de interactie tussen retorische structuur en bewijsretrieval.
• Narratief Classificatie: Er is een nieuwe taak toegevoegd: het classificeren van desinformatie-narratieven gebaseerd op het schema van Coan et al. (2021), met 27 labels verdeeld over 5 hoofdgroepen (bijv. "klimaatverandering is niet slecht", "wetenschap is onbetrouwbaar").

B. Taken

1. Taak 1.1 (Abstract Retrieval): Het ophalen van de 5 meest relevante wetenschappelijke abstracts voor een gegeven claim.
2. Taak 1.2 (Claim Verification): Classificeren van elk claim-abstract paar als Supports (ondersteunt), Refutes (weerlegt) of NEI (niet genoeg informatie).
3. Taak 2 (Disinformation Narrative Classification): Voorspellen welke desinformatie-narratieven in een claim aanwezig zijn (multi-label classificatie).

C. Evaluatie Framework

• Officiële Metrics: Recall@K, Binary Preference (Bpref) voor retrieval; F1-score voor verificatie en narratief-classificatie.
• Adaptief Framework (Ev2R): Om het probleem van onvolledige annotaties aan te pakken, werd het Ev2R-framework aangepast. Dit gebruikt een referentie-gebaseerde component (atomische feiten vergelijken) en een proxy-component (een fine-tuned DeBERTa-model dat de waarschijnlijkheid van een label schat) om de kwaliteit van niet-geannoteerde gevonden abstracts te evalueren. Dit voorkomt dat systemen worden gestraft voor het vinden van relevant bewijs dat simpelweg niet in de "gouden" set staat.

D. Baselines en Deelnemers

• Baselines: Een multi-stage retrieval pipeline (BM25 + E5 re-ranker + Cross-Encoder) en een DeBERTa-classificatiemodel voor verificatie. Voor narratief-classificatie werd een fine-tuned Qwen3-8B gebruikt.
• Deelnemers: 20 geregistreerde teams, 8 inzendingen. Belangrijke systemen gebruikten ensemble-methoden, Zero-Shot prompting met grote LLM's (zoals GPT-4o-mini, GPT-5.1), en hiërarchisch redeneren.

3. Belangrijkste Resultaten

• Retrieval (Taak 1.1): De prestaties waren gematigd. Retrieval is "narratief-agnostisch" (moeilijkheidsgraad hangt niet af van het type desinformatie), maar systemen hebben moeite met lexische mismatches tussen claims en abstracts.
• Verificatie (Taak 1.2):
  • Refutes is het moeilijkst te voorspellen; systemen neigen ernaar om zwak bewijs als Supports te interpreteren in plaats van NEI.
  • Er is een sterke correlatie tussen narratief en verificatiemoeilijkheid: Claims die de wetenschappelijke methode zelf aanvallen (narratiefgroep 5) of normatieve claims (groep 4) zijn structureel moeilijker te weerleggen met abstracts dan empirische claims.
• Narratief Classificatie (Taak 2):
  • Hiërarchisch redeneren (eerst de hoofdgroep bepalen, dan het sub-narratief) bleek effectiever dan directe classificatie.
  • Systemen presteerden beter op labels met hoge menselijke overeenstemming (IAA) en worstelden met interpretatieve labels.
  • Er was een duidelijke trade-off tussen redeneringsgebaseerde prestaties en computationele kosten (energieverbruik).
• Ev2R Analyse: Systemen die slecht scoorden op de officiële leaderboard (gebaseerd op Recall@5) scoorden soms hoog op de Ev2R-score. Dit toont aan dat officiële metrics systemen kunnen straffen voor het vinden van waardevol bewijs dat niet in de beperkte gouden set zit.

4. Kernbijdragen

1. Unificatie van Benchmarks: De eerste dataset die wetenschappelijke bewijsretrieval, claimverificatie en narratief-classificatie koppelt aan dezelfde claims, waardoor cross-task analyse mogelijk wordt.
2. Geavanceerde Evaluatie: Een aangepast evaluatiekader (Ev2R) dat bias door onvolledige annotaties in wetenschappelijke fact-checking adresseert.
3. Empirische Analyse: Een diepgaande analyse die aantoont dat verificatiemoeilijkheid sterk afhankelijk is van het type desinformatie-narratief, wat suggereert dat één standaardverificatiestrategie niet voor alle claims werkt.

5. Betekenis en Conclusie

Het paper concludeert dat gestructureerd redeneren en taak-specifieke architecturale keuzes belangrijker zijn dan alleen de grootte van het model of de hoeveelheid data.

De belangrijkste inzichten zijn:

• Structuur van Disinformatie: Niet alle klimaatdisinformatie is even verifieerbaar. Epistemologische claims (die de geloofwaardigheid van de wetenschap zelf aanvallen) vormen een structurele limiet voor bewijsgebaseerde fact-checking, omdat het bewijsbron (wetenschap) juist wordt betwist door de claim.
• Toekomstige Richting: Er is een sterke behoefte aan "narratief-bewuste" verificatiesystemen. Een pipeline die eerst het narratief classificeert en vervolgens de verificatiestrategie aanpast (bijv. menselijke review voor epistemologische claims, standaard retrieval voor empirische claims), is een veelbelovende richting.
• Evaluatie: Het gebruik van alleen Recall@K is ontoereikend voor wetenschappelijke fact-checking vanwege de onvolledigheid van annotaties; automatische evaluatieframeworks zoals Ev2R zijn essentieel voor een eerlijke beoordeling.

Kortom, ClimateCheck 2026 biedt een robuust fundament voor het begrijpen van de interactie tussen retorische structuren van desinformatie en de technische haalbaarheid van wetenschappelijke fact-checking.