💬 NLP

Retrieving Climate Change Disinformation by Narrative

Dit artikel introduceert SpecFi, een framework dat klimaatdesinformatie-narratieven herkent door ze te benaderen als een zoekopdrachttaak waarbij hypothetische documenten worden gegenereerd om abstracte beschrijvingen te koppelen aan concrete teksten, waardoor het systeem robuust blijft voor opkomende en variabele narratieven zonder vooraf gedefinieerde labels.

Oorspronkelijke auteurs: Max Upravitelev, Veronika Solopova, Charlott Jakob, Premtim Sahitaj, Vera Schmitt

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Max Upravitelev, Veronika Solopova, Charlott Jakob, Premtim Sahitaj, Vera Schmitt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Het Jacht op Verborgen Berichten

Stel je voor dat je een detective bent die op zoek is naar nepnieuws over klimaatverandering. In het verleden hadden detectives een vaste lijst met "verdachte patronen" (bijvoorbeeld: "Iemand zegt dat de ijskappen niet smelten"). Als een nieuw verhaal verscheen dat niet op die lijst stond, kon de detective het niet herkennen.

De auteurs van dit paper zeggen: "Laten we stoppen met het maken van lijsten en beginnen met zoeken."

In plaats van te vragen: "Is dit bericht op onze lijst?", vragen ze: "Als ik dit verhaal als zoekopdracht invoer, welke andere berichten lijken erop?"

Het Probleem: De "Vertaalprobleem"

Het grote probleem is dat nepnieuws vaak vermomd is.

Het abstracte verhaal (De Query): "Koolstofdioxide (CO2) is eigenlijk plantenvoeding en geen vervuiler."
De concrete tekst (Het Document): Een lang artikel dat zegt: "Kijk eens hoe groen de Amazone is geworden door de extra CO2 in de lucht."

Deze twee zinnen hebben bijna geen enkele woordoverlap. Een gewone zoekmachine (zoals Google of een simpele tekstvergelijker) ziet ze niet als gerelateerd, omdat ze niet zoeken op de betekenis, maar op de woorden. Het is alsof je zoekt op "vliegende auto" en de computer je alleen resultaten geeft met de woorden "vliegen" en "auto", maar geen resultaten over "helikopters" of "drones", terwijl dat wel hetzelfde idee is.

De Oplossing: SpecFi (Speculatieve Fictie)

De auteurs hebben een slimme truc bedacht, genaamd SpecFi. Ze gebruiken een kunstmatige intelligentie (een AI) als een schrijver van fictie.

De Opdracht: De AI krijgt een abstract idee (bijv. "CO2 is goed voor planten").
De Creatie: De AI schrijft 10 verzonnen voorbeelddocumenten. Het zijn fictieve nieuwsartikelen of blogposts die dit idee op verschillende manieren uitleggen.
- Vergelijking: Stel je voor dat je een detective is die een dader zoekt. In plaats van alleen te zoeken op de naam "Jan", laat je de AI 10 verschillende beschrijvingen van Jan maken: "Een man in een blauwe jas", "Iemand die koffie drinkt", "Een persoon met een horloge".
De Zoektocht: De computer gebruikt deze verzonnen teksten om in de echte wereld te zoeken. Omdat de verzonnen teksten nu veel meer woorden bevatten die in de echte nepnieuwsartikelen voorkomen, vindt de computer de matches veel beter.

De Slimme Truc: De "Boekhouding" van de Tekst

Om de AI nog slimmer te maken, gebruiken ze een techniek die SpecFi-CS heet.
Stel je voor dat je een enorme bibliotheek hebt met duizenden boeken, maar geen index.

SpecFi-DR (de simpele versie) zoekt naar het boek dat het meest lijkt op je zoekopdracht.
SpecFi-CS (de slimme versie) kijkt eerst naar de structuur van de bibliotheek. Ze gebruiken een algoritme dat de boeken in groepjes indelt op basis van wie met wie praat (net als een sociale kaart).
- Ze laten de AI een samenvatting maken van elk groepje.
- Deze samenvatting is vaak heel accuraat, zelfs zonder dat de AI weet wat de "officiële" naam van het groepje is.
- Vergelijking: Het is alsof je een groep mensen ziet die allemaal over "sneeuw" praten. De AI zegt: "Ah, deze groep denkt dat de winter te koud is." Zelfs als niemand het woord "winter" gebruikt, maar alleen over "ijs" en "koude wind" praat, begrijpt de AI het patroon.

Wat Vonden Ze?

Het werkt beter: De methode met de verzonnen teksten (SpecFi) vindt veel meer nepnieuws dan de oude methoden, vooral als het nepnieuws op heel verschillende manieren wordt verwoord.
De "Diversiteit" is de vijand: Ze ontdekten dat het zoeken moeilijker wordt als een verhaal op heel veel verschillende manieren wordt verteld (hoge "variatie").
- Vergelijking: Als iedereen "Jan" noemt, is het makkelijk om Jan te vinden. Als sommigen "Jan" noemen, anderen "Jantje", weer anderen "De man met de pet" en nog anderen "De koffie drinker", is het zoeken heel moeilijk.
- De oude methoden faalden hier volledig (ze verloren 63% van hun succes). De nieuwe SpecFi-methode hield het hoofd koel en verloor maar 32%.
De AI ziet patronen die mensen niet zien: De samenvattingen die de AI maakte van de groepjes (zonder dat ze de officiële namen kenden), bleken bijna exact overeen te komen met wat experts hadden bedacht. Dit betekent dat computers zelfstandig de structuur van nepnieuws kunnen ontdekken, zelfs als er nog geen lijst met namen bestaat.

Conclusie voor de Gemiddelde Mens

Dit onderzoek laat zien dat we niet hoeven te wachten tot experts een lijst maken van alle mogelijke nepnieuws-verhalen. We kunnen in plaats daarvan een slimme AI gebruiken die:

Verzonnen voorbeelden maakt om de zoekopdracht te verrijken.
Kijkt naar de onderliggende structuur van grote hoeveelheden tekst.

Hierdoor kunnen we nieuwe, nog onbekende vormen van nepnieuws sneller opsporen, voordat ze zich verspreiden. Het is een overstap van "een lijstje afvinken" naar "slim zoeken in een wirwar van informatie".

Titel: Het Ophalen van Desinformatie over Klimaatverandering door Narratief

Auteurs: Max Upravitelev et al. (TU Berlin, DFKI, BIFOLD, CERTAIN)

1. Het Probleem

Huidige methoden voor het detecteren van desinformatie over klimaatverandering vertrouwen vaak op vaste taxonomieën (vooraf gedefinieerde categorieën van verhalen). Dit heeft twee grote beperkingen:

Gebrek aan flexibiliteit: Desinformatie-narratieven evolueren snel. Een vast labelset kan nieuwe, nog niet eerder geziene verhalen niet detecteren.
Lexicale vs. Semantische kloof: Verhalen die dezelfde kernboodschap hebben (bijv. "CO2 is plantenvoeding"), kunnen volledig verschillende woorden gebruiken en weinig overlap vertonen in hun oppervlakte-tekst. Klassieke zoekopdrachten of classificatiemodellen falen vaak omdat ze zoeken naar lexicaal overlap in plaats van onderliggende logische connecties.

De auteurs stellen daarom voor om de taak te herformuleren van classificatie naar informatie-oophaling (retrieval). In plaats van een tekst te labelen, wordt de kernboodschap van een narratief gebruikt als een zoekopdracht (query) om relevante teksten uit een corpus te rangschikken. Dit vereist geen vooraf gedefinieerde labels en maakt het mogelijk om opkomende narratieven te monitoren.

2. Methodologie: Het SpecFi Framework

De kern van de oplossing is SpecFi (Speculative Fiction), een framework dat de kloof overbrugt tussen abstracte narratieve beschrijvingen en concrete tekstuele instanties. Het proces verloopt in vijf stappen:

Query en Referentie: Een analist voert een narratieve beschrijving in (bijv. "CO2 is niet schadelijk"). De referentie-corpus bevat teksten zonder narratieve labels (realistische setting).
Few-Shot Voorbeelden Genereren: Om de zoekopdracht te verbeteren, worden hypothetische voorbeelden gegenereerd. SpecFi doet dit op twee manieren:
- SpecFi-DR (Dense Retrieval): Haalt de meest vergelijkbare tekst uit het corpus op via dichte zoekopdrachten (cosine similarity) als voorbeeld.
- SpecFi-CS (Community Summaries): Gebruikt NodeRAG (een graf-gebaseerde RAG-framework). NodeRAG bouwt een heterogene kennisgrafiek van het corpus, past community detection (Leiden-algoritme) toe om thematische clusters te vinden, en genereert samenvattingen van deze gemeenschappen. Deze samenvattingen fungeren als abstracte, hoogwaardige voorbeelden.
Hypothetische Documenten Genereren (HyDE): Een Large Language Model (LLM) gebruikt de verkregen voorbeelden (of de query alleen) om $n=10$ hypothetische documenten te genereren die het narratief ondersteunen.
Inbedding en Zoeken: Deze gegenereerde documenten worden ingebed (embedded) en gebruikt om de daadwerkelijke zoekopdracht uit te voeren in het testcorpus via geaggregeerde dichte zoekopdrachten.
Rangschikking: De resultaten worden gerangschikt op relevantie voor het oorspronkelijke narratief.

Belangrijke Componenten:

NodeRAG: Gebruikt graf-gebaseerde redenering om structurele connecties en thematische patronen te vinden die embedding-modellen alleen missen.
SpecFi-CS: De variant die gebruikmaakt van gemeenschapssamenvattingen blijkt superieur omdat deze de interpretatieve reikwijdte van een narratief beter omvat dan een enkel tekstfragment.

3. Belangrijkste Bijdragen

Retrieval-basisevaluatie: De auteurs hergebruiken drie bestaande datasets (CARDS, Climate Obstruction, PolyNarrative) voor een retrieval-taak in plaats van classificatie, wat een nieuwe benchmark biedt voor het monitoren van narratieven.
SpecFi Framework: Een nieuw systeem dat hypothetische documenten genereert om de abstract-concrete kloof te overbruggen. Het toont aan dat graf-gebaseerde gemeenschapssamenvattingen (SpecFi-CS) beter presteren dan directe tekstretrieval.
Narratieve Variantie (Narrative Variance): De introductie van een nieuwe metriek ( $V_i$ ) die de interne spreiding van teksten binnen een narratief kwantificeert. De auteurs tonen aan dat hoge variantie leidt tot slechtere prestaties bij standaard zoekmethoden, maar dat SpecFi-CS hier robuust tegen is.
Ongeleerde Structuur: Analyse toont aan dat graf-gebaseerde methoden (zonder labels) narratieve structuren kunnen onthullen die dicht bij door experts gemaakte taxonomieën liggen.

4. Resultaten

De experimenten zijn uitgevoerd op drie datasets, met name CARDS (2.904 teksten).

Prestaties: SpecFi-CS (met de "abliterated" Gemma-3-27b-it model) bereikte de hoogste Mean Average Precision (MAP) van 0.505 op de CARDS dataset, zonder toegang tot narratieve labels tijdens de zoektocht. Dit is een aanzienlijke verbetering ten opzichte van:
- Dichte baseline (Qwen3-Embedding-4B): ~0.30 MAP.
- SpecFi-DR (gebaseerd op directe tekstretrieval): ~0.46 MAP.
- BM25 (traditionele zoekmachine): ~0.33 MAP.
Robuustheid bij Hoge Variantie:
- Bij narratieven met hoge interne variantie (veel verschillende formuleringen) degradeerde BM25 met 63,4% in prestatie.
- SpecFi-CS degradeerde slechts met 32,7% en behield de hoogste absolute prestatie.
Statistische Analyse: Er is een sterke negatieve correlatie gevonden tussen narratieve variantie en de prestaties van standaard baselines. SpecFi-CS is minder gevoelig voor deze variantie, wat aangeeft dat het beter omgaat met diverse tekstuele instanties van hetzelfde narratief.
Convergentie: De door NodeRAG gegenereerde gemeenschapssamenvattingen bleken vaak te convergeren naar beschrijvingen die overeenkwamen met de expert-taxonomieën, zelfs zonder dat de labels bekend waren.

5. Betekenis en Toekomstperspectief

Flexibiliteit in Monitoring: Deze aanpak stelt fact-checkers en journalisten in staat om nieuwe, opkomende desinformatiecampagnes te detecteren zonder eerst een nieuw classificatiemodel te moeten trainen. Ze kunnen een kernboodschap als query gebruiken en direct zien hoe wijdverbreid deze al is.
Graf-gebaseerde Inzicht: Het paper demonstreert dat graf-gebaseerde community detection (NodeRAG) een krachtige tool is om structurele patronen in ongelabelde teksten bloot te leggen, wat de basis legt voor automatische taxonomie-ontwikkeling.
Beperkingen: Het systeem is afhankelijk van LLM's die desinformatie kunnen genereren (ethische overwegingen) en vereist aanzienlijke rekentijd (ongeveer 24 seconden per narratief voor SpecFi-CS versus <1 seconde voor BM25).
Toekomst: De methode is domein-onafhankelijk en kan worden toegepast op andere vormen van desinformatie (bijv. politieke propaganda, COVID-19 complottheorieën). Verdere verbetering kan worden behaald door de graf-representatie en de vergelijkingsmetrieken aan te passen aan narratieve structuren.

Conclusie: Het paper biedt een robuust, adaptief alternatief voor statische classificatie door narratieve retrieval te combineren met hypothetische documentgeneratie en graf-gebaseerde samenvattingen, waardoor het mogelijk wordt om de dynamische en complexe wereld van klimaatdesinformatie effectiever te monitoren.