A Causal Graph Approach to Oppositional Narrative Analysis

Deze paper introduceert een grafgebaseerd raamwerk dat narratives als entiteitsinteracties modelleert en causale schatting toepast om oppositieve verhalen te detecteren en te classificeren met een hogere nauwkeurigheid dan bestaande methoden.

De kern

Stel je voor dat je een enorme, chaotische menigte op een plein bekijkt. Iedereen praat, roept en fluistert. Sommige mensen zijn gewoon aan het klagen over het weer, terwijl anderen samenzweren om het plein plat te branden. De kunst is om te weten wie de echte samenzweerders zijn en wie gewoon een ontevreden burger is, zonder dat je iedereen individueel hoeft te ondervragen.

Dit is precies wat dit wetenschappelijke artikel doet, maar dan met tekst op internet (zoals berichten op Telegram of Twitter) in plaats van met mensen op een plein.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zwarte Doos"

Tot nu toe gebruikten computers vaak slimme, maar ondoorzichtige modellen (de "zwarte dozen") om te kijken of een tekst een complottheorie is. Ze keken naar patronen, zoals "als er woorden als 'vaccin' en 'geheim' samen staan, is het waarschijnlijk een complot".

• De analogie: Dit is alsof je een detective bent die alleen naar de kleding van de mensen kijkt. Als iemand een hoed en een jas draagt, denkt hij: "Aha, die is verdacht!" Maar hij ziet niet waarom die persoon daar is of wat hij met de anderen doet. Dit kan leiden tot fouten en vooroordelen.

2. De Oplossing: Een Kaart Tekenen (De Causale Grafiek)

De auteurs van dit artikel zeggen: "Laten we niet alleen naar de woorden kijken, maar naar de relaties tussen de mensen in de tekst."
Ze bouwen een kaart (een grafiek) van de tekst.

• De punten op de kaart: Dit zijn de "personages" of entiteiten (bijvoorbeeld: "De Overheid", "Vaccins", "5G-torens").
• De lijnen: Dit zijn de relaties. Wie beschuldigt wie? Wie werkt met wie samen?
• De analogie: In plaats van een lijst met verdachte namen, tekenen ze een spinnenweb. Ze kijken niet alleen naar de spin, maar naar hoe de draden met elkaar verbonden zijn. Als de "Overheid" en "5G" in een tekst met elkaar verbonden zijn in een specifiek patroon, is dat een sterk teken van een complot.

3. De Magie: Het "Waarom" begrijpen (Causale Analyse)

Dit is het meest interessante deel. De meeste AI-modellen zeggen alleen: "Dit is een complot." Maar ze zeggen niet waarom.
De auteurs voegen een extra stap toe: Causale schatting.

• De analogie: Stel je voor dat je een gerecht proeft dat te zout is. Een gewone AI zegt: "Het is te zout." Deze nieuwe AI zegt: "Het is te zout omdat de kok te veel zout heeft toegevoegd, niet omdat de groenten het waren."
• Hoe doen ze dat? Ze spelen een spelletje "Wat als?". Ze nemen één persoon uit hun kaart (bijvoorbeeld "Vaccins") en doen alsof die er niet is. Kijkt de computer dan nog steeds naar een complot?
  • Als het antwoord "nee" is, dan was die persoon de hoofdoorzaak.
  • Als het antwoord "ja" blijft, dan was die persoon niet zo belangrijk.
    Dit helpt om de echte drijvende krachten van een complottheorie te vinden en ruis (onbelangrijke details) weg te halen.

4. Het Resultaat: Slimmer en Sneller

Deze methode werkt verrassend goed.

• De prestatie: Hun model scoorde de hoogste punten in een wereldwijd wedstrijdje (de PAN 2024 challenge) om complottheorieën te vinden.
• Efficiëntie: Het model is niet zwaar. Het gebruikt ongeveer één derde van de rekenkracht van de andere winnaars.
• De analogie: Het is alsof ze een Ferrari hebben gebouwd die net zo snel is als de Formule 1-auto's van de concurrenten, maar die op een simpele benzinepomp draait in plaats van op dure raketbrandstof.

5. Waarom is dit belangrijk?

• Transparantie: Omdat we nu kunnen zien welke woorden of personen de AI als verdacht heeft gemarkeerd, kunnen mensen de beslissing controleren. Het is geen mysterie meer.
• Geen vooroordelen: Omdat het model kijkt naar de structuur van de discussie en niet alleen naar een lijstje met "verboden woorden", is het minder snel geneigd om onschuldige kritiek op de overheid te verwarren met gevaarlijke complottheorieën.

Samenvattend

De auteurs hebben een manier bedacht om tekst te lezen alsof het een spinnenweb van relaties is. Ze gebruiken slimme wiskunde om te achterhalen welke draden in dat web echt belangrijk zijn voor de boodschap. Hierdoor kunnen ze complottheorieën niet alleen sneller vinden, maar ook uitleggen waarom ze dat denken, wat de technologie veel betrouwbaarder en eerlijker maakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A Causal Graph Approach to Oppositional Narrative Analysis" in het Nederlands.

Probleemstelling

Bestaande methoden voor tekstanalyse vertrouwen vaak op data die is geannoteerd binnen vooraf gedefinieerde ontologieën. Dit introduceert menselijke bias in "black-box" modellen. Hoewel deze methoden hoge prestaties leveren, gebruiken ze voornamelijk ongestructureerde, lineaire patroonherkenning in plaats van de gestructureerde interacties tussen entiteiten te modelleren die natuurlijk voortvloeien uit discours.

Specifiek voor de detectie van samenzweringstheorieën en gecoördineerde aanvallen (oppositional narratives) is het een complexe uitdaging om onderscheid te maken tussen kritische spraak en gecoördineerde aanvallen. Bestaande benaderingen kampen met:

• Rolverdeling die te rigide is en de diffuse aard van participatie niet vastlegt.
• Moeite met het identificeren van entiteiten door contextuele subtiliteit en verborgen intenties.
• Gebrek aan transparantie in hoe het model tot een classificatie komt.

Methodologie

Het auteurs stellen een grafgebaseerd raamwerk voor dat narratieven representeren als entiteit-interactiegrafen, gecombineerd met causale schatting op knooppuntniveau. De architectuur bestaat uit de volgende fasen:

1. Span Extractie & Entiteitsclassificatie:

   • Gebaseerd op het SpERT-model, maar met een verbeterde aanpak. Het algoritme extrahert alle mogelijke entiteitskandidaten uit de inputtekst (greedy enumeratie tot een maximale breedte).
   • Een lineaire classifier wijst elke span een van de $N$ vooraf gedefinieerde entiteitstypen toe of classificeert deze als "geen span".

2. Entiteitsprojectie & Verrijking:

   • Geëxtraheerde entiteiten worden geprojecteerd naar een lagere dimensionale embeddingruimte om overfitting te voorkomen.
   • Deze embeddings worden verrijkt met een lichtgewicht Transformer-encoder die contextuele interacties tussen alle geëxtraheerde entiteiten modelleert.

3. Bipartiete Hypergraaf Constructie:

   • Het systeem bouwt een bipartiete graaf met twee verzamelingen knopen: $V$ (dynamische grootte, de geëxtraheerde entiteiten) en $E$ (vooraf gedefinieerde grootte $k$, relationele knopen/factoren).
   • Een MLP genereert binaire burenvectoren die de connecties aangeven. Discrete relatie-lidmaatschap wordt bepaald via een Gumbel-Sigmoid schatter, wat eind-tot-eind training mogelijk maakt.
   • Voor causale analyse wordt deze structuur geïnterpreteerd als een hypergraaf, waarbij de relationele knopen ($E$) fungeren als hyperedges over de entiteiten ($V$).

4. HGT Classificatie (Heterogeneous Graph Transformer):

   • Een HGT wordt gebruikt voor grafniveau-classificatie. Deze is specifiek geschikt voor het modelleren van narratieve grafieken met gecoördineerde interacties, omdat het rekening houdt met structurele en semantische heterogeniteit via class-bewuste relationele aandacht.
   • De BERT-encoder (frozen na fine-tuning op het LOCO-dataset) levert de token-embeddings, terwijl de grafcomponenten een relatief klein aantal parameters toevoegen (<200k extra parameters).

5. Causale Graaf Distillatie (HyperSCI):

   • Om de bijdrage van elke entiteit aan de uiteindelijke classificatie te begrijpen, wordt het HyperSCI-model gebruikt om het Individual Treatment Effect (ITE) te schatten.
   • Confounder Representatie: Een MLP projecteert knoopkenmerken naar een latente ruimte waar confounders (niet-causale correlaties) worden gecontroleerd via regularisatie op basis van de Wasserstein-afstand.
   • Interferentie Modelling: Een HyperGNN-laag aggregateert informatie van buren (spillover-effecten) om te begrijpen hoe de aanwezigheid van naburige entiteiten de causale context beïnvloedt.
   • ITE Schatting: Het model voorspelt de uitkomst met ($\hat{Y}(1)$) en zonder ($\hat{Y}(0)$) een specifieke knoop. Het ITE wordt berekend als $\hat{\tau}_i = \hat{Y}_i(1) - \hat{Y}_i(0)$.
   • Leave-One-Out (LOO): Omdat echte causale labels ontbreken, wordt een synthetisch dataset gegenereerd door knopen één voor één te maskeren (op nul te zetten) en de verandering in voorspelling te meten.
   • Distillatie: Door een "greedy search" worden knopen met de hoogste ITE behouden totdat een minimaal causaal subgraph overblijft dat nog steeds de juiste classificatie oplevert.

Belangrijkste Bijdragen

• Causale Graf Representatie: Een pijplijn om entiteit-interactiegrafen te extraheren zonder afhankelijk te zijn van vooraf gedefinieerde rol-schema's.
• Minimale Causale Graaf Distillatie: Een procedure om het ITE van knopen te schatten, overbodige knopen te verwijderen en een minimaal causaal subgraph te extraheren dat de beslissing van het model verklaart.
• Graph-Attention Classificatie: Een nieuwe classificatiepijplijn die de staat-van-de-kunst prestaties bereikt voor het classificeren van oppositiele denken.

Resultaten

Het model is getest op het PAN 2024 Oppositional Narratives dataset (Telegram-berichten over COVID-19).

• Classificatie Prestaties: Het model bereikte een F1-score van 0,93 (macro) en een Matthews Correlation Coefficient (MCC) van 0,8407. Hiermee staat het model eerst in de ranglijst, voor concurrenten zoals IUCL en AI_Fusion.
• Efficiëntie: Het model is uiterst parameter-efficiënt. Het gebruikt ongeveer 109 miljoen parameters, wat ongeveer een derde is van de tweede beste oplossing (die een zware DeBERTa-large van 304M parameters gebruikt).
• Causale Inference: Het model bereikte een PEHE (Precision in Estimation of Heterogeneous Effect) van 0,2994.
• Compressie: De analyse van de minimale subgrafen toont een gemiddelde compressiepercentage van 75,2%. Dit betekent dat het model vaak correcte voorspellingen kan doen op basis van slechts een klein fractie van de oorspronkelijke entiteiten in de tekst, wat wijst op effectieve causale attributie.

Betekenis en Conclusie

Dit werk toont aan dat het modelleren van tekst als een causale entiteit-interactiegraaf superieur is aan traditionele lineaire benaderingen voor het detecteren van samenzweringstheorieën.

• Interpreteerbaarheid: Door het distilleren van een minimaal causaal subgraph kunnen onderzoekers zien welke specifieke entiteiten en relaties de beslissing van het model drijven, wat "black-box" modellen transparanter maakt.
• Domain Adaptatie: Het fine-tunen op het grote LOCO-dataset (conspiracy corpus) en het vervolgens bevriezen van de encoder bleek cruciaal voor het overwinnen van data-schaarste in de specifieke taakdataset.
• Toekomst: Hoewel het een proof-of-concept is, biedt het een robuust fundament voor het analyseren van gecoördineerde desinformatiecampagnes, met ruimte voor verbetering in het mitigeren van spillover-effecten en het testen op bredere datasets.

De auteurs benadrukken echter ook ethische risico's: deze technologie kan worden gebruikt om desinformatie te bestrijden, maar ook als een tool voor automatische censuur van politieke tegenstanders.