Posts of Peril: Detecting Information About Hazards in Text

Technische Samenvatting: Posts of Peril: Detectie van Informatie over Gevaren in Tekst

Probleemstelling
Hoewel socio-linguïstische indicatoren zoals sentiment, emotie en morele verontwaardiging routinematig worden geëxtraheerd uit tekst om mens-computerinteracties te analyseren, blijft een kritieke dimensie vaak onbelicht: de aanwezigheid of afwezigheid van informatie betreffende gevaren (hazards). Gevaren worden gedefinieerd als negatieve gebeurtenissen die een hoge waarschijnlijkheid van significante (vaak onmiddellijke) kosten voor individuele belangen met zich meebrengen; informatie over gevaren is fundamenteel verschillend van algemene negativiteit. Evolutionair en psychologisch onderzoek suggereert dat mensen beschikken over een "negatief-gebiaste geloofwaardigheid" (negatively-biased credulity), waarbij zij meer aandacht besteden aan potentiële gevaren en beweringen over gevaren als geloofwaardiger ervaren dan beweringen over voordelen. Ondanks het belang van deze cognitieve bias voor de verspreiding van misinformatie en informatieoperaties (IO), ontbreken bestaande tools een toegewezen mechanisme om specifiek informatie over gevaren te detecteren, omdat zij deze vaak verwarren met algemeen negatief sentiment of dreigingsgerelateerde trefwoorden.

Methodologie
De auteurs hebben een nieuw meertalig model ontwikkeld om informatie over gevaren te detecteren in tekstberichten op X (voorheen Twitter). De methodologie verloopt via vier primaire fasen:

1. Curatie van Ground Truth Data:

   • Een benchmark-dataset werd geconstrueerd door 1.338 X-posts te extraheren die woorden bevatten uit de "Threat Dictionary" (Choi et al., 2022).
   • Menselijke annotatoren (via Cloud Research) labelden deze posts op basis van de vraag of ze een gevaar beschreven (iets dat schade of kosten oplegt).
   • Om de kwaliteit te waarborgen, werden annotaties gefilterd op voltooiingstijd en controle van de aandacht (attention checks). Posts met minder dan twee annotaties door werkers werden verwijderd, wat resulteerde in 1.131 posts voor training/validatie/test.
   • Aanvullende annotaties werden uitgevoerd door studenten op specifieke datasets (de Israëlisch-Hamas oorlog en de Franse verkiezingen van 2022) om de generaliseerbaarheid te verifiëren, waarbij de tekst naar het Engels werd vertaald voor consistentie.

2. Modeltraining en Architectuur:

   • Embeddings: De auteurs maakten gebruik van vier meertalige sentence transformers (distiluse-base-multilingual-cased-v2, paraphrase-multilingual-MiniLM-L12-v2, Qwen3-Embedding-0.6B, en stsb-xlm-r-multilingual) om tekst om te zetten in vector-embeddings.
   • Classifiers: Gesuperviseerde modellen, waaronder XGBoost, neurale netwerken, Random Forest en Support Vector Machines (SVM), werden getraind op deze embeddings. Hyperparameters werden geoptimaliseerd met behulp van BayesSearchCV en GPyOpt.
   • Baselines: Het model werd vergeleken met:
     • Dictionary-benaderingen (Threat Dictionary + synoniemen).
     • Large Language Models (GPT-3.5, GPT-4, GPT-5) met gebruik van zero-shot, few-shot en chain-of-thought prompting.
     • Bestaande affect-indicatoren: Morele verontwaardiging, sentiment (VADER) en emotiedetectie (Demux).

3. Toepassing op Real-World Data:

   • Het model werd toegepast op twee grote, meertalige datasets:
     • Israëlisch-Hamas Oorlog (2023): 3,6 miljoen posts (93% Engels, 6,5% Arabisch).
     • Franse Nationale Verkiezingen 2022: 5,9 miljoen posts (95% Frans, 5% Engels).
   • Coördinatie Detectie: Accounts werden geïdentificeerd als "gecoördineerd" (onauthentiek/IO) met behulp van hashtag-matching en eigenvector centrality analyse (Luceri et al., 2024) om organische discussie te onderscheiden van informatiecampagnes.

Belangrijkste Resultaten

• Modelprestaties: Het op meertalige embeddings getrainde XGBoost-model bereikte een Receiver Operating Characteristic Area Under the Curve (ROC-AUC) van 0,79 ± 0,04. Deze prestatie is vergelijkbaar met large language models (GPT-3.5/4/5), maar biedt een aanzienlijk hogere doorvoer en lagere kosten, wat schaalbaar is voor miljoens van posts.
• Distinctiviteit van Gevaarssignalen: De hazard-classifier vertoonde lage absolute Spearman-correlaties (< 0,5) met andere affect-indicatoren zoals morele verontwaardiging, sentiment en algemene emotie. Dit bevestigt dat detectie van gevaren unieke informatie vastlegt die niet reduceerbaar is tot standaard negatieve valentie of emotionele intensiteit.
  • Informatie over gevaren correleerde positief met angst en negatief met vreugde, zoals verwacht.
  • Het correleerde positief met de Threat Dictionary, maar presteerde beter dan de dictionary-baseline (ROC-AUC 0,68), wat het belang van contextbewuste AI boven eenvoudige trefwoordmatching aantoont.
• Inzichten in Informatieoperaties:
  • Israëlisch-Hamas Oorlog: Gecoördineerde accounts vertoonden verschillende patronen vergeleken met organische accounts. Terwijl organische accounts de nadruk legden op gevaren voor kinderen en burgers met betrekking tot de aanval van 7 oktober, kaderden gecoördineerde accounts gevaren vaak anders, waarbij ze soms gevaren associeerden met "bommen" en "burgers" in de context van de Israëlische reactie, of selectief over gevaren discussieerden om hulp voor specifieke zijden te rechtvaardigen.
  • Franse Verkiezingen 2022: Er werd gevonden dat gecoördineerde accounts het verkiezingsdiscours kapten om te discussiëren over gevaren gerelateerd aan de Rusland-Oekraïne oorlog (bijv. nucleaire dreigingen) of om te pleiten voor regimeverandering in Oeganda, waarbij zij hazard-framing gebruikten om geopolitieke narratieven te beïnvloeden.
  • Temporele Dynamiek: In de Israëlisch-Hamas dataset vertoonden organische accounts een scherpe piek in de zekerheid over gevaren (hazard confidence) direct na de aanval van 7 oktober, terwijl gecoördineerde accounts geen vergelijkbare onmiddellijke piek in hazard-zekerheid lieten zien, ondanks een toename in postvolume. Dit suggereert dat detectie van gevaren kan dienen als een onderscheidende indicator voor belangrijke gebeurtenissen vergeleken met volume of dreigingswoord-tellingen.

Betekenis en Claims
Het artikel positioneert dit werk als een "eerste stap" naar een uitgebreide detectie van gevaren binnen omgevingen van informatieoorlogvoering. De auteurs stellen dat:

1. Nieuwigheid: Zij hebben het eerste toegewijde model ontwikkeld en gedeeld voor het extraheren van informatie over gevaren uit sociale media, waarmee zij een gat in de bestaande linguïstische analyse-instrumenten opvullen.
2. Nut: De tool onthult saillante kenmerken van geopolitieke discours die onzichtbaar blijven voor traditionele sentiment- of emotieanalyse, specifiek hoe informatie-operators gevaren kaderen om publieke opinie te beïnvloeden (bijv. het oproepen tot hulp voor zwakkere conflictpartijen).
3. Toegankelijkheid: Het model wordt uitgebracht als een open-source Python-package, en de geannoteerde datasets worden beschikbaar gesteld om onderzoekers en journalisten in staat te stellen de detectie van gevaren iteratief te verbeteren en de inhoud van gevaren in hun eigen contexten te analyseren.

De auteurs blijven bescheiden en merken op dat het huidige model een fundamentele stap is en dat toekomstig onderzoek vereist zal zijn om de detectiecapaciteiten verder te verfijnen.