LLM-based Detection of Manipulative Political Narratives

Technische Samenvatting: LLM-gebaseerde Detectie van Manipulatieve Politieke Narratieven

Probleemstelling
Het artikel behandelt de kritieke uitdaging van het detecteren van Buitenlandse Informatiemanipulatie en -Interferentie (FIMI) binnen grote, ongefilterde datasets van sociale media. De primaire moeilijkheid ligt in het onderscheid maken tussen legitieme, zij het controversiële, politieke kritiek en gecoördineerde, manipulatieve strategische narratieven. Traditionele benaderingen, zoals standaard topic modeling of feitenchecken op waarheidsgehalte, falen vaak omdat manipulatieve inhoud zich frequently baseert op de kwaadaardige herformulering van feitelijke gebeurtenissen (malinformation) in plaats van pure leugens. Bovendien worstelen bestaande methoden om gecoördineerde staatsgerichte campagnes te scheiden van echte populistische of persoonlijke politieke meningen, waarbij ze vaak de specifieke retorische nuances en intenties over het hoofd zien die strategische narratieven definiëren.

Methodologie
De auteurs stellen een door een Groot Taalmodel (LLM) aangedreven dataverwerkingspijplijn voor die ontworpen is om manipulatieve narratieven te detecteren, te filteren en te clusteren zonder te vertrouwen op een vooraf gedefinieerde lijst van doelcategorieën. De methodologie bestaat uit vier sequentiële fasen:

1. Op Prompt Gebaseerde Filtering:

   • Doel: Het isoleren van manipulatieve berichten van legitieme kritiek en niet-gerelateerde inhoud.
   • Mechanisme: Een redenerend model (Qwen3.5-122B) wordt geleid door een gedetailleerde few-shot prompt. Deze prompt definieert FIMI-kenmerken (bijv. schuld verschuiven, morele inversie, slachtofferschap) en instrueert het model expliciet om te differentiëren tussen gecoördineerde manipulatie en standaard politiek scepticisme.
   • Beperkingen: De prompt bevat specifieke "bekende motieven" (bijv. Doppelgänger, Storm-1516) en sluit expliciet vals-positieven uit, zoals normale regeringskritiek of persoonlijke economische frustratie. Het model geeft een boolean-classificatie en een redeneringsstring in JSON-formaat.
   • Strategie: Het systeem prioriteert tijdens deze fase een hoge recall (0,92) boven precisie, waarbij een hoger percentage vals-positieven wordt geaccepteerd om ervoor te zorgen dat geen enkele potentiële narratieffragment wordt weggegooid.

2. Intentie-gedreven Embedding:

   • Doel: Het in kaart brengen van de gefilterde berichten in een embedding-ruimte waar nabijheid manipulatieve intentie weerspiegelt in plaats van alleen thematische gelijkenis.
   • Mechanisme: De auteurs gebruiken het Qwen3-Embedding-8B-model. In tegenstelling tot standaard sentence transformers, wordt dit model geprompt met specifieke instructies om "het strategische narratief, de manipulatieve intentie en de onderliggende desinformatiemotief te identificeren". Dit zorgt ervoor dat berichten met vergelijkbare retorische strategieën en kwaadaardige intenties dicht bij elkaar worden geclusterd.

3. Dimensionaliteitsreductie en Clustering:

   • Mechanisme: De hoogdimensionale embeddings (4096 dimensies) worden gereduceerd met behulp van UMAP (Uniform Manifold Approximation and Projection) naar vijf dimensies.
   • Clustering: HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) wordt toegepast op de gereduceerde ruimte. Dit onbeheerde algoritme bepaalt het aantal clusters dynamisch op basis van dichtheid.
   • Optimalisatie: Hyperparameters werden afgesteld (specifiek min_cluster_size) om ruisreductie te balanceren met semantische distinctie. Een minimale clustergrootte van 400 werd geselecteerd, wat resulteerde in 41 distincte clusters terwijl het ruisniveau beheersbaar bleef (~29,7%).

4. Extractie van Strategische Narratieven:

   • Doel: Het genereren van menselijk leesbare labels voor elke cluster die het onderliggende verhaal beschrijven.
   • Mechanisme: Een groter redenerend model (Qwen3.5-397B) wordt ingezet. Het ontvangt de documenten van de cluster en c-TF-IDF-trefwoorden. Met behulp van een few-shot prompt synthetiseert het model een compleet narratieflabel, inclusief de kernclaim, de beoogde tegenstander en de manipulatieve hoek.

Belangrijkste Bijdragen
Het artikel schetst drie primaire technische bijdragen:

1. Op Redenering Gebaseerde Prompting: Bovenop traditionele BERT-gebaseerde classificatie introduceren de auteurs een redeneringsbenadering die wordt geleid door expliciete FIMI-kenmerken en few-shot voorbeelden. Dit isoleert succesvol strategische manipulatieve inhoud van legitieme kritiek op basis van retorische nuances.
2. Intentie-gedreven Embedding: De pijplijn verplaatst de focus van het embedding-model van algemene onderwerpen naar specifieke manipulatieve intenties. Door het embedding-model expliciet te configureren via prompt, worden gerelateerde verhalen dichter bij elkaar gepositioneerd in de vectorruimte, wat nauwkeurigere clustering faciliteert.
3. Extractie van Strategische Narratieven: De auteurs vervangen standaard topic extractie (lijsten met trefwoorden) door een gespecialiseerde prompt die het model dwingt om volledige verhalen uit te brengen. Deze narratieven vangen expliciet de kernclaim, de vijand en de manipulatieve hoek op, waardoor een rijker begrip van de campagnestructuur ontstaat.

Resultaten
Toegepast op een dataset van 1.255.895 berichten van sociale media (van X, Reddit en Telegram) die zijn verzameld voorafgaand aan de Duitse federale verkiezingen van 2025, identificeerde de pijplijn succesvol 41 distincte clusters van manipulatieve narratieven.

• Filterprestaties: De initiële filtering behaalde een F1-score van 0,77, gekenmerkt door een hoge recall (0,92) en een lagere precisie (0,66). De auteurs merken op dat het model strenger is dan menselijke beoordelaars en vaak individuele populistische meningen als manipulatief markeert; echter, de downstream HDBSCAN-clustering filtert deze vals-positieven effectief als ruis, aangezien ze geen dichte, coherente clusters vormen.
• Narratieve Thema's: De geëxtraheerde clusters werden gegroepeerd in vier hoofdthema-pilaren:
  1. De "Grote Vervanging": Narratieven die migratie als wapen presenteren om de inheemse bevolking te vernietigen.
  2. De Proxy-oorlog: Verhalen die Duitsland als een Amerikaanse kolonie neerzetten die nationale vrede opoffert voor buitenlandse belangen (specifiek met betrekking tot Rusland).
  3. De Klimaatdictatuur: Het presenteren van klimaatbeleid als een gefabriceerde hoax door globalisten om burgers te controleren en te verarmen.
  4. De AfD als Redder: Het positioneren van de rechtse AfD-partij en externe actoren (bijv. Elon Musk) als de enige redders tegen een corrupte "deep state".

Betekenis en Claims
Het artikel claimt dat zijn aanpak effectief de kloof overbrugt tussen het detecteren van gecoördineerde desinformatie en het begrijpen van de onderliggende strategische narratieven. Door prompt-gebaseerde filtering te integreren met onbeheerde clustering, kan het systeem nieuwe narratiefgroepen blootleggen zonder te vertrouwen op een vooraf gedefinieerde taxonomie.

Een significante bevinding is de synergie tussen de fase met hoge recall-filtering en de fase met dichtheidsgebaseerde clustering. De pijplijn benut het vermogen van de LLM om zijn interne kennis toe te passen (bijv. het herkennen van specifieke domeinen zoals rtde.media als proxies voor staatsmedia) om berichten te evalueren, zelfs wanneer dergelijke specifieke entiteiten niet expliciet in de prompt worden vermeld. De auteurs betogen dat deze methode superieur is aan traditionele topic modeling omdat het de intentie en het verhaal van manipulatie vastlegt in plaats van alleen het onderwerp.

Het artikel behoudt een bescheiden houding wat betreft zijn beperkingen, waarbij het de "vage lijn" erkent tussen gecoördineerde manipulatie en persoonlijke radicale politieke meningen. Het benadrukt dat de geëxtraheerde narratieven onbewerkte outputs zijn die bedoeld zijn voor transparantie en niet de politieke meningen van de auteurs weerspiegelen. Het werk concludeert dat hoewel de huidige aanpak effectief is, toekomstige iteraties kunnen profiteren van programmatische prompt-optimalisatie en de integratie van visuele taalmodellen om multimodale inhoud te verwerken.