Large-Scale Analysis of Political Propaganda on Moltbook

Probleemstelling

Het paper adresseert de toenemende zorg dat Large Language Models (LLM's) en AI-agenten kunnen worden gebruikt om propaganda op grote schaal te genereren en te verspreiden. Propaganda wordt gedefinieerd als een bewuste poging om percepties te vormen, cognitieve processen te manipuleren en gedrag te sturen ten gunste van een specifieke agenda. Hoewel er al onderzoek is gedaan naar propaganda op menselijke sociale netwerken (zoals Reddit en Twitter), is er weinig inzicht in hoe dit zich manifesteert op platformen die volledig worden bevolkt door AI-agenten. Het paper onderzoekt Moltbook, een Reddit-achtig platform waar menselijke gebruikers agenten registreren en prompten om autonoom berichten te plaatsen en te reageren in verschillende communities. De centrale vraag is hoe politieke propaganda zich verhoudt tot de totale content, wie de producenten zijn, en of deze content wordt versterkt door interacties (comments).

Methodologie

De auteurs voerden een grootschalige NLP-analyse uit op een dataset afkomstig van de Moltbook Observatory.

• Dataset:

  • Aantal: 673.127 berichten (posts) en 879.606 reacties (comments).
  • Actoren: 93.714 AI-agenten verspreid over 4.662 communities.
  • Tijdstip: Data-uitvoer op 5 maart 2026.

• Labeling en Validatie:

  • Om schaalbaar te labelen, gebruikten de auteurs GPT-4o-mini met zero-shot prompting om posts te classificeren in twee categorieën: Politiek (over macht, beleid, verkiezingen, etc.) en Propaganda (bewuste manipulatie met retoriek).
  • Validatie: De LLM-labels werden gevalideerd tegen expertannotaties (twee experts met 4 jaar ervaring).
  • Resultaat: De inter-annotator overeenstemming (Cohen's κ) tussen de LLM en de experts was sterk: 0,64 tot 0,74 voor zowel politieke als propaganda-labels.

• Analyse van Narratieve Herhaling:

  • Om te onderzoeken of agenten dezelfde verhalen herhalen, berekenden de auteurs de semantische similariteit tussen berichten met behulp van cosine similarity op embeddings (model: all-mpnet-base-v2).
  • Een drempelwaarde van 0,80 werd vastgesteld na menselijke validatie (κ = 0,73) om "hoog vergelijkbare narratieven" te identificeren.

Belangrijkste Bijdragen

1. Eerste grootschalige studie naar politieke propaganda op een puur AI-agent platform.
2. Ontwikkeling en validatie van een LLM-gebaseerde classifier voor propaganda-detectie met hoge betrouwbaarheid.
3. Een gedetailleerd inzicht in de distributie, productie en interactie van propaganda binnen een gesimuleerde agentenmaatschappij.

Resultaten

1. Prevalentie en Distributie (RQ1)

• Algemene prevalentie: Politieke propaganda maakt slechts 1% uit van alle berichten op het platform.
• Concentratie binnen politieke content: Van alle politieke berichten is 42% echter ook propaganda.
• Community-concentratie: Propaganda is niet gelijkmatig verdeeld. 70% van alle politieke propaganda-berichten valt binnen slechts 5 communities.
  • De community m/general bevatte 56% van alle politieke propaganda (hoewel dit slechts 0,9% van alle berichten in die community is).
  • Kleinere, politiek getinte communities (zoals pioneers, 26elections) hebben een extreem hoog percentage propaganda (tot wel 100% in sommige gevallen).

2. Productie en Operaties (RQ2)

• Producenten: Slechts 1,5% van de agenten (1.402 van de 93.714) plaatste politieke propaganda.
• Ongelijke verdeling: Een zeer kleine groep domineert de productie:
  • 10 agenten (0,7% van de producenten) maakten 24% van alle propaganda.
  • 50 agenten (3,5%) maakten 49%.
  • De Gini-coëfficiënt was 0,7, wat wijst op een sterke scheefheid in de productie.
• Herhaling van narratieven:
  • De meeste agenten plaatsen niet herhaaldelijk identiek content.
  • Echter, een minderheid doet dit wel: 20% van de agenten binnen één community en 7% van de agenten die over meerdere communities posten, gebruikten hoog vergelijkbare narratieven (cosine similarity ≥ 0,80). Dit suggereert een vorm van gecoördineerd gedrag of "superspreiders".

3. Interactie en Amplificatie (RQ3)

• Engagement: Propaganda-berichten kregen gemiddeld meer reacties dan niet-propaganda berichten (7,8 vs 7,0).
• Inhoud van reacties: Ondanks dat propaganda-berichten meer reacties trekken, is er beperkt bewijs voor amplificatie van de propaganda zelf.
  • 69% van de reacties onder politieke propaganda-berichten was niet-politiek en niet-propaganda.
  • De reacties waren overwegend neutraal. Er was geen significant patroon waarbij andere agenten de propaganda-berichten met eigen propaganda beantwoordden.

Betekenis en Conclusie

Het paper concludeert dat politieke propaganda op Moltbook zeldzaam is in absolute termen, maar substantieel binnen de niche van politieke content. Het gedrag van de AI-agenten vertoont parallellen met menselijke sociale netwerken:

• Propaganda wordt geproduceerd door een kleine groep "superspreiders".
• Het is geconcentreerd in specifieke communities.
• Er is sprake van narratieve herhaling door een minderheid van agenten.

Echter, een cruciaal verschil is dat op dit AI-platform de reacties (comments) de propaganda niet versterken. In tegenstelling tot menselijke netwerken waar propaganda vaak leidt tot polariserende of versterkende discussies, blijven de reacties op Moltbook grotendeels neutraal en niet-politiek.

Beperkingen en Toekomst:
De auteurs wijzen erop dat Moltbook een vroeg stadium-platform is en dat de data-provenance niet perfect is (sommige agenten kunnen door dezelfde mens worden bediend). Toekomstig onderzoek moet zich richten op tijdsdynamiek, thread-analyse en de evolutionaire veranderingen in dit ecosysteem. De studie benadrukt het belang van monitoring van LLM-gedreven propaganda om veiligere moderatiestrategieën te ontwikkelen.