🤖 AI

Evaluating Online Moderation Via LLM-Powered Counterfactual Simulations

Dit artikel introduceert een door Large Language Models aangedreven simulator die het mogelijk maakt om de effectiviteit van online moderatiestrategieën te evalueren via parallelle, contrafactuele experimenten, waarbij wordt aangetoond dat gepersonaliseerde interventies superieur zijn in het beperken van giftig gedrag.

Oorspronkelijke auteurs: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti

Gepubliceerd 2026-04-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Digitale Proefkeuken: Hoe AI ons helpt om online ruzies te stoppen

Stel je voor dat je een enorme, drukke markt hebt waar duizenden mensen tegelijkertijd praten, roepen en soms elkaar beledigen. Dit is ons internet, ofwel sociale media. De beheerders van deze markt (zoals Facebook of X) proberen de ruzies te stoppen, maar het is heel lastig om te weten welke manier werkt. Kunnen we beter iedereen een waarschuwingstje geven? Of moeten we de ergste schreeuwers direct het veld uit zetten?

In de echte wereld is het moeilijk om dit te testen. Als je een nieuwe regel invoert, kun je niet zomaar de tijd terugdraaien om te zien wat er was gebeurd als je die regel niet had ingevoerd. Het is alsof je probeert te weten of een paraplu je droog houdt, terwijl het al regent en je geen tweede versie van jezelf hebt om te vergelijken.

COSMOS: De Digitale Zelfsnelheid

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd COSMOS. Denk hierbij aan een digitale proefkeuken of een tijdmachine voor sociale media.

De Digitale Mensen (Agents):
COSMOS maakt geen echte mensen na, maar gebruikt slimme computerprogramma's (AI-agenten) die zich gedragen als mensen. Ze hebben een "persoonlijkheid": sommigen zijn chagrijnig, anderen zijn vriendelijk, sommigen zijn politiek links, en anderen rechts. Ze zijn gebaseerd op echte psychologische kenmerken, zodat ze zich net zo irrationeel of emotioneel gedragen als wij.
De Twee Werelden (De Spiegel):
Dit is het magische deel. COSMOS draait twee exact dezelfde simulaties tegelijkertijd:
- Wereld A (De Realiteit): Hier gebeurt van alles. Mensen posten, reageren en soms worden ze giftig. Niemand wordt gestopt.
- Wereld B (De Spiegelwereld): Dit is een kopie van Wereld A. Alles is hetzelfde, behalve dat hier de beheerders ingrijpen. Als iemand in Wereld B een beledigende post maakt, krijgt hij direct een boodschap of wordt hij gebannen.
Omdat de twee werelden identiek beginnen, kun je precies zien wat het verschil maakt. Het is alsof je twee identieke tuinen hebt, maar in de ene tuin giet je een speciale vloeistof op de planten om te kijken of ze beter groeien dan in de andere.

Wat hebben ze ontdekt?

De onderzoekers hebben met deze "tijdmachine" gekeken naar verschillende manieren om online haat te bestrijden:

De "Eén Maat Past Allen"-Strategie:
Stel je voor dat de beheerder iedereen dezelfde standaardbrief stuurt: "Hé, wees aardig."
Resultaat: Dit werkt niet zo goed. Het is alsof je een regenjas probeert te verkopen aan iemand die juist een paraplu nodig heeft. De boodschap komt niet aan bij de specifieke persoon.
De Persoonlijke Strategie:
Hierbij past de AI de boodschap aan op de persoon. Als iemand chagrijnig is, krijgt hij een boodschap die daarop inspeelt. Als iemand juist eenzaam is, krijgt hij een vriendelijke, empathische boodschap.
Resultaat: Dit werkt veel beter. Het is alsof je een maatwerk-oplossing geeft. Mensen reageren positiever als ze zich begrepen voelen, zelfs als ze net een fout hebben gemaakt.
Het Verbannen (Bannen):
Soms moet je iemand het veld uit zetten. De onderzoekers keken wat er gebeurt als je mensen direct verbiedt.
Resultaat: Dit stopt de ruzie wel, maar het kost je ook veel "gezonde" gesprekken. Het is alsof je een hele straat afsluit omdat er één persoon ruzie maakt. Je verliest ook de onschuldige buren die daar gewoon wilden wandelen.
De Besmetting:
Een interessante ontdekking is dat haat "aanstekelijk" is. Als iemand giftig doet, maken anderen het na. Maar als je die ene giftige persoon vriendelijk corrigeert, stopt de besmetting ook bij de anderen die naar hem kijken. Het is een domino-effect: één goede actie kan een hele keten van ruzies stoppen.

Waarom is dit belangrijk?

Vroeger moesten sociale media platforms gokken op hun regels. Nu kunnen ze eerst in de "digitale proefkeuken" van COSMOS testen: "Wat gebeurt er als we dit nieuwe systeem gebruiken?"

Het helpt hen om te ontdekken dat persoonlijke aandacht vaak beter werkt dan straffen. Het is een stap in de richting van een internet waar we minder ruzie maken en meer luisteren naar elkaar, zonder dat we eerst duizenden mensen moeten kwetsen om het te leren.

Kortom: COSMOS is een slimme simulator die ons toelaat om de toekomst van online gesprekken te oefenen, zodat we de beste manier vinden om onze digitale samenleving vreedzamer te maken.

Titel: Evaluatie van Online Moderatie via LLM-gedreven Contradictorische Simulaties

Auteurs: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti (Universiteit van Pisa & ISTI-CNR, Italië)
Publicatie: AAAI 2026 (Preprint)

1. Het Probleem

Online Sociale Netwerken (OSN's) kampen met een toenemende verspreiding van giftige en giftige discoursen. Hoewel platformen moderatiemaatregelen toepassen (zoals verbannen of waarschuwingen), is de werkelijke effectiviteit van deze interventies moeilijk te evalueren.

Uitdagingen: Het verzamelen van empirisch bewijs uit de echte wereld is duur, beperkt door API-beperkingen van private platforms en gebrek aan controle over experimentele variabelen (verwarring factoren).
Bestaande methoden: Traditionele agent-based modeling (ABM) mist vaak de nuance en geloofwaardigheid van menselijk gedrag. Bestaande tools ondersteunen geen simulatie-gebaseerde evaluatie waarbij moderatiestrategieën strikt worden getest onder gecontroleerde, contradictorische omstandigheden.

2. Methodologie: COSMOS

De auteurs introduceren COSMOS (COunterfactual Simulations of MOderation Strategies), een simulator voor OSN-conversaties die gebruikmaakt van Large Language Models (LLM's) om menselijk gedrag te simuleren.

Kernarchitectuur:

Parallelle Simulaties: COSMOS draait twee gelijktijdige simulaties:
1. Factuele simulatie: Agenten interageren vrij zonder moderatie.
2. Contradictorische simulatie: Een exacte kopie van de factuele simulatie, waarbij alleen moderatie-interventies worden toegepast (ceteris paribus).
Agenten: Agenten worden aangedreven door een LLM (SOLAR-10B) en zijn uitgerust met:
- Profielmodules: Gedemografische en psychologische attributen (o.a. Big Five persoonlijkheidstrekken) afgeleid van realistische datasets (GSS en PANDORA).
- Sensory Modules: Context van de conversatie (het bericht waarop wordt gereageerd).
- Memory Modules: Opslag van eerdere moderatie-berichten die het toekomstige gedrag beïnvloeden.
Moderatiestrategieën:
- Ex-post: Verbanning (BAN) na een bepaald aantal overtredingen.
- Ex-ante: Waarschuwingsberichten.
  - One-Size-Fits-All (OSFA): Een standaard bericht voor iedereen.
  - Personalized Moderation Interventions (PMI): Berichten die zijn afgestemd op het psychologisch profiel van de gebruiker (Neutraal, Empathisch, of Prescriptief).
Toxiciteit Detectie: Gebruik van de Google Perspective API om de toxiciteit van gegenereerde tekst te meten.

Werkingsprincipe:
Bij elke tijdstap kiest een agent een actie (posten, reageren, niets doen). De LLM genereert een reactie gebaseerd op het profiel, de context en eventueel eerdere moderatie-berichten (in de memory module). Als de gegenereerde tekst in de contradictorische simulatie giftig is, wordt een moderatie-interventie geactiveerd die de "herinnering" van de agent update. Dit beïnvloedt toekomstige reacties en creëert cascade-effecten op andere gebruikers in de conversatiestroom.

3. Belangrijkste Bijdragen

COSMOS Simulator: De eerste simulator die specifiek is ontworpen om moderatiestrategieën te evalueren via contradictorische simulaties, waarbij een "wat als"-scenario wordt vergeleken met een realistisch scenario.
Psychologische Realisme: Het bewijs dat LLM-agenten, wanneer ze worden geprompt met gedetailleerde psychologische profielen, geloofwaardig giftig gedrag vertonen dat correleert met echte menselijke patronen (bijv. lage agreeability en hoge neuroticisme leiden tot meer toxiciteit).
Evaluatie van Personalisatie: Een systematische vergelijking die aantoont dat gepersonaliseerde moderatie (PMI) effectiever is dan standaardberichten.
Ontmaskering van "Deplatforming": Een analyse van de trade-off tussen het verminderen van toxiciteit en het verliezen van inhoud (Content Loss Ratio) bij verbanningen.

4. Resultaten

De auteurs voerden uitgebreide experimenten uit met 30 agenten over 50 tijdstappen, inclusief sub-populaties met de meest giftige gebruikers.

Geloofwaardigheid van Gedrag: Er was een significante correlatie tussen de gesimuleerde toxiciteit en de Big Five persoonlijkheidstrekken, die overeenkwam met empirische data uit de echte wereld. Giftig gedrag verspreidde zich ook via "contagion" (besmetting) binnen draadjes.
Effectiviteit van Moderatie:
- Gepersonaliseerde Interventies (PMI): De "Neutrale" gepersonaliseerde aanpak (PMI-N) bleek het meest effectief om toxiciteit te verminderen (significante negatieve massadivergentie $\Delta M$ ). Dit komt doordat het de moderator vrijheid geeft om de toon aan te passen aan de specifieke situatie.
- One-Size-Fits-All (OSFA): Minder effectief dan PMI.
- Verbanning (BAN): Hoewel verbanningen (bijv. na 1 overtreding) de toxiciteit sterk verminderen, gaat dit ten koste van veel inhoud. Bij een lage tolerantie (e=1) is de Content Loss Ratio (CLR) ongeveer 45%, wat betekent dat bijna de helft van de content (inclusief veel niet-giftige content) verloren gaat.
Psychologische Invloed: Moderatie werkt het beste op agenten met een "prototypisch giftig" profiel (lage agreeability, hoge neuroticisme).
Impact op Extremen: Moderatie heeft het grootste effect op de meest giftige uitingen (boven de 80e percentiel), terwijl de impact op milder giftig gedrag varieert.

5. Betekenis en Conclusie

Dit paper biedt een nieuwe methodologische benadering voor de sociale wetenschappen en industriële toepassingen:

Voor Onderzoek: Het stelt onderzoekers in staat hypothesen te testen over sociale dynamiek en moderatie zonder de ethische en praktische beperkingen van veldexperimenten.
Voor Industrie: Het biedt een testomgeving voor het evalueren van geautomatiseerde moderatiesystemen voordat ze worden ingezet op echte platforms.
Kerninzicht: Gepersonaliseerde, preventieve interventies zijn superieur aan standaardberichten of ruwe verbanningen, omdat ze de toxiciteit corrigeren zonder de discussie volledig te onderdrukken.

Beperkingen:
De auteurs erkennen dat LLM's hallucinaties kunnen vertonen (ongeveer 7% van de content) en dat de simulatie beperkt is tot tekstuele interacties (geen likes/follows). Ook blijft de kwestie van bias in LLM-training een uitdaging. Toch biedt COSMOS een waardevol complement aan traditionele observatiemethoden.