Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content

Probleemstelling

De verspreiding van desinformatie en schadelijke politieke inhoud op sociale media vormt een ernstige bedreiging voor de integriteit van democratische processen, met name tijdens verkiezingscycli. Het detecteren van deze inhoud in een vroeg stadium is cruciaal, maar er zijn significante uitdagingen:

• Gebrek aan gestandaardiseerde datasets: Bestaande datasets zijn vaak beperkt, ongestructureerd of focussen alleen op specifieke vormen van misinformatie (zoals "fake news") in plaats van een breder spectrum aan schadelijke inhoud.
• Kosten en inconsistentie van handmatige annotatie: Het handmatig labelen van grote hoeveelheden data is tijdrovend, duur en vatbaar voor inconsistente beoordelingen, vooral bij subjectieve of ambiguïteit bevattende content.
• Beperkte evaluatie van AI: Hoewel Large Language Models (LLM's) worden gebruikt voor annotatie, is er weinig systematisch onderzoek gedaan naar hun prestaties, betrouwbaarheid en consistentie ten opzichte van menselijke annotatoren bij het labelen van diverse categorieën van schadelijke inhoud.

Methodologie

De auteurs introduceren USE24-XD, een grootschalig datasetproject dat een hybride aanpak combineert van AI-annotatie en menselijke validatie.

1. Dataverzameling (USE24-XD):

   • Er zijn bijna 100.000 posts verzameld van het platform X (voorheen Twitter) tussen 17 oktober 2024 en 16 juli 2025, gedurende de Amerikaanse presidentsverkiezingscyclus.
   • De dataset bevat ruim 97.000 unieke posts na filtering (verwijdering van duplicaten en zeer korte posts).
   • Er is gebruikgemaakt van spatiotemporele metadata, hoewel geografische tags schaars zijn.

2. Annotatie Categorieën:
   De studie definieert vijf nuanceerde, meervoudige labels (multi-label) voor schadelijke inhoud:

   • Complottheorieën (Conspiracy): Beweringen over gestolen verkiezingen of geheime samenzweringen.
   • Sensationalisme: Alarmistische, dramatische of misleidende statements.
   • Speculatie: Dappere beweringen zonder geloofwaardig bewijs, vaak over politieke uitkomsten.
   • Haatzaaiende taal (Hate Speech): Persoonlijke aanvallen, beledigingen of opruiende retoriek.
   • Satire: Politieke satire die humor of ironie gebruikt, maar de grens met schadelijke inhoud kan vervagen.

3. AI-Annotatie (LLM's):

   • Modellen: Zes toonaangevende LLM's werden getest, verdeeld over drie families: OpenAI (GPT-4o, GPT-4o-mini), Google (Gemini 2.0 Flash, Gemini 2.5 Pro) en Meta (Llama 3.1 8B, Llama 3.3 70B).
   • Aanpak: Een zero-shot learning benadering met gedetailleerde prompts en gestructureerde output (True/False per categorie). De temperatuur werd op 0 gezet voor reproduceerbaarheid.
   • Wisdom of the Crowd: Om de kwaliteit te maximaliseren, werd een meerderheidsstemming (majority voting) toegepast over de beste LLM-combinaties om consensuslabels te genereren.

4. Menselijke Validatie:

   • Een subset van 1.000 posts werd handmatig geannoteerd door 34 werknemers via Amazon Mechanical Turk (MTurk).
   • Elke post werd door drie unieke werknemers beoordeeld.
   • Er werd rekening gehouden met demografische factoren (politieke voorkeur, geslacht, inkomen, etc.) om bias te analyseren.
   • De menselijke meerderheidsstemming diende als "ground truth" voor de validatie van de LLM's.

Belangrijkste Resultaten

• Betrouwbaarheid (Inter-rater Reliability - IRR):

  • LLM's vertoonden een hogere onderlinge consistentie dan menselijke annotatoren. De gemiddelde Krippendorff's $\alpha$ voor geoptimaliseerde LLM-combinaties was 0,70, vergeleken met 0,62 voor de beste menselijke sets.
  • Menselijke annotatoren toonden meer variatie, vooral bij subjectieve categorieën zoals Satire.

• Prestaties van LLM's:

  • LLM's presteerden het beste bij Speculatie (herinnering/recall tot 0,90) en Complottheorieën (recall ~0,81).
  • Satire bleek de moeilijkste categorie voor zowel mens als machine, met de laagste recall (0,49) en consistentie.
  • De meerderheidsstemming van meerdere LLM's (ensemble) verbeterde de prestaties aanzienlijk en benaderde of overtrof de menselijke consensus, vooral bij het combineren van modellen uit verschillende families.

• Demografische Invloed:

  • De studie toonde aan dat de demografie van menselijke annotatoren hun labelgedrag significant beïnvloedt.
  • Speculatie was het meest gevoelig voor politieke ideologie (Centristen en Independents labelden dit vaker).
  • Haatzaaiende taal werd vaker gelabeld door conservatieve en Republikeinse annotatoren.
  • Dit bevestigt dat "ground truth" in dit domein niet demografisch neutraal is; wereldbeelden vormen de beoordeling van schadelijke inhoud.

• Dataset Statistieken:

  • In de uiteindelijke USE24-XD dataset kreeg 59,62% van de posts ten minste één label voor schadelijke inhoud, wat aangeeft dat dit een veelvoorkomend fenomeen is in online verkiezingsdiscussies.

Bijdragen

1. USE24-XD Dataset: Een openbaar, zorgvuldig samengestelde dataset van bijna 100k posts met multi-label annotaties voor vijf categorieën van schadelijke verkiezingsinhoud.
2. Benchmark van LLM's: Een uitgebreide evaluatie van zes state-of-the-art LLM's voor multi-label classificatie, met een vergelijking tegen menselijke annotatoren.
3. Validatie van de "Wisdom of the LLM Crowd": Het bewijs dat het aggregeren van voorspellingen van meerdere LLM's via meerderheidsstemming een kosteneffectieve, schaalbare en betrouwbare methode is voor het labelen van grote datasets, met een recall tot 0,90.
4. Inzicht in Subjectiviteit: Een analyse die aantoont hoe menselijke demografie (politieke voorkeur, ideologie) systematische bias introduceert in het labelen van schadelijke inhoud.

Betekenis en Conclusie

De studie demonstreert dat LLM's, wanneer ze strategisch worden ingezet via een "wisdom-of-the-crowd"-benadering, een krachtig alternatief kunnen zijn voor traditionele, kostbare handmatige annotatie. Ze bieden een hoge consistentie en schaalbaarheid, wat essentieel is voor het analyseren van de miljarden posts die dagelijks op sociale media worden gegenereerd.

De auteurs benadrukken echter dat menselijke factoren (zoals politieke bias) niet kunnen worden genegeerd; zelfs bij het gebruik van AI moet rekening worden gehouden met de subjectiviteit in de definitie van "schadelijk". De vrijgegeven dataset en methodologie bieden een solide basis voor toekomstig onderzoek naar de detectie en mitigatie van verkiezingsgerelateerde desinformatie en schadelijke inhoud.