💬 NLP

Measuring Negative Campaigning across Languages with Large Language Models: A Study of 18 Million Tweets in 19 Countries

Deze studie toont aan dat zero-shot grote taalmodellen effectief en schaalbaar negatieve campagnes over 19 talen kunnen classificeren, waarbij wordt onthuld dat regerende partijen minder negatief zijn, terwijl ideologisch niet-centristische partijen, met name die aan de radicaal rechtse zijde, aanzienlijk meer confronterende retoriek hanteren.

Oorspronkelijke auteurs: Victor Hartman, Petter Törnberg

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Victor Hartman, Petter Törnberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van de politiek voor als een gigantisch, luidruchtig stadion waar iedereen probeert de menigte te overtuigen om voor hun team te juichen. Decennialang zijn wetenschappers die dit stadion bestuderen geobsedeerd geweest door één specifiek gedrag: "negatieve campagnevoering." Denk hier niet alleen aan een politicus die zegt: "Ik ben geweldig," maar aan hen die naar een rivaal wijzen en roepen: "Kijk eens naar die vent, hij is verschrikkelijk!" Het is de kunst van de politieke roast. Hoewel we weten dat dit overal gebeurt, van oude Griekse scherven tot moderne tv-reclames, was het uitzoeken waarom sommige teams dit vaker doen dan anderen een enorme hoofdpijn voor onderzoekers. Het probleem? Deze beledigingen handmatig tellen is alsof je probeert elk zandkorreltje op een strand te tellen terwijl je ovenwanten draagt. Het duurt eeuwen, kost een fortuin, en als je het in twintig verschillende talen probeert te doen, heb je voor elke enkele zin een vertaler nodig. Hierdoor bleven de meeste studies hangen in het kijken naar slechts één land (meestal de VS) of het vertrouwen op experts die de "vibe" van een campagne inschatten, wat niet erg nauwkeurig is. Maar onlangs is er een nieuw hulpmiddel op het toneel verschenen: Large Language Models (LLM's). Je kunt deze zien als superintelligente, onvermoeibare robots die bijna alles hebben gelezen wat ooit op het internet is geschreven. Ze kunnen nuance, sarcasme en beledigingen begrijpen in tientallen talen zonder dat ze de regels vanaf het begin moeten leren. Dit paper stelt een grote vraag: kunnen deze AI-robots de nieuwe scheidsrechters worden voor het tellen van politieke beledigingen over de hele wereld, en wat vertellen ze ons over wie er eigenlijk graag modder smijt?

De auteurs van deze studie besloten deze AI-robots op grote schaal op de proef te stellen. Eerst moesten ze bewijzen dat de robots goed waren in hun werk. Ze voerden de AI miljoenen tweets en vroegen het om negatieve aanvallen te spotten, en vergeleken vervolgens de antwoorden van de robot met die van menselijke experts die jarenlang dezelfde berichten handmatig hadden gelezen. Het resultaat? De robots waren verbazingwekkend goed. Sterker nog, in sommige gevallen was de AI zelfs consistenter en nauwkeuriger dan de menselijke experts, en kon het de klus klaren in tien verschillende talen zonder er ook maar een zweetdruppel bij te laten. Het was alsoals het vervangen van een team van vermoeide, overwerkte promovendi door een vloot super snelle, meertalige drones die nooit moe worden of in de war raken.

Toen ze de robots vertrouwden, lieten de onderzoekers ze los op een berg data: 18 miljoen tweets geplaatst door politici in 19 Europese landen tussen 2017 en 2022. Ze wilden zien of de oude regels over wie er gemeen wordt, nog steeds standhielden wanneer je naar het hele continent kijkt. Ze testten een paar grote ideeën: Gedragen politici die de macht hebben (het "regerings"-team) zich netjesder omdat ze verantwoordelijk moeten lijken? Gedragen politici aan de verre randen van het politieke spectrum (de radicalen) zich gemener omdat ze niets te verliezen hebben? En gooien "populistische" politici, die beweren te vechten tegen de "corrupte elite," van nature meer beledigingen?

De bevindingen waren duidelijk en verrassend consistent. De AI-data lieten zien dat politici die momenteel in de regering zitten inderdaad veel minder negatief zijn. Ze houden de beledigingen in, misschien omdat ze weten dat als ze een ruzie beginnen, dat hun kansen om aan de macht te blijven of later met andere partijen samen te werken kan schaden. Het is als een teamkapitein die de vrede probeert te bewaren zodat het team niet uit elkaar valt. Aan de andere kant waren de politici die niet aan de macht zijn, vooral die aan de verre rechter- en linkerkant van het politieke spectrum, degenen die de meeste modder smijtten. Het onderzoek suggereert dat hoe verder men van het politieke centrum af staat, hoe eerder een partij geneigd is agressief te zijn. Specifiek waren de "radicaal rechtse" partijen het meest negatief van allemaal, waarbij ze een veel hoger percentage confronterende taal gebruikten dan wie dan ook. Hoewel de studie ook keek naar of het "populistisch" zijn een verschil maakte, bleek de echte drijfveer eigenlijk hoe extreem een partij was; de nijd leek voort te komen uit het zijn van een buitenstaander in plaats van alleen maar populisme.

Interessant genoeg keek de studie ook naar of verkiezingstijd mensen gemeener maakte. De resultaten waren wat gemengd; soms maakten verkiezingen de situatie erger, maar niet altijd. De belangrijkste les ging niet over de timing, maar over de spelers zelf. Het paper suggereert dat de opkomst van negatieve campagnevoering die we op sociale media zien, niet alleen komt doordat Twitter (nu X) mensen boos maakt. In plaats daarvan is het een strategische keuze van bepaalde soorten partijen — specifiek die aan de randen en die buiten de macht staan — om negativiteit als wapen te gebruiken. Door deze AI-robots te gebruiken, waren de onderzoekers in staat om patronen te zien over 19 landen die met oude methoden onmogelijk te vinden zouden zijn, waarmee ze bewezen dat in het spel van de politiek de buitenstaanders degene zijn die het meest geneigd zijn om vuil te spelen, terwijl de mensen aan de macht proberen hun handen schoon te houden.

Technische Samenvatting: Het meten van negatieve campagnes over verschillende talen met Large Language Models

Probleemstelling
Vergelijkend onderzoek naar negatieve campagnes — gedefinieerd als kritiek die door de ene kandidaat wordt geuit tegen de andere — is beperkt door methodologische beperkingen. Traditionele benaderingen vertrouwen op expert-enquêtes, die lijden onder subjectiviteit, een gebrek aan transparantie en een slechte repliceerbaarheid, of op handmatige inhoudsanalyse, wat arbeidsintensief is en moeilijk schaalbaar is in meertalige contexten. Hoewel supervised machine learning een gedeeltelijke oplossing biedt, vereist het uitgebreide, taalspecifieke gelabelde trainingsdata, wat de toepasbaarheid voor grootschalige grensoverschrijdende studies beperkt. Gevolgen daarvan is de bestaande literatuur onevenredig gericht op studies binnen één land (met name de VS) en ontbreken er directe gedragsgegevens die partiekenmerken koppelen aan campagne-negativiteit in meerpartijensystemen.

Methodologie
De studie maakt gebruik van een tweestaps methodologische aanpak:

Validatie van Zero-Shot LLM's: De auteurs evalueren het vermogen van zero-shot Large Language Models (LLM's) om negatieve campagnes te classificeren in tien talen (Engels, Duits, Kroatisch, Frans, Hongaars, Italiaans, Nederlands, Pools, Spaans en Zweeds). Zij benchmarken twee OpenAI-modellen (gpt-4o en gpt-4o-mini) tegenover twee gevestigde, handmatig gecodeerde datasets:
- Petkevic en Nai (2022): 2018 Amerikaanse Senaatsverkiezing-tweets.
- Klinger et al. (2023): 2014 en 2019 Europese Parlement campagne Facebook-berichten.
  De modellen werden geprompt met natuurlijke taalinstructies (zero-shot) om "expliciete aanvallen of kritiek op de opponentpartij of -kandidaat" te identificeren. Prestaties werden gemeten aan de hand van gewogen F1-scores en inter-rater betrouwbaarheid (IRR) metrieken (Krippendorff's $\alpha$ en de Brennan-Prediger coëfficiënt) om de LLM-outputs te vergelijken met menselijke annotaties.
Grootschalige Empirische Analyse: Gebruikmakend van de gevalideerde LLM-aanpak, analyseerden de auteurs 18.066.672 tweets geplaatst door 5.439 parlementsleden uit 19 Europese landen tussen 2017 en 2022.
- Eenheid van Analyse: Data werden geaggregeerd op partijniveau om strategisch partijgedrag te reflecteren in plaats van individuele kandidaten-idiosyncrasieën.
- Afhankelijke Variabele: Het percentage negatieve tweets per partij.
- Onafhankelijke Variabelen: Afgeleid van expert-enquêtes (CHES, POPPA) en parlementaire verslagen (ParlGov), waaronder:
  - Kabinetstatus (regerend versus oppositie).
  - Ideologische positionering (Links-Rechts schaal en gekwadrateerde afstand tot het centrum).
  - Populisme scores.
  - Verkiezingsproximiteit (binnen 3 maanden van een verkiezing).
  - Partijfamilie-classificatie.
- Statistisch Model: OLS-regressie met land-fixed effects en geclusterde standaardfouten werd gebruikt om hypothesen over strategische prikkels te testen.

Belangrijkste Bijdragen

Methodologisch: Het artikel biedt de eerste systematische evaluatie van zero-shot LLM's voor de meertalige classificatie van negatieve campagnes. Het toont aan dat LLM's een prestatie kunnen leveren die vergelijkbaar is met, en in sommige gevallen zelfs beter dan, menselijke codeurs en conventionele supervised modellen, zonder dat daarvoor taalspecifieke trainingsdata nodig zijn.
Inhoudelijk: Het voert de grootste grensoverschrijdende studie naar negatieve campagnes tot nu toe uit, waarbij de focus verschuift van enkelvoudige landanalyses naar het onderzoeken van partijniveau-drivers in meerpartijensystemen met behulp van directe gedragsgegevens (tweets) in plaats van expertpercepties.

Resultaten

LLM-prestaties: In de Amerikaanse Senaatsdataset presteerde de LLM beter dan zowel menselijke codeurs (IRR $\alpha$ = 0,860 vs. 0,790) als het oorspronkelijke supervised model (Gewogen F1 steeg van 0,810 naar 0,930). In de meertalige Europese dataset behield de LLM een consistente prestatie over alle tien de talen, waarbij gewogen F1-scores van ten minste 0,90 werden behaald en een hoge overeenstemming met menselijke codeurs, zelfs onder striktere definities van negativiteit.
Regeringsstatus: Hypothese 1 wordt ondersteund: partijen in het kabinet nemen aanzienlijk minder negatieve campagnes deel (ongeveer 7–8 procentpunt lager) dan oppositiepartijen. Dit suggereert dat regeringspartijen te maken hebben met sterkere reputatie- en coalitiebeheer-beperkingen.
Ideologische Positionering: Hypothese 2 wordt ondersteund: partijen die verder van het ideologische centrum liggen, voeren meer negatieve campagnes. Dit effect is het meest uitgesproken bij radicaal-rechtse partijen, die de hoogste voorspelde niveaus van negativiteit vertonen (ongeveer 36–37%), gevolgd door radicaal-linkse partijen. Centristische partijen vertonen de laagste niveaus.
Populisme: Hoewel populistische partijen aanvankelijk negatiever leken, werd dit effect grotendeels verklaard door hun niet-centristische ideologische positionering wanneer gecontroleerd werd voor ideologische extremiteit.
Verkiezingsproximiteit: Het effect van de nabijheid van verkiezingen was zwakker en minder consistent dan de regeringsstatus of ideologie, en varieerde aanzienlijk per context.

Betekenis en Claims
Het artikel claimt dat de bevindingen nieuw vergelijkend bewijs leveren voor de partijniveau-fundamenten van campagne-negativiteit, waarmee het idee wordt uitgedaagd dat stijgende negativiteit uitsluitend een bijproduct is van de logica van sociale media. In plaats daarvan weerspiegelt het diepere dynamieken van partijcompetitie, coalitie-incentives en het strategische gedrag van specifieke politieke bewegingen (met name de radicaal rechtse).

Methodologisch gezien betogen de auteurs dat LLM's de schaal, consistentie en repliceerbaarheid van onderzoek naar politiek discours kunnen transformeren. Door zero-shot classificatie over talen heen mogelijk te maken, verlagen LLM's de drempels voor grootschalige vergelijkende analyse, waardoor onderzoekers de "diepte versus breedte"-trade-off kunnen overstijgen die het veld historisch gezien heeft beperkt. De auteurs benadrukken dat hoewel LLM's de meetbaarheid verbeteren, ze rigoureuze validatie tegen menselijke benchmarks en zorgvuldige prompt-ontwerp vereisen om de validiteit te waarborgen, waarbij ze zichzelf positioneren als een aanvulling op, en niet als een vervanging voor, gevestigde methodologische standaarden.

Technische Samenvatting: Het meten van negatieve campagnes over verschillende talen met Large Language Models

Meer zoals dit