Benchmarking Political Persuasion Risks Across Frontier Large Language Models

Deze studie toont aan dat frontier-large-language-modellen, met name Claude, politieke standpunten effectiever kunnen beïnvloeden dan traditionele campagnemethoden, waarbij de effectiviteit van informatieve prompts en de prestaties per model sterk variëren.

De kern

De Onzichtbare Overredingsmachine: Wat Nieuwe AI-Modellen Betekenen voor Onze Politiek

Stel je voor dat je in een café zit en er komt een vriendje binnen die je probeert te overtuigen van zijn politieke mening. Hij is slim, goed onderlegd en weet precies welke woorden hij moet gebruiken om je te raken. Dat is wat we gewend zijn van menselijke campagnes.

Maar wat als die vriendje niet echt bestaat? Wat als het een superintelligente computer is die in een seconde duizenden varianten van dat gesprek kan voeren, elke keer aangepast aan jouw specifieke twijfels, angsten en dromen? Dat is precies wat deze nieuwe studie onderzocht.

Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaags taal:

1. De AI is sterker dan de beste campagnevideo

In het verleden dachten we dat computers niet veel konden doen om onze politieke mening te veranderen. Ze waren vaak wat stijf en saai. Maar deze studie kijkt naar de nieuwste, krachtigste AI-modellen (zoals Claude, GPT-5 en Grok) die eind 2025 zijn uitgekomen.

De onderzoekers lieten bijna 20.000 mensen met deze AI's praten over gevoelige onderwerpen zoals minimumloon en immigratie. Ze vergeleken dit met echte, menselijke campagnevideo's.

• Het resultaat: De AI's waren beter in het overtuigen van mensen dan de beste menselijke reclamespotjes. Het was alsof de AI een superkrachtige overredingsmachine had die menselijke campagnemannen in de schaduw stelde.

2. Niet alle AI's zijn even goed (De "Klassering")

Niet elke computer is even slim in het overtuigen. De onderzoekers maakten een ranglijst, alsof het een sportwedstrijd is:

• De Winnaar: De modellen van Claude (van Anthropic) waren de absolute kampioenen. Ze waren het meest overtuigend, alsof ze de beste sprekers van de wereld waren.
• De Middenmoters: De modellen van OpenAI (GPT) en Google (Gemini) zaten in het midden. Ze waren goed, maar niet zo krachtig als Claude.
• De Verliezer: De Grok-modellen (van xAI) waren het minst overtuigend. Ze konden het gesprek wel aan, maar ze hadden minder "prikkel" om je mening te veranderen.

3. De "Feiten" valkuil

Een interessante ontdekking was dat het niet altijd helpt om de AI te zeggen: "Gebruik meer feiten en cijfers!"

• Bij sommige AI's (zoals Claude en Grok) hielp dit om ze nog overtuigender te maken.
• Maar bij de populaire GPT-modellen had het juist het tegenovergestelde effect. Als je ze dwong om alleen feiten te gebruiken, werden ze juist minder overtuigend. Het lijkt erop dat deze modellen juist beter zijn als ze een beetje meer "menselijk" en emotioneel kunnen klinken, in plaats van als een droge encyclopedie.

4. Hoe doen ze het? (De geheime recepten)

De onderzoekers keken ook naar hoe deze AI's het deden. Ze gebruikten een slimme methode om te analyseren wat er in de gesprekken gebeurde. Ze ontdekten dat de meest succesvolle AI's niet alleen feiten plaveiden, maar specifieke trucs gebruikten:

• Actie oproepen: Ze zeiden niet alleen "dit is goed", maar ook: "Bel je volksvertegenwoordiger deze week!" of "Onderteken dit verzoek!" Dit was de krachtigste truc van allemaal.
• Verbinding maken: Ze gaven je het gevoel dat ze echt luisterden naar jouw zorgen en dat ze samen met jou een oplossing zochten.
• Moraal: Ze spraken over rechtvaardigheid en eerlijkheid, niet alleen over geld of cijfers.

Waarom is dit belangrijk? (Het grote gevaar)

Stel je voor dat een slechte actor (een kwaadaardige politicus of een buitenlandse staat) deze AI's in handen krijgt. Omdat deze AI's zo goed zijn in het overtuigen, kunnen ze:

• Miljoenen mensen tegelijk overhalen om hun stem te veranderen.
• Specifiek gericht zijn op kwetsbare groepen.
• De democratie ondermijnen door de publieke opinie te manipuleren zonder dat mensen het merken.

Kortom:
Deze studie is een wake-up call. De AI's zijn niet langer alleen maar slimme zoekmachines; ze zijn uitgegroeid tot meesters in overreding. Ze kunnen ons overtuigen beter dan onze beste politici. Dat is een kracht die we moeten begrijpen en bewaken, voordat deze technologie onze democratie uit elkaar haalt.

Het is alsof we een nieuwe, onzichtbare superkracht hebben losgelaten in de politiek, en we moeten nu snel uitvinden hoe we die kracht veilig kunnen houden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "Benchmarking Political Persuasion Risks Across Frontier Large Language Models" in het Nederlands.

Titel: Benchmarking van Politieke Persuasiarisico's over Frontier Large Language Models

Auteurs: Zhongren Chen, Joshua Kalla, Quan Le
Datum: 11 maart 2026 (voorgesteld)

---

1. Het Probleem

Er bestaat groeiende bezorgdheid over het vermogen van Large Language Models (LLMs) om politieke opvattingen te beïnvloeden. Hoewel eerdere studies suggereerden dat LLMs niet overtuigender waren dan standaard politieke campagnemethoden, is de recente opkomst van "frontier" modellen (de nieuwste generatie AI met superieure redeneer- en agentic-vaardigheden) een nieuwe factor.

De kernvraag is of deze geavanceerde modellen een bedreiging vormen voor democratische processen doordat ze:

1. Sterker overtuigend vermogen hebben dan menselijke campagnemiddelen (zoals TV- en digitale advertenties).
2. Verschillen in overtuigingskracht vertonen tussen verschillende modelarchitecturen.
3. Specifieke strategieën gebruiken die hun effectiviteit verklaren.

Bestaande literatuur heeft vaak te maken met verouderde modellen of mist directe vergelijkingen met menselijke campagnes, wat de inschatting van het werkelijke risico beperkt.

2. Methodologie

De auteurs voerden twee gerandomiseerde gecontroleerde experimenten uit (totaal $N=19.145$ deelnemers via Prolific) om de overtuigingskracht van zeven state-of-the-art LLMs te testen.

Experimenteel Ontwerp:

• Issues: Twee bipartijse politieke kwesties:
  1. Verhoging van het minimumloon (van $7,25 naar $15/uur).
  2. Toegang tot collegegeld voor illegale immigranten (in-state tuition).
• Condities: Deelnemers werden willekeurig toegewezen aan een placebo, een menselijke campagne (alleen in Studie 1), of een interactieve tekstchat met een AI-chatbot.
• Modellen:
  • Studie 1 (augustus 2025): Claude Sonnet 4, Gemini 2.5 Flash, GPT-4.1, Grok 4.
  • Studie 2 (november 2025): Claude Sonnet 4.5, Gemini 3, GPT-5, Grok 4.
• Prompting Strategieën:
  • Plain Prompt: Algemene instructie om te overtuigen.
  • Information Prompt: Instructie om specifiek feitelijke informatie, bewijs en data te gebruiken (gebaseerd op eerdere studies die aangaven dat dit effectiever zou zijn).
• Stance: In Studie 2 werd ook gekeken naar de richting van de overtuiging (ondersteunen vs. verwerpen van het beleid), ongeacht de voorafgaande houding van de deelnemer.

Analyse van Conversatiestrategieën:
Om te begrijpen waarom bepaalde modellen beter presteerden, ontwikkelden de auteurs een nieuwe, datagedreven en strategie-agnostische benadering:

1. Ontdekking (Phase 1): GPT-5 mini analyseerde conversaties tussen verschillende model/prompt-combinaties om emergente overtuigingsmechanismen te identificeren.
2. Kwantificatie (Phase 2): GPT-5.2 beoordeelde 4.790 conversaties op een schaal van 1-5 voor 10 geïdentificeerde strategieën (bijv. "Call-to-Action", "Rapport & Bevestiging", "Argumentatieve Framing").
3. Validatie: Menselijke beoordelaars verifieerden de consistentie van de AI-beoordelingen.

3. Belangrijkste Resultaten

A. Overtuigingskracht vs. Menselijke Campagnes

• Frontier LLMs presteerden significant beter dan standaard menselijke politieke campagneadvertenties.
• De gemiddelde effectgrootte van LLMs was 0,203 schaalpunten (voor immigratie) en 0,136 (voor minimumloon), terwijl menselijke advertenties respectievelijk 0,135 en 0,097 bereikten.
• Dit contrasteert met eerdere studies die geen significant verschil vonden tussen AI en menselijke persuasie.

B. Heterogeniteit tussen Modellen
Er is een stabiele rangschikking gevonden in overtuigingskracht:

1. Claude (Sonnet 4 & 4.5): De meest overtuigende modellen.
2. GPT-5 & Gemini 3: Midden-tier, met vergelijkbare effecten.
3. Grok 4: Het minst overtuigende model, hoewel nog steeds effectiever dan menselijke advertenties.

C. Effect van Prompting (Informatie vs. Gewoon)
In tegenstelling tot eerdere bevindingen (Hackenburg et al., Lin et al.) dat informatieve prompts altijd helpen, bleek dit model-afhankelijk:

• Claude & Grok: Informatieve prompts verhoogden de overtuigingskracht.
• GPT-5: Informatieve prompts verminderden de overtuigingskracht aanzienlijk.
• Gemini: Toonde gemengde resultaten.
  Dit suggereert dat er geen universele "beste prompt" bestaat; de interactie tussen model-architectuur en prompt-strategie is cruciaal.

D. Analyse van Persuasiestrategieën
De datagedreven analyse onthulde welke strategieën correleren met succes:

• Call-to-Action Messaging: De sterkste positieve correlatie met gedragsverandering. Modellen die concrete acties voorstelden (bijv. "bel je vertegenwoordiger"), waren het meest effectief.
• Argumentatieve Framing & Hedging: Negatief geassocieerd met succes. Directe weerlegging of het tonen van onzekerheid verminderde de overtuigingskracht.
• Explicit Sources & Numbers: Hoewel dit de kern was van de "informatieve prompt", had het geen significant positief effect op de uitkomst. Dit verklaart waarom informatieve prompts niet altijd werken; feiten alleen zijn minder effectief dan actiegerichte boodschappen.
• Asymmetrie: Alle modellen waren effectiever in het overtuigen naar een "Democratische" positie (ondersteuning van beleid) dan naar een "Republikeinse" positie (verwerpen van beleid).

4. Bijdragen en Significatie

Technische Bijdragen:

• Eerste Benchmark: De eerste studie die frontier-modellen (2025-2026 generatie) direct vergelijkt met menselijke campagnes en elkaar.
• Nieuwe Methodologie: Introductie van een "LLM-assisted conversation analysis" die strategieën laat ontstaan uit de data in plaats van ze vooraf te definiëren, waardoor emergente patronen (zoals de kracht van Call-to-Action) worden ontdekt.
• Nuance in Prompt Engineering: Het weerleggen van het idee dat feitelijke informatie altijd de beste persuasie is; het effect is sterk afhankelijk van het specifieke model.

Maatschappelijke en Democratische Implicaties:

• Risico voor Democratie: De bevinding dat AI-modellen menselijke campagnes overtreffen, vormt een potentieel groot risico. Malicious actors kunnen deze systemen gebruiken voor massale, gerichte persuasiecampagnes die publieke opinie manipuleren en verkiezingsuitslagen beïnvloeden.
• Schaalbaarheid: Omdat deze systemen 24/7 kunnen opereren en zich kunnen aanpassen aan individuele gebruikers, is het risico op schaalbare manipulatie groter dan bij traditionele media.
• Beleid en Veiligheid: De auteurs pleiten voor continue benchmarking en de ontwikkeling van standaarden om deze risico's te monitoren en te mitigeren, vooral gezien de snelle vooruitgang in de "agentic" capabilities van AI.

Conclusie:
Deze studie waarschuwt dat de snelle evolutie van LLM-capaciteiten niet alleen leidt tot betere redeneer- en coderingsvaardigheden, maar ook tot een aanzienlijke toename in politieke overtuigingskracht. Dit vereist een heroverweging van AI-beveiliging en democratische bescherming in het tijdperk van super-intelligente systemen.