Talking Politics with Artificial Intelligence

Technische Samenvatting: Politiek Bespreken met Kunstmatige Intelligentie

Probleemstelling en Theoretisch Kader
Dit artikel onderzoekt de rol van Large Language Models (LLMs) in politieke communicatie, specifiek gericht op de vraag of deze systemen fungeren als nieuwe arena's voor publieke politieke expressie of als conversationele tussenpersonen voor routinematige politieke vraag. Bestaande literatuur behandelt LLM's grotendeels als objecten van evaluatie (bijv. bronnen van bias of overtuigingskracht) of analyseert hun output. Deze studie verlegt de focus naar de "vraagzijde": de prompts van de gebruiker zelf. De auteurs postuleren twee concurrerende theoretische mogelijkheden:

1. Expressieve Politiek: Als LLM's functioneren zoals sociale media, zou het gebruik moeten lijken op publieksgerichte dynamiek (mening, argumentatie, identiteitssignalering).
2. Civiele Tussenpersoon: Als LLM's functioneren als instrumenten om de staat te navigeren, moet het gebruik praktisch zijn (uitleg, samenvatting, concepten schrijven, documentverwerking).

Het artikel betoogt dat LLM's een unieke plek innemen in de politieke communicatie: privaat, taakgericht en dyadisch, verschillend van de publieksgerichte aard van sociale media. De centrale onderzoeksvraag is hoe politieke inhoud zich manifesteert in deze private, conversationele omgeving en hoe deze reageert op grote politieke gebeurtenissen.

Methodologie
De studie maakt gebruik van een dataset van 4,30 miljoen mens–AI-conversaties uit drie publieke corpora: WildChat (geconsentteerde publieke ChatGPT-interacties met geolocatie), LMSYS-Chat (interacties van een modelvergelijkingsplatform) en ShareChat (door gebruikers gedeelde conversatielinks). De data beslaat de periode 2023 tot 2025.

• Meetstrategie: De eenheid van analyse is het gebruikersbericht. De auteurs hanteren een gestructureerde, door LLM ondersteunde coderingsprocedure met behulp van GPT-4.1-mini en Claude-Haiku-4.5 om berichten te classificeren.
  • Politieke Inhoud: Breed gedefinieerd om verkiezingen, beleid, wetgeving, openbaar bestuur en institutionele navigatie te omvatten, waarbij fictieve of "kantoorpolitiek" wordt uitgesloten.
  • Gebruiksscenario's: Gecategoriseerd in informatie zoeken, schrijven/concepten maken, documentverwerking, meningsuiting, mobilisatie en institutionele hulp.
  • Ideologie: Alleen gemeten voor berichten waar de gebruiker expliciet een standpunt inneemt, gescoord op economische en sociale links-rechts assen (−2 tot +2) en affectieve intensiteit (0 tot 3).
• Validatie: De geautomatiseerde classificatiesystemen werden gevalideerd tegen een door mensen gecodeerde benchmark van 3.000 berichten. De politieke/niet-politieke classifier bereikte een nauwkeurigheid van 84,9%, een precisie van 0,77 en een recall van 0,92. De betrouwbaarheid tussen de twee LLM-coders was hoog (Cohen's $\kappa = 0,80$ voor politieke classificatie).
• Causaal Ontwerp: Om de responsiviteit van AI-conversaties op politieke gebeurtenissen te testen, gebruiken de auteurs een Regression-Discontinuity-in-Time (RDiT) ontwerp, gecentreerd rond de uitslag van de Amerikaanse presidentsverkiezingen door het Associated Press (AP) (6 november 2024). Dit ontwerp vergelijkt Amerikaanse conversaties direct vóór en na de uitslag met conversaties buiten de VS als geografische controlegroep, om het effect van de specifieke partijdige uitkomst te isoleren van algemene wereldwijde nieuwsaandacht.

Belangrijkste Resultaten

1. Prevalentie en Aard van Politiek Gebruik:

   • Politieke inhoud komt voor in 3,9% van de conversaties in totaal (variërend van 3,3% in WildChat tot 18,7% in ShareChat).
   • Politiek gebruik is voornamelijk praktisch. Van de politieke gebruikersbeurten bevat 64,7% het zoeken naar informatie/uitleg, 13,0% betreft schrijven/concepten maken, en 11,8% betreft documentverwerking. Slechts 9,4% betreft mening of argumentatie.
   • Publiek karakter doet ertoe: ShareChat (gedeelde links) vertoont significant hogere percentages van meningsuiting (25,0%) vergeleken met niet-gedeelde corpora, wat suggereert dat de aanwezigheid van een publiek het gebruik verschuift van assistentie naar expressie.
   • Diepgang doet ertoe: De politieke prevalentie neemt monotoon toe met de lengte van de conversatie, van ~2,6% in enkelvoudige uitwisselingen tot meer dan 12% in langere discussies, wat aangeeft dat politieke betrokkenheid vaak iteratieve probleemoplossing vereist.

2. Geografische Variatie:

   • De politieke prevalentie is hoger in regio's met een lager inkomen en beperkte politieke vrijheid (bijv. Sub-Sahara Afrika met 5,8%) vergeleken met welvarende democratieën zoals Noord-Amerika (2,3%). Dit suggereert dat AI kan dienen als een substituut voor schaarse of gecensureerde politieke informatie in beperkte omgevingen.

3. Ideologische Expressie:

   • Het expliciet innemen van een standpunt is zeldzaam in het algemeen (8,2% van de politieke conversaties in WildChat).
   • Wanneer een standpunt wordt ingenomen, neigen economische posities licht naar links, terwijl sociale posities licht naar rechts neigen. De affectieve intensiteit is matig, en ideologische extremiteit is aanwezig maar niet dominant.

4. Gebeurtenisrespons (2024 Amerikaanse Verkiezingen):

   • Aandacht versus Expressie: De AP-uitslag verhoogde de prevalentie van politieke gesprekken wereldwijd (inclusief buiten de VS), wat consistent is met de agenda-setting theorie.
   • Expressieve Verschuiving: Echter, het karakter van de conversatie veranderde significant alleen voor Amerikaanse gebruikers. Na de uitslag zagen Amerikaanse politieke conversaties een toename van 8,5 procentpunt in het innemen van een standpunt en een toename van 6,4 punt in affectieve lading.
   • Geografische Specificiteit: Geen vergelijkbare verschuiving vond plaats in niet-Amerikaanse conversaties, wat de invloed van platformbrede artefacten of algemene nieuws-schokken uitsluit.
   • Mechanisme: De toename in expressie kwam niet uitsluitend door een piek in prompts over de verkiezingen; het effect hield stand over niet-verkiezing gerelateerde politieke onderwerpen (beleid, immigratie, etc.), wat suggereert dat de uitslag fungeerde als een signaal dat expressieve politiek over verschillende domeinen activeerde.

Betekenis en Bijdragen
Het artikel levert twee primaire bijdragen:

1. Methodologisch: Het ontwikkelt en valideert een procedure voor het meten van politieke inhoud, gebruiksscenario's en ideologische expressie in grote, meertalige mens–AI corpora. Het demonstreert dat deze sporen een vorm van politieke communicatie onthullen (privaat, taakgericht verzoek) die grotendeels gemist wordt door enquêtes en sociale mediadata.
2. Theoretisch: Het herpositioneert LLM's als civiele tussenpersonen in plaats van slechts publieke pleinen. De bevindingen suggereren dat burgers AI primair gebruiken om de administratieve en informatieve lasten van de staat te navigeren (het interpreteren van beleid, het opstellen van bezwaren, het vertalen van regels). Echter, het systeem is in staat om te verschuiven naar expressieve, partijdige en affectieve dynamiek wanneer belangrijke politieke gebeurtenissen de belangen voor de gebruiker expliciet maken.

De auteurs concluderen dat LLM's routinematige civiele vraag absorberen, maar de partijdige en affectieve schokken van publieke gebeurtenissen registreren, waardoor ze opereren als een interface met een dubbel doel: standaard praktisch, maar expressief onder specifieke politieke omstandigheden.