Persona-driven Simulation of Voting Behavior in the European Parliament with Large Language Models
Dit onderzoek toont aan dat zero-shot persona-prompting met grote taalmodellen het stemgedrag van leden van het Europees Parlement redelijk nauwkeurig kan simuleren, met een gewogen F1-score van ongeveer 0,793.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, digitale poppenspeler hebt. Deze poppenspeler is een kunstmatige intelligentie (een 'Large Language Model' of LLM) die alles over de wereld heeft gelezen. Maar er is een probleem: deze poppenspeler heeft van nature een voorkeur. Hij is als het ware een beetje te links en te vooruitstrevend. Als je hem vraagt wat hij denkt over politiek, geeft hij vaak het antwoord dat een moderne, progressieve student zou geven.
De onderzoekers van dit paper wilden weten: Kunnen we deze 'vooroordeel-bezittende' poppenspeler zo manipuleren dat hij precies doet alsof hij een echte, specifieke politicus is? Zou hij dan kunnen voorspellen hoe die politicus zou stemmen in het Europees Parlement?
Hier is de uitleg van hun experiment, vertaald in alledaags taal:
1. Het Experiment: De "Vermomming"
De onderzoekers gaven de AI een nieuwe identiteit. Ze zeiden: "Je bent nu niet meer een hulpvaardige assistent. Je bent nu Maximilian, een politicus uit Duitsland die lid is van de christendemocratische partij. Je bent 50 jaar oud en komt uit München."
Dit noemen ze Persona Prompting. Het is alsof je de AI een kostuum en een script geeft. Vervolgens lieten ze de AI een voorstel lezen (bijvoorbeeld: "Moeten we de natuur meer beschermen?") en vroegen ze: "Hoe zou jij, als Maximilian, hierop stemmen? Voor, tegen, of onthouden?"
2. De Resultaten: Hoe goed was de vermomming?
Het resultaat was verrassend goed! De AI kon het stemgedrag van de echte politici met ongeveer 79% nauwkeurigheid voorspellen.
- De kracht van de "naam" en de "partij": De AI hoefde niet alles te weten. Als je haar alleen de naam en de politieke partij gaf, deed ze het al heel goed. Het was alsof de AI wist: "Oh, als iemand van de 'Groene Partij' is, stemt die waarschijnlijk voor milieubescherming."
- De zwakke plek: De AI was heel goed in het voorspellen van 'Voor' en 'Tegen', maar heel slecht in het voorspellen van 'Onthouding'.
- Analogie: Stel je voor dat je een voorspeller bent voor een voetbalwedstrijd. Je kunt goed voorspellen wie wint of verliest, maar je raadt nooit goed wanneer er een gelijkspel is. De AI vond het blijkbaar lastig om te begrijpen waarom een politicus soms besluit om niet te stemmen (bijvoorbeeld omdat ze in een lastig parket zitten tussen hun eigen land en de Europese groep).
3. De "Tegenstrijdige Argumenten" Test
Om te testen of de AI echt de mening van de politicus had of dat ze gewoon terugviel op haar eigen vooroordelen, deden ze een slimme truc.
Ze lieten de AI eerst een speech lezen van een politicus die tegen een voorstel was. Vervolgens gaven ze de AI een verzonnen speech met precies dezelfde argumenten, maar dan met het tegenovergestelde standpunt (dus alsof de speech voor het voorstel was).
- Wat gebeurde er? De AI veranderde haar stemgedrag niet altijd. Als de "politicus" (de persona) al heel erg leek op de eigen voorkeur van de AI (bijvoorbeeld een progressieve politicus), bleef de AI bij haar oorspronkelijke mening. Maar als de "politicus" heel anders was (bijvoorbeeld een extreem-rechtse politicus), liet de AI zich makkelijker overtuigen door de nieuwe, verzonnen speech.
- De les: De AI kan zich goed vermommen, maar als de rol te ver afwijkt van wat de AI zelf gelooft, begint ze te twijfelen of te "glippen".
4. Waarom is dit belangrijk?
Dit onderzoek is als een test voor een nieuwe soort "politieke simulator".
- Het goede nieuws: We kunnen met simpele informatie (naam, partij, land) al redelijk goed voorspellen hoe politici zullen stemmen. Dit helpt om te begrijpen hoe het Europees Parlement werkt.
- Het slechte nieuws: De AI heeft nog steeds een "blinde vlek". Ze begrijpt niet goed waarom politici soms twijfelen of onthouden. Ook is ze niet perfect in het nabootsen van politici die heel anders denken dan zijzelf.
Samenvattend
Stel je voor dat je een robot hebt die een boek heeft gelezen over alles wat er ooit is gezegd. De onderzoekers hebben die robot een hoedje opgezet met de naam van een echte Europarlementariër. Vervolgens hebben ze de robot gevraagd: "Wat zou jij doen?"
De robot antwoordde verrassend goed, net als de echte persoon. Maar als de echte persoon een heel moeilijke keuze had (zoals 'niet stemmen'), raakte de robot in de war. En als de echte persoon een mening had die de robot zelf heel raar vond, probeerde de robot soms toch haar eigen mening eronder te schuiven.
Het is een fascinerende stap in het begrijpen van hoe AI politiek kan nabootsen, maar het is nog geen perfecte kristallen bol voor de toekomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.