Elite Polarization in European Parliamentary Speeches: a Novel Measurement Approach Using Large Language Models

Technische Samenvatting: Elitaire Polarisatie in Europese Parlementaire Toespraken

Probleemstelling
De vergelijkende politieke wetenschap erkent al lang dat wederzijdse emotionele vijandigheid onder politieke elites democratieën sneller kan destabiliseren dan onvrede op massaal niveau. Bestaande meetinstrumenten slagen er echter niet in om dit specifieke fenomeen rechtstreeks in kaart te brengen. Huidige vergelijkende maatstaven richten zich doorgaans óf op affectieve polarisatie op massaal niveau (publieke sentimenten ten opzichte van partijen) óf op ideologische afstand tussen elites (beleidsposities). Er is een aanzienlijke methodologische lacune wat betreft gerichte wederzijdse elite-evaluatie: het specifieke sentiment dat één politieke actor in officiële discours uit naar een andere. Traditionele methoden, zoals het aggregeren van enquêtes, worden beperkt door frequentie en landelijke reikwijdte, terwijl handmatige codering of woordenlijstgebaseerde Natural Language Processing (NLP) niet beschikt over de schaalbaarheid, meertalige capaciteit en contextuele nuance die nodig zijn om miljoenen parlementaire verwijzingen over meerdere talen en decennia te analyseren.

Methodologie
Het artikel introduceert de Elite Polarization Score (EPS), een nieuwe meetbenadering die Large Language Models (LLM's) gebruikt om parlementaire toespraken te analyseren. De methodologie omvat een meerstapsproces:

1. Disaggregatie van de eenheid van analyse: In tegenstelling tot traditionele sentimentanalyse die één score toekent aan een hele toespraak, disaggregeert deze aanpak de eenheid van analyse tot de individuele verwijzing. De LLM identificeert elk moment waarop een politicus een andere politieke actor noemt.
2. Extractie van actor-doel-sentiment: Met behulp van een gestandaardiseerde prompt en Chain-of-Thought-redenering extraheren de LLM's:
   • De spreker en de doel-actor.
   • De specifieke context van de verwijzing.
   • Het sentiment dat specifiek gericht is op de doel-actor (onderscheidend tussen de evaluatie van de actor en de evaluatie van hun omstandigheden).
   • Het sentiment wordt gescoord op een schaal van −5 (sterk niet-lekker) tot +5 (sterk leuk).
3. Standaardisatie en entiteitenkoppeling: Heterogene verwijzingen (bijvoorbeeld "Minister-president", "Orbán", "Fidesz") worden gestandaardiseerd tot partijdyades. Dit proces combineert deterministische zoekscripts met door LLM's ondersteunde vage matching om genummerde entiteiten te koppelen aan hun specifieke politieke partijen binnen een gegeven land-jaarcontext.
4. Aggregatie: Het systeem berekent een gewogen gemiddelde van evaluaties van buiten de eigen partij.
   • Partijniveau: Evaluaties worden gewogen op basis van het aandeel verwijzingen (hoe vaak de doel-partij wordt genoemd).
   • Parlementsniveau: Scores op partijniveau worden geaggregeerd met behulp van stemaandeel-gewichten.
   • De uiteindelijke score keert het teken om, zodat hogere waarden meer negativiteit (polarisatie) aangeven.
5. Validatieprotocol: De auteurs maken gebruik van een "supergoud" uniestandaard die is opgebouwd via door LLM's ondersteunde vage matching. Menselijke coderaars en de AI annoteren dezelfde steekproef van toespraken; de unie van geldige verwijzingen die door een van beiden zijn geïdentificeerd, dient als grondwaarheid. Dit voorkomt dat de AI wordt gestraft voor het identificeren van geldige verwijzingen die mensen hebben gemist.

Belangrijkste bijdragen

• Conceptuele innovatie: De EPS beslaat een eerder ongemeten kwadrant in de typologie van polarisatie: affectieve polarisatie op eliteniveau gebaseerd op gerichte evaluaties van buiten de eigen partij in toespraken. Het onderscheidt zich van ideologische afstand, algemeen sentiment, onbeschaafdheid en affectieve polarisatie op massaal niveau.
• Methodologische schaalbaarheid: De aanpak maakt gebruik van vooraf getrainde LLM's (specifiek GPT-4o en alternatieven met open gewichten) die over talen werken (Hongaars, Italiaans, Engels) zonder taakspecifieke training of fine-tuning. Dit maakt de eerste hanteerbare, meertalige, longitudinale panel van elitaire polarisatie mogelijk.
• Technische validatie: De studie toont aan dat LLM's hoge sensitiviteit kunnen bereiken (in sommige settings meer verwijzingen terugvinden dan menselijke coderaars) en hoge overeenstemming in sentiment (Gemiddelde Absolute Fout van 0,85–1,48 op een schaal van 10 punten) met menselijke coderaars. Cruciaal was de False Discovery Rate (FDR) nul in alle validatiesteekproeven, wat bevestigt dat elke door de AI geïdentificeerde verwijzing een echte tekstuele anker had.

Resultaten
De methodologie is toegepast op parlementaire corpora uit het Verenigd Koninkrijk (1987–2020), Hongarije (2002–2023) en Italië (2013–2022).

• Hongarije: De EPS vangt de consolidatie van het regime en de herconfiguratie van het partijstelsel. De polarisatie piekte in 2018–2019, en niet tijdens de initiële fase van de uitbreiding van de uitvoerende macht (2010–2011), wat suggereert dat de maatstaf de reactie van de oppositie en het nieuwe evenwicht van het systeem meer weerspiegelt dan de directe institutionele overname.
• Verenigd Koninkrijk: De index toont een U-vormig trend (dalend na 1997, stijgend na 2010). Het is empirisch onderscheiden van indices voor affectieve polarisatie op massaal niveau en ideologische polarisatie; opvallend is dat tijdens de Brexit-periode de elitaire polarisatie niet oplaaide ondanks hoge publieke en ideologische spanningen, wat aangeeft dat parlementaire retoriek beperkt bleef door institutionele normen.
• Italië: De maatstaf reageert sterk op coalitiedynamiek. Negativiteit van buiten de eigen partij daalt wanneer voormalige rivalen samen in de regering treden (bijvoorbeeld de eenheidsregering Draghi) en stijgt wanneer ze terugkeren naar de oppositie.
• Validatie: De aanpak onderscheidt succesvol tussen verschillende soorten polarisatie. In het geval van het VK toonde de EPS in latere jaren een lage correlatie met affectieve polarisatie op massaal niveau, wat bevestigt dat het een verschillend fenomeen op eliteniveau meet.

Betekenis en claims
Het artikel beweert dat de Elite Polarization Score een schaalbare, landsoverschrijdende basis biedt voor toekomstig onderzoek naar de oorzaken en gevolgen van elitaire vijandigheid.

• Onderscheidend vermogen: De maatstaf is conceptueel en empirisch onderscheiden van bestaande metrics, en biedt een nieuwe lens om democratische stabiliteit te bestuderen zonder te vertrouwen op op de VS gerichte data of enquêtes onder het publiek.
• Uitvoerbaarheid: De studie bewijst dat LLM's fijnmazige politieke tekstanalyse (detectie van acteurs en toewijzing van sentiment) kunnen uitvoeren op een schaal die voorheen onmogelijk was, en zo voorbijgaan aan de behoefte aan dure, handmatige codering of smalle, enkel-land studies.
• Toekomstige bruikbaarheid: De auteurs stellen dat deze maatstaf onderzoekers in staat stelt elitaire polarisatie zowel als afhankelijke variabele te behandelen (onderzoek naar wat het voortbrengt, zoals verkiezingen of crises) als onafhankelijke variabele (onderzoek naar wat het produceert, zoals democratische achteruitgang of populistische escalatie). De pijplijn is ontworpen om te worden uitgebreid naar alle 29 EU-lidstaten via het ParlaMint-corpus, wat potentieel een paneel van twintig jaar voor de hele EU kan creëren.