Technische Samenvatting: Polistemics – Het evalueren van LLM's als informatiebemiddelaars in de politiek en verkiezingen

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker fungeren als primaire informatiebemiddelaars voor burgers — waarbij ze traditionele zoekmachines en Stemwijzers (Voting Advice Applications, VAA's) vervangen of aanvullen — ontbreekt een gestandaardiseerd kader om te beoordelen of zij politieke informatie op een verantwoorde manier bemiddelen. Eerdere evaluaties hebben deze taak grotendeels behandeld als reproductie (controleren of een LLM correct een standpunt van een partij herinnert) in plaats van bemiddeling (hoe het model informatie selecteert, inkadert en communiceert onder imperfecte omstandigheden). Dit gebrek aan toezicht laat cruciale epistemische dimensies onbehandeld: specifiek hoe modellen omgaan met afwezige, vage of tegenstrijdige informatie, en of zij de epistemische agency van burgers bewaren door onterechte zelfverzekerdheid of sturende overtuigingskracht te vermijden.

Methodologie: De POLISTEMICS Benchmark

De auteurs introduceren POLISTEMICS, een theoretisch gefundeerde benchmark die is ontworpen om LLM's te evalueren als bemiddelaars van politieke informatie in electorale contexten. De methodologie bestaat uit drie kerncomponenten:

1. Theoretisch Kader: Epistemische Bescheidenheid

De evaluatie is gebaseerd op de normatieve standaard van Epistemische Bescheidenheid, afgeleid van het concept van de epistemische agency van de burger. Dit kader definieert drie kernkenmerken van gedrag die vereist zijn voor verantwoorde bemiddeling:

• Getrouwheid (Faithfulness): Het accuraat weergeven van de verstrekte context zonder fabricage, vervorming of weglating.
• Onpartijdigheid (Impartiality): Informatie communiceren zonder onterechte evaluatieve sturing, inkadering of normatieve oordeelsvorming (het bewaren van het pluralistische karakter van politieke retoriek).
• Epistemische Kalibratie (Epistemic Calibration): Zekerheidsniveaus uitdrukken die overeenkomen met de grenzen van het bewijs (bijv. onthouden of onzekerheid signaleren wanneer bewijs ontbreekt of vaag is).

2. Experimenteel Ontwerp

De benchmark operationaliseert deze kenmerken via gecontroleerde experimenten die de complexiteit van real-world informatieverzameling simuleren.

• Databron: Officiële partijstandpunten van de Duitse Bondsdagverkiezingen 2025 (7 partijen, 38 verklaringen) en de Nederlandse Tweede Kamerverkiezingen 2025 (8 partijen, 30 verklaringen), afkomstig van Wahl-O-Mat en StemWijzer.
• Informatieomgevingen (IE's): De auteurs construeren vijf gecontroleerde varianten van de context om de robuustheid van het model te testen:
  • Baseline: Helder, enkelvoudige bron van bewijs.
• Inconclusieve Condities: Afwezig (geen bewijs), Vaag (standpunt vertroebeld door retorische ontwijking) en Tegenstrijdig (conflicterend bewijs van tegengestelde partijen).
• Interfererende Condities: Ruisend (bewijs begraven tussen afleiders) en Contrafactueel (bewijs dat conflicteert met de interne priors van het model).
• Geëvalueerde Modellen: Drie state-of-the-art modellen die publieke chatbots aandrijven: Qwen3.6 Flash, GPT-5.4 en Claude Sonnet 4.6.
• Evaluatieprotocol: Een LLM-as-Judge framework gebruikmakend van een panel van drie verschillende judge-modellen (Gemini 3 Flash, DeepSeek V4, MiMo-V2.5) om outputs te scoren op 13 subvragen (SQ's) over de drie rubrieken. Scores worden geaggregeerd in een Adherence Index per rubriek en een uiteindelijke Epistemic Modesty Index (EMI).

3. Ablatiestudies

Om de drijfveren van bias te isoleren, voerden de auteurs gerichte ablaties uit:

• Anonimisering van Labels: Het vervangen van partijnamen door generieke labels om te testen of verschillen worden gedreven door partijidentiteit (priors) dan wel door bewijs.
• Outputtaal: Het afdwingen van Engelse output terwijl het bewijs in de oorspronkelijke taal blijft, om te testen of vertaling invloed heeft op de "sanitisering" van politieke retoriek.

Belangrijkste Resultaten

De evaluatie van de drie modellen over de Duitse en Nederlandse verkiezingen van 2025 laat zien dat hoewel de geaggregeerde scores hoog zijn, deze systematische fouten onder specifieke condities maskeren.

1. Algemene Prestaties

• Claude behaalde de hoogste Epistemic Modesty Index (92,6%), gevolgd door GPT (91,2%) en Qwen (87,1%).
• Onpartijdigheid was de hoogst scorende rubriek (98%), terwijl Epistemische Kalibratie de meest uitdagende was (87%).
• Modellen presteerden nabij het plafond bij Interfererende condities (Ruisend, Contrafactueel), wat suggereert dat huidige modellen robuust zijn tegen afleiding en conflicterend extern bewijs.

2. Foutmodi in Inconclusieve Omgevingen

Significante prestatiedalingen traden op in Inconclusieve condities, wat specifieke foutmodi onthulde:

• Afwezig Bewijs: GPT demonstreerde ideale Epistemische Bescheidenheid door volledig te onthouden. Claude en Qwen erkenden het ontbrekende bewijs, maar grepen vaak terug op interne parametrische kennis om toch antwoord te geven, waarbij ze in veel gevallen de grondwaarheid matchen maar de epistemische grenzen overschreden.
• Vaag Bewijs: Prestaties daalden primair door falen in Epistemische Kalibratie (het niet signaleren van onzekerheid) en Getrouwheid (het fabriceren van standpunten). Modellen antwoordden vaak met zelfverzekerdheid ondanks dat het bewijs niet-deterministisch was.
• Tegenstrijdig Bewijs: Modellen hadden moeite met het representeren van beide kanten. GPT en Qwen losten tegenstrijdigheden vaak op door zich vast te leggen op het eerste bewijsfragment, terwijl Claude beide posities refereerde maar er niet volledig in slaagde één van beide volledig te dekken.

3. Evenhandsheid en Partij-Priors

• Partijverschillen: Onder baseline-condities waren de modellen grotendeels evenhands. Echter, onder inconclusieve condities werden de verschillen groter, met name voor specifieke partijen (bijv. Die Linke in Duitsland, SP in Nederland).
• Rol van Priors: Ablatiestudies suggereren dat deze verschillen worden gedreven door partij-priors. Wanneer partijnamen werden geanonimiseerd, namen de verschillen af. Modellen leken interne kennis te gebruiken om gaten op te vullen voor partijen met een sterke representatie in de trainingsdata, terwijl ze worstelden met nieuwere of minder prominente partijen (bijv. BSW, BBB).
• Sanitisering: Een terugkerende zwakte was I4 Sanitization, waarbij modellen (met name GPT en Qwen) de intensiteit en onderscheidendheid van politieke taal afvlakten en de retoriek richting een neutraal register trokken. Dit effect was het meest uitgesproken voor partijen met een retoriek die ver afstond van het impliciete "neutrale" basisniveau van het model (bijv. AfD).

Betekenis en Claims

Het artikel beweert dat POLISTEMICS de eerste gestandaardiseerde, theoretisch gefundeerde audit biedt voor LLM's als politieke informatiebemiddelaars. De belangrijkste bijdragen zijn:

1. Verschuiving van het Evaluatieparadigma: Verder gaan dan eenvoudige standpuntaccuratesse (reproductie) om het proces van bemiddeling (getrouwheid, onpartijdigheid, kalibratie) te evalueren onder imperfecte informatie.
2. Identificeren van Systemische Risico's: Aantonen dat hoge geaggregeerde scores lokale falen kunnen verbergen waar het er echt toe doet: wanneer bewijs ontbreekt, vaag of tegenstrijdig is. In deze scenario's presenteren modellen ambigu bewijs vaak als vaststaand, wat een "illusie van zekerheid" creëert die de epistemische agency van de burger ondermijnt.
3. De Rol van Priors Benadrukken: Laten zien dat modelgedrag niet louter bewijsgestuurd is, maar gevormd wordt door interne partij-priors en de prominentie van trainingsdata, wat leidt tot ongelijke bemiddeling tussen verschillende politieke actoren.

De auteurs concluderen dat hoewel betrouwbare bemiddeling haalbaar is (zoals aangetoond door de onthouding van GPT in afwezige condities), geen enkel huidig model dit consistent levert over alle informatieomgevingen. Zij stellen dat democratische informatiebemiddeling modellen vereist die niet alleen politiek onpartijdig zijn, maar ook getrouw aan het bewijs en epistemisch gekalibreerd onder onzekerheid. Het artikel beweert niet dat LLM's inherent onveilig zijn, maar stelt dat hun huidige inzet in civiele infrastructuur zonder gestandaardiseerde auditing risico's vormt voor de kwaliteit van het publieke debat en electorale besluitvorming.