Technische Samenvatting: Diagnose van Politieke Bias in Koreaanse Taal LLM's via Census-Gebaseerde Agent-Simulatie

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet om menselijk politiek gedrag te simuleren, maar vertonen systematische politieke bias die hun bruikbaarheid voor verkiezingsvoorspelling ondermijnt. Hoewel eerdere research (bijv. Feng et al. [4]) een linkse-liberale neiging in Engelstalige LLM's heeft gedocumenteerd met behulp van intrinsieke probing, is het onduidelijk of deze biasen generaliseren naar niet-Engelse kiespublieken met onderscheidende politieke structuren, of welke specifieke mechanismen de divergentie tussen simulatie en realiteit aandrijven.

Koreaanse politiek vormt een unieke uitdaging voor simulatie vanwege de aanhoudende regionalisme (conservatieve bolwerken in Gyeongsang versus progressief in Jeolla), een grote gematigde bloc (ongeveer 48% van de kiezers), frequente partijhernoemingen en generatiekloven. Bestaande census-gebaseerde simulatiekaders zijn voornamelijk ontwikkeld voor de VS, waardoor er een gat bestaat in het begrijpen hoe LLM's niet-Engelse politieke dynamieken hanteren. Dit artikel adresseert twee kernvragen: (i) Vertonen Koreaanse taal-LLM's dezelfde directionele biaspatronen als Engelstalige modellen? en (ii) Welke specifieke faalmechanismen drijven de kloof tussen simulatie en daadwerkelijke verkiezingsuitslagen?

2. Methodologie: Het Dynamo-K Kader

De auteurs introduceren Dynamo-K, een census-gebaseerd LLM-agent-simulatiekader ontworpen als een diagnostisch instrument. De pijplijn werkt via zes lagen:

1. Census Grounding: Agenten worden gesynthetiseerd via gewogen proportionele steekproeven uit de MDIS 2020 Census 2% microdata (794.342 records), die 5.790 niet-lege demografische cellen bestrijken over leeftijd, geslacht, provincie, onderwijs en burgerlijke staat.
2. Belief Seeding: Politieke oriëntaties worden toegewezen op basis van conditionele kansen afgeleid uit de cumulatieve data van de Korean General Social Survey (KGSS) (2003–2023), waarbij demografie wordt gemapt naar progressieve, gematigde of conservatieve oriëntaties.
3. Gallup Calibratie: Om de methodologische neiging van KGSS te corrigeren om ambigu respondenten naar polen te duwen, herverdeelt een calibratie-adapter de agentoriëntaties om te matchen met de langetermijnbenchmark van Gallup Korea (26% conservatief, 48% gematigd, 26% progressief). Dit impliceert het opnieuw toewijzen van "grensgevallen"-agenten en het nudgen van hun overtuigingscores.
4. LLM Simulatie (ORC): Elke agent ontvangt een verkiezingsscenario en redeneert een stembeslissing via een Observation–Reasoning–Conclusion (ORC) pijplijn. Het systeemprompt codeert expliciet de persona van de agent, inclusief demografie en een gedragsbeschrijving ontworpen om bias te mitigeren (bijv. het instrueren van gematigde kiezers om te redeneren als een geprofileerde kiezer, niet als een AI, en het benadrukken van gelijke waarschijnlijkheid om voor beide kampen te stemmen).
5. Aggregatie: Resultaten worden geaggregeerd op nationaal en subnationaal niveau (17 provincies), met bootstrap betrouwbaarheidsintervallen gegenereerd uit 1.000 resamples.
6. Evaluatie: Prestaties worden gemeten tegenover zes gecertificeerde Koreaanse verkiezingen (2017–2025) met behulp van Mean Absolute Error (MAE), winnaarvoorspellingsnauwkeurigheid en Wasserstein-相似iteit.

De studie evalueert vier onafhankelijk getrainde modellen: Qwen3-30B-A3B, EXAONE-4.0-32B, Llama-3.1-8B en DeepSeek-R1-8B.

3. Belangrijkste Bijdragen en Bevindingen

A. Systematische Faalmodi

De auteurs identificeren drie reproduceerbare faalmodi en één model-afhankelijke bevinding:

1. Progressieve Bias in Gematigde Agenten: Zonder mitigatie stemmen gematigde agenten 97% van de tijd op progressieve kandidaten. Zelfs met alleen demografische conditionering blijft dit op 82%. Expliciete prompt-mitigatie (gebalanceerde beschrijvingen, instructies tegen AI-perspectief) reduceert dit tot 59%, wat de algehele MAE significant verlaagt van 36,8% punt tot 7,1% punt. Dit bevestigt een progressieve neiging die consistent is met Engelstalige bevindingen, maar benadrukt de catastrofale impact op het simuleren van een groot gematigd bloc.
2. Ineenstorting van Derde Partij Salientie: LLM's worstelen om stemmen te verdelen onder levensvatbare derde-partijkandidaten. Bij de verkiezingen van 2017 stortte de simulatie het veld in, waarbij de uiteindelijke winnaar (Moon Jae-in) werd voorspeld met een aandeel van 71,3%, terwijl de centristische kandidaat (Ahn Cheol-soo) werd onderschat op 0,9% (werkelijk: 21,4%).
   • Mechanisme Decompositie: De ineenstorting wordt aangedreven door twee distincte mechanismen: Salientie Falen (modellen zoals EXAONE vermelden de kandidaat niet in de redeneringstekst) en Beslissingsbias (modellen zoals Qwen3 vermelden de kandidaat maar stemmen niet op hen).
   • Oplossing door Herformulering: Scenarioherformulering (herschikken van kandidaten, uitbreiden van beloften) alleen herstelde het voorspelde aandeel van Ahn van 0,9% naar 18,8%, wat de MAE met 62% reduceerde zonder architecturale wijzigingen of hertraining.
3. Ineenstorting van Regionale Polarisatie: Wat als een uniforme conservatieve bias in algemene verkiezingen lijkt, is eigenlijk een bidirectionele onderschatting van zowel conservatieve als progressieve bolwerken. De fout is geconcentreerd in swing-regio's waar gematigde kiezers domineren.
4. Bias van Modellen met Tegengestelde Waarde: Bij de presidentsverkiezingen van 2025 vertoonde Qwen3 een progressieve bias van +11,8% punt, terwijl EXAONE een conservatieve bias van −17,2% punt vertoonde. Dit demonstreert dat directionele bias sterk model-afhankelijk is, zelfs onder modellen van vergelijkbare grootte.

B. Calibratie en Validatie

• OSLR Adapter: Om model-afhankelijke bias aan te pakken, stellen de auteurs de Orientation × Sido Logistic Reweighting (OSLR) adapter voor. Dit geleerde herwegingsmechanisme gebruikt geen kandidaatnamen tijdens train- of testtijd, en vertrouwt uitsluitend op stabiele kenmerken (partijoriëntatie, regio).
• Koude Held-Out Test: De OSLR-adapter werd geëvalueerd op de lokale verkiezingen van 2022 (volledig buiten de training gehouden). Hoewel het de winnaar niet perfect voorspelde vanwege de splitsing in modelvoorspellingen, reduceerde het de nationale MAE van 2,29% punt (simpel ensemble) naar 1,57% punt, wat aantoont dat de geleerde herwegingsstructuur overdraagbaar is naar structureel verschillende verkiezingen.
• Prestaties: Het systeem voorspelde correct de winnaar in alle drie de presidentsverkiezingen (3/3), met een beste-case MAE van 2,1% punt op de race van 2022 met een marge van 0,73% punt. Echter, de voorspelling van de winnaar bij algemene verkiezingen was 0/2 correct met behulp van een partij-proxy abstractie, hoewel een proof-of-concept op kiesdistrictniveau voor 2024 het resultaat omkeerde naar correct.

C. Kosten en Schaalbaarheid

De pijplijn opereert tegen ongeveer $0,25 per 5.000-agent run, ongeveer twee ordes van grootte goedkoper dan professionele peilingen ($50.000+). De auteurs kaderen dit niet als een vervanging voor peilingen, maar als een hulpmiddel voor "diagnose op schaal", wat snelle scenarioverkenning (bijv. "wat-zij"-scenario's voor kandidaat-uitval) en gevoeligheidsanalyse mogelijk maakt die economisch onhaalbaar is met traditionele methoden.

4. Betekenis en Claims

Het artikel claimt dat Dynamo-K dient als een diagnostisch instrument dat specifieke, reproduceerbare faalmodi in LLM-politiek gedrag aan het licht brengt die anders verborgen blijven achter samenvattingen van aggregatenauwkeurigheid.

• Diagnostische Validiteit: Het kader lokaliseert successvol fouten tot specifieke mechanismen (bijv. onderscheid maken tussen salientiefalen en beslissingsbias), wat gerichte interventies mogelijk maakt zoals prompt-herformulering of herweging.
• Generalisatie naar Niet-Engels: De studie biedt de eerste empirische karakterisering van hoe de voor Engelstalige LLM's gedocumenteerde "liberale neiging" naar voren komt in Koreaanse kiezersbeslissingssimulatie, en bevestigt dat de bias aanwezig is maar op unieke wijze interacteert met lokale politieke structuren (bijv. het grote gematigde bloc).
• Beperkingen: De auteurs zijn bescheiden over hun claims, en merken op dat de steekproefgrootte (zes verkiezingen) klein is voor robuuste statistische conclusies. Ze erkennen beperkingen waaronder temporele mismatch van de census (gebruik van 2020-data voor verkiezingen in 2017/2025), statische agenten (geen dynamische overtuigingsupdates) en het ontbreken van sociale interactie-effecten. Ze stellen expliciet dat het systeem geen vervanging is voor peilingen, maar een complementair hulpmiddel voor snelle triage en mechanismediagnose.

Het werk concludeert dat hoewel LLM's concurrerende nauwkeurigheid kunnen bereiken in winnaarvoorspelling voor presidentsverkiezingen, aanzienlijke uitdagingen blijven bestaan in het modelleren van algemene verkiezingen en derde-partijdynamieken, wat kiesdistrictniveau-modellering en verder cross-linguaal onderzoek noodzakelijk maakt.