Large Language Models as Implicit Sociological Models: Reconstructing Voting Behaviour from Sociodemographic Profiles
Dit artikel stelt een methodologisch kader voor dat grote taalmodellen behandelt als impliciete sociologische instrumenten om geaggregeerd stemgedrag te reconstrueren op basis van sociodemografische profielen, waarbij wordt aangetoond dat zij in staat zijn om werkelijke verkiezingsuitslagen en politieke structuren accuraat te repliceren, terwijl tegelijkertijd hun nut als exploratieve instrumenten voor de computationele sociale wetenschap wordt benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de studie naar hoe mensen stemmen, hebben politicologen lang vertrouwd op een simpele waarheid: wie je bent, voorspelt vaak hoe je stemt. De leeftijd, opleiding, het inkomen en de woonplaats van een persoon creëren een demografisch profiel dat sterk correleert met hun politieke keuzes. Decennialang hebben onderzoekers deze verbanden in kaart gebracht met behulp van enquêtes, waarbij duizenden mensen vragen werden gesteld over hun leven en hun stembiljet om de patronen te vinden die verkiezingen vormgeven. Maar in het digitale tijdperk is een nieuwe vraag opgekomen: zou een computerprogramma, getraind op de enorme oceaan aan menselijke teksten op het internet, deze patronen al kennen zonder ooit een enkel persoon een vraag te hebben gesteld? Large language models, de krachtige kunstmatige intelligentiesystemen achter moderne chatbots, zijn gebouwd door miljarden documenten te lezen. Hierdoor absorberen ze de statistische regelmatigheden van de menselijke cultuur, inclusief de onuitgesproken verbanden tussen iemands achtergrond en hun politieke voorkeuren. Dit roept een fascinerende mogelijkheid op: zouden deze modellen een gecomprimeerde spiegel van de samenleving kunnen zijn, die een verborgen kaart vasthoudt van hoe demografie zich vertaalt in stemmen, simpelweg omdat ze er zoveel over hebben gelezen?
Een team onderzoekers uit Tsjechië zette zich in om dit idee te testen met de Tsjechische parlementsverkiezingen van 2021 als hun laboratorium. Ze vroegen de kunstmatige intelligentie niet om de winnaar van de verkiezingen te voorspellen of om uit te leggen waarom een specifiek individu voor een bepaalde partij koos. In plaats daarvan behandelden ze de modellen als een soort sociologisch instrument, een manier om het collectieve gedrag van een natie van onderaf te reconstrueren. De onderzoekers namen een echte enquête met bijna 4.000 Tsjechische burgers, elk met een gedetailleerd profiel van hun leeftijd, geslacht, opleiding, inkomen en zelfs hun interesse in politiek. Ze voerden deze beschrijvingen, één voor één, in vier verschillende versies van een large language model in. Voor elke persoon werd het model een eenvoudige vraag gesteld: gegeven dit specifieke levensverhaal, op wie zou jij stemmen? Het model koos niet zomaar één partij; het berekende de waarschijnlijkheid van het stemmen op elke grote partij, samen met de kans dat de persoon helemaal niet zou stemmen.
De onderzoekers combineerden deze duizenden individuele gissingen vervolgens tot één nationaal beeld. Ze gebruikten een methode die elke waarschijnlijkheid behandelde als een gedeelde stem, waardoor het uiteindelijke resultaat kon voortkomen uit de som van vele kleine onzekerheden in plaats van een enkele gedwongen keuze. Wanneer ze deze gesimuleerde verkiezing vergeleken met de werkelijke officiële resultaten, was de overeenkomst verrassend nauw. De modellen reproduceerden de uiteindelijke stempercentages met een gemiddelde fout van slechts ongeveer 2,5 procentpunt, een nauwkeurigheidsniveau dat vergelijkbaar is met hoogwaardige verkiezingspeilingen uitgevoerd door professionele bureaus. Belangrijker nog, de simulatie kreeg niet alleen de cijfers goed; het legde ook de verborgen structuur van de Tsjechische politiek vast. De modellen identificeerden correct dat bepaalde partijen van nature bij elkaar klonteren en zo twee duidelijke politieke blokken vormen die de werkelijke allianties en rivaliteiten in het land weerspiegelen. Ze recreëerden ook de specifieke manieren waarop kiezers tussen partijen stromen, wat aantoonde dat de kunstmatige intelligentie begreep, zonder dat dit expliciet was verteld, dat kiezers voor de ene coalitie vaak overstappen naar een andere, terwijl kiezers van tegengestelde kampen zelden de grens oversteken.
De studie toonde aan dat de omvang van het model ertoe deed. De grotere, meer capabele versies van de kunstmatige intelligentie waren beter in het onderscheiden van verschillende typen kiezers, waarbij ze de subtiele verschillen vastlegden in hoe een jonge, hoogopgeleide persoon zou stemmen vergeleken met een oudere, minder opgeleide persoon. De kleinere modellen hadden de neiging om het gemiddelde voor iedereen te raden, waardoor ze de nuances van het demografische landschap misten. Toch slaagden zelfs de kleinere modellen erin de brede contouren van de politieke kaart te herstellen. De onderzoekers controleerden ook wat de modellen wisten voordat ze specifieke details over een persoon kregen. Ze ontdekten dat de modellen al over een sterke, ingebouwde kennis van de verkiezingsuitslagen beschikten, waarschijnlijk omdat de uitkomst zo frequent werd besproken in de teksten waarop ze getraind waren. De werkelijke waarde van het experiment lag echter niet in deze vooraf bestaande kennis, maar in de mogelijkheid om die kennis af te breken. Door individuele profielen in te voeren, konden de onderzoekers zien hoe de modellen die kennis verdeelden over verschillende regio's en sociale groepen, waardoor ze effectief een statisch feit transformeerden in een dynamische, structurele kaart van de samenleving.
Cruciaal is dat de auteurs benadrukken dat dit geen hulpmiddel is om de toekomst te voorspellen of om menselijke enquêtes te vervangen. De modellen begrijpen niet waarom mensen stemmen zoals ze doen; ze hebben geen causale kennis van menselijke besluitvorming. Ze reflecteren simpelweg de patronen die ze in de teksten hebben gezien waarop ze getraind zijn. Als het internet vol staat met artikelen die opleiding koppelen aan een specifieke partij, leert het model dat verband. De waarde van dit werk ligt in het vermogen om te fungeren als een diagnostisch instrument, waarmee wetenschappers een model kunnen ondervragen over wat het heeft geabsorbeerd uit de menselijke cultuur. Het laat zien dat deze systemen de sociologische regelmatigheden van een niet-Engelstalige, meerpartijendemocratie hebben geïnternaliseerd, ook al zijn ze voornamelijk getraind op Engelse data. De onderzoekers concluderen dat hoewel deze modellen geen perfecte spiegels van de werkelijkheid zijn, ze krachtig genoeg zijn om het skelet van het politieke gedrag van een samenleving te reconstrueren, wat een nieuwe manier biedt om de verborgen connecties tussen wie we zijn en hoe we stemmen te verkennen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.