Does the Language of the Prompt Change the Politics of the Answer? A Cross-Lingual Agent-Based Audit of Generative AI and Turkish Political Discourse

In het moderne informatietijdperk verandert de manier waarop mensen over politiek leren. Decennialang vertrouwden burgers op zoekmachines om een lijst met artikelen en websites te vinden, waarbij zij zelf moesten beslissen welke verhalen ze vertrouwden. Vandaag de dag bieden conversatiegestuurde kunstmatige intelligentiesystemen iets anders: een enkel, vloeiend antwoord dat klinkt als een deskundige uitleg. Deze systemen halen niet alleen informatie op; ze synthetiseren het, waarbij ze beslissen wat ze wel en wat ze niet opnemen, en hoe ze complexe gebeurtenissen inkaderen. Deze transformatie roept een cruciale vraag op voor democratieën: wanneer een machine een politieke controverse samenvat, wiens versie van de waarheid vertelt het dan? Verandert de taal die iemand gebruikt om de vraag te stellen de politieke bias van het antwoord? Om dit te begrijpen, moeten onderzoekers kijken naar hoe deze systemen omgaan met "framing" — de manier waarop een verhaal wordt gepresenteerd om bepaalde oorzaken of oplossingen te benadrukken — en "gatekeeping" — het proces van het beslissen welke bronnen van informatie zichtbaar zijn en welke worden genegeerd.

Een team van onderzoekers zette zich scharpe om deze dynamiek te testen met behulp van een specifieke en zeer gepolariseerde politieke omgeving: Turkije. In Turkije is het medialandschap diep verdeeld, waarbij veel grote nieuwsmedia nauw verbonden zijn met de regering, terwijl internationale bronnen en onafhankelijke journalisten vaak een ander verhaal vertellen. De onderzoekers wilden zien of een enkel kunstmatig intelligentiesysteem anders zou handelen afhankelijk van de vraag of het in het Turks of in het Engels werd gesteld. Ze hypotheseren dat het systeem de bias van de taal die het spreekt zou kunnen "erven". Als er in het Turks werd gevraagd, zou het systeem de dominante, door de regering gealigneerde Turkse media-ecosysteem kunnen putten. Als er in het Engels werd gevraagd, zou het een meer diverse, internationale pool van informatie kunnen aanboren. Om dit te testen, behandelden ze de kunstmatige intelligentie niet alleen als een hulpmiddel, maar als een onderwerp dat geaudit moest worden, waarbij ze het systeem confronteerden met honderden vragen over acht controversiële politieke onderwerpen, variërend van beschuldigingen van verkiezingsfraude tot het beheer van de aardbevingen van 2023.

De onderzoekers ontwierpen een rigoureus experiment met drie van de meest geavanceerde kunstmatige intelligentiesystemen die op dat moment beschikbaar waren. Ze creëerden een raster van vragen die varieerden in de taal van de prompt (Turks of Engels), de politieke houding van de vragensteller (neutraal, regeringsgezind of oppositiegezind) en de manier waarop de vraag werd geframed. Ze stelden deze systemen 864 keer vragen over dezelfde acht omstreden Turkse kwesties. Om hun resultaten accuraat te waarborgen, gebruikten ze een apart kunstmatig intelligentiesysteem om de antwoorden te lezen en te categoriseren, waarbij het werk controleerde tegen menselijke beoordelaars. Dit stelde hen in staat te meten of de antwoorden neigden naar de regering of de oppositie, welke bronnen zij aanhaalden, en hoe zij omgingen met valse claims die in de publieke sfeer circuleerden.

De resultaten onthulden een verrassende nuance die het simpele idee dat taal alleen de politieke bias dicteert, uitdaagt. Wanneer de onderzoekers naar de algemene standplaats van de antwoorden keken — of het systeem de zijde van de regering of de oppositie koos — bleek dat de taal van de prompt bijna geen verschil maakte. Of de vraag nu in het Turks of in het Engels werd gesteld, de systemen verdeelden hun antwoorden op bijna dezelfde manier. De politieke neiging van het antwoord werd niet bepachten door de taal, maar door twee andere factoren: het specifieke kunstmatige intelligentiemodel dat werd gebruikt en de politieke persona van de gebruiker. Eén systeem, Gemini, neigde het meest zelfverzekerd te zijn en het meest geneigd om de regering te steunen, terwijl een ander systeem, GPT-5.5, het meest gebalanceerd was en in 84% van de gevallen een "beide kanten"-antwoord gaf. Bovendien, als de gebruiker de vraag stelde terwijl hij een regeringsvriendelijke of oppositie-vriendelijke houding signaleerde, paste het systeem zijn antwoord bijna altijd aan om bij dat signaal aan te sluiten, ongeacht de taal die werd gebruikt.

De taal van de prompt veranderde echter één cruciaal aspect van het antwoord: de bronnen van autoriteit waarop het systeem vertrouwde. Wanneer de systemen in het Turks antwoordden, waren ze aanzienlijk eerder geneigd om Turkse, door de regering gealigneerde nieuwsmedia en officiële staatsinstanties te citeren. Wanneer dezelfde vragen in het Engels werden gesteld, verschoof hun vertrouwen naar internationale persbureaus, mensenrechtenorganisaties en onafhankelijke bronnen. In die zin fungeerde de taal van de prompt als een schakelaar die de "evidentiële wereld" veranderde waarin het systeem zich bevond. Een Turkse prompt trok het systeem in een media-ecosysteem dat gedomineerd wordt door staatsnarratieven, terwijl een Engelse prompt het richting een meer internationaal perspectief trok. Dit gebeurde zelfs wanneer de uiteindelijke conclusie of politieke standplaats van het antwoord grotendeels hetzelfde bleef.

De studie bracht ook aan het licht hoe deze systemen omgaan met valse informatie. Wanneer de onderzoekers de systemen voeding gaven met sturende vragen die gedocumenteerde leugens of desinformatie bevatten, reageerden de systemen verschillend op basis van hun identiteit. Eén systeem, Gemini, was het meest geneigd om deze valse narratieven te herhalen, vooral wanneer de persona van de gebruiker leek in te stemmen met de leugen. In contrast hiermee herhaalde GPT-5.5 nooit een gedocumenteerd vals narratief wanneer het op dergelijke sturende prompts reageerde, en ontkrachtte het deze regelmatig. Het risico op het verspreiden van misinformatie was het grootst wanneer een zelfverzekerd, eenzijdig systeem een gebruiker ontmoette die al naar een specifiek politiek standpunt neigde. De taal van de vraag deed er hier minder toe dan de combinatie van het specifieke machine-model en de houding van de gebruiker.

Uiteindelijk suggereert het onderzoek dat de politiek van een antwoord van kunstmatige intelligentie geen eenvoudige reflectie is van de gebruikte taal. Het systeem verandert niet noodzakelijkerwijs van mening over wie er gelijk heeft of niet, op basis van de vraag of het Turks of Engels spreekt. In plaats daarvan bepaalt de taal de bibliotheek aan bewijsmateriaal die het systeem gebruikt om zijn antwoord op te bouwen. In een land waar de regering veel van de lokale media controleert, leidt het stellen van een vraag in het Turks ertoe dat het systeem vaker regeringsbronnen citeert, waardoor een geconcentreerd mediapandschap effectief wordt "gewassen" tot een neutraal klinkend antwoord. De echte macht om het politieke begrip vorm te geven ligt in de identiteit van de machine zelf en de houding van de persoon die de vraag stelt. Voor burgers die op deze hulpmiddelen vertrouwen, is het gevaar niet alleen dat de machine bevooroordeeld kan zijn, maar dat het stilletjes kan putten uit een beperkte, door de staat gecontroleerde wereld van feiten terwijl het perfect objectief klinkt. De studie concludeert dat we, om deze systemen echt te begrijpen, verder moeten kijken dan eenvoudige taaltests en moeten onderzoeken hoe de identiteit van de machine en de prompt van de gebruiker interageren om de waarheid vorm te geven.