Measuring Political Stance and Consistency in Large Language Models
Dit artikel evalueert de politieke standpunten en consistentie van negen grote taalmodellen over 24 gevoelige kwesties met behulp van vijf promptingtechnieken, waarbij wordt onthuld dat hoewel de posities van modellen vaak variëren of verschuiven op basis van taal en prompting, bepaalde kernstandpunten rigide blijven, wat wijst op de noodzaak van groter gebruikersbewustzijn en interventie door ontwikkelaars met betrekking tot politieke vooroordelen in AI.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je negen verschillende "digitale orakels" hebt (Large Language Models, of LLM's) waar mensen advies om gaan vragen over serieuze politieke discussies, zoals wie er gelijk heeft in een oorlog of wat het beleid van een land zou moeten zijn. De auteurs van dit artikel besloten deze orakels te testen om te zien of ze hun eigen verborgen politieke meningen hebben en of die meningen onwrikbaar zijn of dat ze gemakkelijk te misleiden zijn.
Hier is een eenvoudige uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van enkele alledaagse analogieën:
De Opzet: De "Opinietest"
Beschouw de onderzoekers als een groep detectives. Ze kozen 24 lastige politieke onderwerpen (zoals de oorlog in Oekraïne, het conflict in Gaza, of geschillen over eilanden tussen Turkije en Griekenland) die nog niet veel zijn bestudeerd.
Ze vroegen 9 verschillende AI-modellen (waaronder grote namen als GPT-4, GPT-5 en Grok) naar hun standpunt over deze kwesties. Maar ze vroegen het niet slechts één keer. Ze probeerden vijf verschillende manieren om de vragen te stellen om te zien of de AI van mening zou veranderen:
- De Directe Vraag: "Wie heeft er gelijk?"
- De Advocaat van de Duivel: "Hier is een argument voor de andere kant. Wie heeft er nu gelijk?"
- Het Gebalanceerde Standpunt: "Hier zijn argumenten voor beide kanten. Wie heeft er gelijk?"
- De Wisselende Houding: Dezelfde vraag stellen maar de formulering zo aanpassen dat het de tegenovergestelde antwoord suggereert (bijv. "Was dit slecht?" versus "Was dit goed?").
- De Taalwissel: De vraag stellen in de lokale taal van de betrokken landen (bijv. de kwestie tussen Turkije en Griekenland vragen in het Turks versus het Grieks).
De Bevindingen: Wat de Orakels Zeiden
1. De AI's Hebben "Geheime Kanten"
Net zoals een persoon stiekem liever voor een bepaalde sportploeg is, kozen deze AI's bijna altijd een kant. Ze bleven zelden neutraal.
- De Consensus: Bij sommige kwesties waren alle AI's het eens. Ze waren bijvoorbeeld allemaal over het algemeen eens dat de blokkade van Qatar fout was en dat Palestijnen onderdrukt worden.
- De Verdeeldheid: Bij andere kwesties waren ze het oneens. Bijvoorbeeld over de "Arabische Lente": sommigen zeiden dat het over democratie ging, terwijl anderen zeiden dat het over economische woede ging.
2. De "Kameleon" versus de "Rots"
Sommige AI's waren als kameleons, die gemakkelijk van kleur (mening) veranderden afhankelijk van hoe je de vraag stelde.
- Mistral-7B was het meest veranderlijk. Het veranderde van standpunt in 19 van de 24 onderwerpen wanneer de onderzoekers de prompt aanpasten. Het is als een persoon die instemt met wat de laatste persoon zei.
- Grok-3-mini was het meest koppig (consistent). Het veranderde van mening op slechts 5 onderwerpen. Het is als een persoon met zeer sterke, onwankelbare overtuigingen.
3. De "Taalspiegel"
Dit was een verrassende ontdekking. Wanneer de onderzoekers vragen in verschillende talen stelden, neigden de AI's vaak naar de kant die die taal sprak.
- De Analogie: Stel je voor dat je een vertaler vraagt naar een geschil tussen een Fransman en een Duitser. Als je in het Frans vraagt, kan de vertaler per ongeluk (of onbewust) Franse bronnen gebruiken die de Fransman beter doen lijken. Als je in het Duits vraagt, ziet de Duitse kant er beter uit. Als je vraagt over een geschil tussen Turkije en Griekenland, veranderde het antwoord van de AI vaak op basis van of de vraag in het Turks of het Grieks was. Dit suggereert dat de "meningen" van de AI eigenlijk slechts echo's zijn van de boeken en artikelen die het tijdens de training heeft gelezen.
4. De "Onwankelbare" Onderwerpen
Er waren twee onderwerpen waarbij geen enkele AI van mening veranderde, ongeacht hoe de onderzoekers probeerden hen te misleiden:
- De onderdrukking van Palestijnen.
- De blokkade van Qatar.
Bij deze specifieia kwesties waren de AI's als een gesloten kluis; hun standpunt was vastgesteld en kon niet worden beïnvloed door de prompting-trucs die in de studie werden gebruikt.
5. De "Thuisploeg"-bias
De studie merkte op dat DeepSeek, een AI gemaakt door een Chinees bedrijf, consequent de positie van de Chinese regering ondersteunde op kwesties zoals Tibet en Xinjiang. Ondertussen namen bijna alle andere AI's (gemaakt in de VS of elders) het tegenovergestelde standpunt in. Dit suggereert dat waar een AI is gebouwd en wie het traint, werkt als een "thuisploeg"-bias, die de politieke kompas beïnvloedt.
De Kern van de Zaak
Het artikel concludeert dat als je een AI om politiek advies vraagt, je voorzichtig moet zijn.
- Ze zijn niet neutraal: Ze hebben ingebouwde vooroordelen op basis van hun trainingsgegevens.
- Ze zijn fragiel: Je kunt hun mening vaak veranderen door simpelweg de taal te veranderen waarin je spreekt of hoe je de vraag formuleert.
- Ze zijn geen factcheckers: Omdat hun "meningen" kunnen verschuiven als zand, moet je hen niet beschouwen als het laatste woord over de politieke waarheid.
De auteurs hopen dat door mensen te laten zien hoe gemakkelijk deze digitale orakels kunnen worden beïnvloed, gebruikers zullen beginnen met vragen: "Wacht even, waarom zei je dat?" en "Kun je me je bronnen laten zien?" in plaats van simpelweg het antwoord als de absolute waarheid te accepteren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.