Artificial Intelligence in America and China: Investigating prompt response between Human rights and geopolitical questions
Deze studie onthult dat hoewel Amerikaanse en Chinese grote taalmodellen minimale bias vertonen bij het beantwoorden van vragen over de Verenigde Staten, ze aanzienlijke uiteenlopende patronen vertonen met betrekking tot China, waarbij Claude consequent lager scoort, DeepSeek hoger, en ChatGPT relatief neutraal blijft vergeleken met het groepsgemiddelde.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de afgelopen jaren is een nieuw soort computerprogramma een algemeen onderdeel van het dagelijks leven geworden. Deze programma's, bekend als grote taalmodellen, kunnen menselijke taal lezen en schrijven met een verrassende vloeiendheid. Ze zijn getraind op enorme hoeveelheden tekst van het internet en leren te voorspellen welke woorden als volgende in een zin moeten komen. Omdat ze zo goed zijn in het nabootsen van menselijke gesprekken, wenden veel mensen zich nu tot hen voor antwoorden over geschiedenis, wetenschap en actuele gebeurtenissen. Echter, omdat deze programma's leren van de data die ze gevoerd krijgen, kunnen ze ook de meningen, vooroordelen en blinde vlekken absorberen die in die data verborgen liggen. Dit roept een kritische vraag op voor iedereen die deze hulpmiddelen gebruikt voor informatie: zien deze digitale assistenten de wereld op dezelfde manier als wij, of dragen zij hun eigen verborgen vooroordelen met zich mee?
Een recente studie probeerde dit te beantwoorden door kunstmatige intelligentie te behandelen als een proefpersoon. De onderzoeker, Zian Ding, wilde zien of verschillende computermodellen verschillende antwoorden zouden geven wanneer ze worden gevraagd naar gevoelige onderwerpen zoals mensenrechten en internationale politiek. Hiervoor richtte de studie zich op drie van de meest populaire modellen die op dat moment beschikbaar waren: twee van Amerikaanse bedrijven en één van een Chinees bedrijf. Het doel was niet om een lang gesprek met de machines te voeren, maar om hen een specifieke reeks vragen te stellen en te zien hoe zij de situaties beoordeelden op een eenvoudige schaal. De onderzoeker vroeg elk model zestien verschillende scenario's te beoordelen, variërend van tien vragen over mensenrechten en zes over geopolitieke concurrentie tussen de Verenigde Staten en China. Voor elke vraag moest het model een score van één tot tien geven, waarbij een laag getal een negatieve kijk vertegenwoordigde en een hoog getal een positieve kijk.
Het experiment was zeer zorgvuldig ontworpen. Om ervoor te zorgen dat de resultaten eerlijk waren, stelde de onderzoeker elke vraag in een nieuwe chatsessie, zodat de computer zich geen vorige antwoorden herinnerde of in de war raakte door eerdere gesprekken. De onderzoeker schakelde ook een functie in de Amerikaanse modellen uit waarmee ze details over een gebruiker kunnen onthouden, om er zeker van te zijn dat elk antwoord alleen gebaseerd was op de specifieke vraag. Door de scores gegeven door de drie verschillende modellen te vergelijken, zocht de studie naar patronen. Als alle drie de modellen vergelijkbare scores gaven, zou dat suggereren dat ze een gemeenschappelijk, neutraal standpunt delen. Als ze zeer verschillende scores gaven, zou dat suggereren dat elk model zijn eigen unieke perspectief heeft, waarschijnlijk gevormd door de verschillende data waarop het is getraind.
Toen de onderzoeker de modellen naar de Verenigde Staten vroeg, waren de resultaten grotendeels consistent, hoewel niet zonder kleine variaties. Alle drie de computerprogramma's gaven zeer vergelijkbare scores voor de meeste vragen over de Amerikaanse mensenrechten en geopolitieke positie. Er waren echter uitzonderingen; bijvoorbeeld gaf het model Claude een score voor de 6G-communicatievraag die 1,89 punten lager was dan het gemiddelde, wat duidt op een opvallende afwijking van de andere twee modellen. Of het onderwerp nu ging over raciale rechtvaardigheid of internationale concurrentie, de Amerikaanse en Chinese modellen waren het over het algemeen met elkaar eens, hoewel specifieke vragen kleine verschillen in hun beoordelingen onthulden. Dit suggereert dat deze kunstmatige intelligentiesystemen, wanneer het gaat om het beschrijven van hun eigen land of een nauwe bondgenoot, de neiging hebben om vanuit een grotendeels gedeeld pakket aan feiten en waarden te opereren, waarschijnlijk omdat ze allemaal getraind zijn op een grote hoeveelheid westerse data.
Het verhaal veranderde volledig toen de vragen over China gingen. Hier week de drie modellen scherp van elkaar af, wat duidelde maakte op duidelijke vooroordelen. Het Chinese model, DeepSeek, gaf consequent de hoogste scores en schetste een zeer positief beeld van de Chinese mensenrechten en haar kansen in de wereldwijde concurrentie. Het citeerde vaak veel verschillende bronnen om de hoge beoordelingen te ondersteunen, hoewel het soms aarzelde om bepaalde gevoelige vragen in eerste instantie te beantwoorden. Het Amerikaanse model van het Amerikaanse bedrijf, Claude, gaf daarentegen de laagste scores. Het weigerde regelmatig vragen over minderhedenrechten te beantwoorden, met de verklaring dat een simpel getal de complexiteit van het onderwerp niet kon vatten. Wanneer het wel antwoord gaf, waren de scores aanzienlijk lager dan het gemiddelde, wat duidt op een veel kritischer beeld van China.
Het derde model, een Amerikaans programma, bevond zich precies in het midden. De scores waren zeer dicht bij het gemiddelde van alle drie, wat suggereert dat het relatief neutraal bleef vergeleken met de andere twee. Dit middenpad geeft aan dat dit specifieke model mogelijk is getraind op een meer gebalanceerde mix van data, of misschien is bijgewerkt om te voorkomen dat het een sterke kant kiest in deze specifieke kwesties. De studie controleerde ook of de geheugenfunctie van het Amerikaanse model de antwoorden veranderde, maar stelde vast dat het aan- of uitzetten ervan weinig verschil maakte voor de uiteindelijke scores.
De bevindingen suggereren dat hoewel deze kunstmatige intelligentietools krachtig zijn, ze geen neutrale waarnemers zijn. Ze weerspiegelen de data waaruit ze zijn opgebouwd en de regels die hun makers voor hen hebben vastgesteld. Wanneer ze over de Verenigde Staten worden gevraagd, zijn ze het over het algemeen eens, hoewel met enkele specifieke uitzonderingen. Wanneer ze over China worden gevraagd, vertellen ze drie verschillende verhalen. Dit is van belang omdat miljoenen mensen, waaronder veel tieners, deze tools nu gebruiken om over de wereld te leren. Als een jongere een computer naar de mensenrechten in verschillende landen vraagt, hangt het antwoord dat zij krijgen volledig af van welke computer zij vragen. De studie concludeert dat gebruikers zich bewust moeten zijn van het feit dat deze machines hun eigen perspectieven hebben, en dat de informatie die zij verstrekken niet altijd een objectieve waarheid is, maar eerder een reflectie van de vooroordelen die in hun code zijn ingebouwd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.