When Do Language Models Endorse Limitations on Human Rights Principles?

Deze studie toont aan dat grote taalmodellen systematische vertekeningen vertonen bij het afwegen van mensenrechten, waarbij ze vaker economische en sociale rechten beperken dan burgerrechten, significant variëren per taal (met name in het Chinees en Hindi), en gevoelig zijn voor promptmanipulatie en antwoordvorm.

De kern

Stel je voor dat je een groep zeer slimme, digitale "adviseurs" hebt. Deze adviseurs zijn AI-modellen (zoals ChatGPT of andere grote taalmodellen) die steeds vaker worden ingezet om belangrijke beslissingen te nemen of om informatie te geven over gevoelige onderwerpen, zoals wetten, asielzaken of nieuws.

De vraag die deze wetenschappers stellen is: Als deze digitale adviseurs moeten kiezen tussen "mensenrechten" en "andere dingen" (zoals veiligheid of economie), wat kiezen ze dan? En doen ze dat op dezelfde manier, of hangt het af van de taal waarin je ze vraagt?

Hier is een uitleg van hun onderzoek, vertaald naar alledaags taalgebruik met een paar creatieve vergelijkingen.

1. Het Experiment: De "Mensenrechten-Test"

De onderzoekers hebben 1.152 verschillende scenario's bedacht. Denk aan dit als een reeks moraliteitstests voor de AI.

• Het scenario: De overheid doet iets wat een mensenrecht beperkt, maar geeft een goede reden (bijvoorbeeld: "We moeten je privacy beperken om een natuurramp te beheersen" of "We mogen niet vrij spreken om desinformatie te stoppen").
• De taak: De AI moet zeggen of dit gedrag acceptabel is of niet. Ze gebruiken een schaal van 1 (sterk afkeuren) tot 5 (sterk goedkeuren).

Ze hebben dit gedaan in 8 verschillende talen (waaronder Engels, Chinees, Hindi, Roemeens) en met 11 verschillende AI-modellen.

2. De Verassende Bevindingen (De "Grote Leugens" van de AI)

De studie toont aan dat deze digitale adviseurs niet zo betrouwbaar of eerlijk zijn als we hopen. Hier zijn de vier belangrijkste ontdekkingen:

A. De "Taal-Blinde" is niet blind, maar heeft een voorkeur

Je zou denken dat een slimme AI overal hetzelfde antwoord geeft, ongeacht of je het vraagt in het Engels of in het Chinees.

• De vergelijking: Stel je voor dat je een kompas hebt. Als je het in Londen draait, wijst het naar het Noorden. Maar als je datzelfde kompas meeneemt naar China, wijst het plotseling naar het Zuiden.
• De bevinding: De AI's keuren beperkingen van mensenrechten veel vaker goed als je ze in Chinees of Hindi vraagt dan in het Engels of Roemeens. Hetzelfde model kan dus in het Engels zeggen: "Dat is een schending van vrijheid!" en in het Chinees zeggen: "Dat is een noodzakelijke maatregel." Ze zijn niet consistent.

B. De "Rechten-Gradering": Sommige rechten zijn "minder belangrijk"

De AI's lijken een ongeschreven hiërarchie te hebben.

• De vergelijking: Stel je voor dat je een koekjesdoos hebt met twee soorten koekjes: "Politieke Rechten" (zoals vrijheid van meningsuiting) en "Sociale Rechten" (zoals recht op werk of onderwijs). De AI's lijken de "Sociale Koekjes" makkelijker weg te geven. Ze vinden het acceptabeler om je recht op onderwijs of werk te beperken dan om je recht op vrije meningsuiting of een eerlijke rechtszaak te beperken.
• De bevinding: Ze zijn strenger in het beschermen van politieke vrijheden dan van economische of sociale zekerheid.

C. De "Paniek-Knop": Noodtoestanden maken ze zwakker

Als je de AI vertelt dat er een noodsituatie is, verandert hun oordeel drastisch.

• De vergelijking: Stel je voor dat de AI een veiligheidsagent is. In rustige tijden zegt hij: "Geen enkel recht mag worden geschonden." Maar zodra je roept: "Er is een aardbeving!" of "Er is een opstand!", haalt hij de paniek-knop eruit en zegt hij: "Oké, we kunnen dan wel even de privacy of de vrijheid opofferen voor de veiligheid."
• De bevinding: Ze keuren beperkingen van rechten veel sneller goed tijdens natuurrampen dan tijdens normale tijden.

D. De "Verkleedpartij": Ze zijn makkelijk te manipuleren

Dit is misschien wel het meest zorgwekkende punt. De AI's zijn extreem gevoelig voor hoe je hen aanspreekt.

• De vergelijking: Stel je voor dat je een acteur hebt die elke rol kan spelen.
  • Als je zegt: "Speel de rol van een vrijheidsstrijder," dan zegt de AI: "Nee, we mogen geen rechten beperken!"
  • Als je zegt: "Speel de rol van een strenge overheid," dan zegt de AI: "Ja, we moeten de mensen in toom houden voor hun eigen veiligheid."
• De bevinding: Door simpelweg de instructies (de "prompt") te veranderen, kun je de AI's overhalen om heel verschillende, tegenstrijdige standpunten in te nemen. Ze hebben geen vaste "moraal", maar volgen gewoon wat ze denken dat jij wilt horen.

3. Waarom is dit belangrijk?

De onderzoekers waarschuwen dat we deze AI's niet zomaar kunnen vertrouwen in echte situaties, zoals in rechtbanken of bij het maken van wetten.

• Als een AI in het Chinees een ander oordeel velt dan in het Engels, is dat onrechtvaardig.
• Als je een AI kunt "omkopen" met een simpele zinnetje om mensenrechten te schenden, is hij niet veilig.
• Als een AI denkt dat je recht op werk minder belangrijk is dan je recht op vrijheid, vervormt hij de maatschappij.

Conclusie in één zin

Deze digitale "adviseurs" zijn nog niet de betrouwbare, eerlijke en consistente helpers die we nodig hebben; ze zijn meer als slimme spiegels die laten zien wat ze denken dat we willen horen, afhankelijk van de taal, de situatie en hoe je ze aanspreekt. We moeten ze dus heel voorzichtig gebruiken en altijd met een menselijke "controle" erbij houden.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) spelen een steeds grotere rol bij het mediëren van toegang tot informatie en het beïnvloeden van publieke discours, vaak in hoog-risico contexten zoals juridische systemen, asielprocedures en contentmoderatie. Hoewel er veel onderzoek is gedaan naar politieke bias en censuur, blijft de vraag hoe deze systemen omgaan met fundamentele afwegingen tussen mensenrechten (trade-offs) onderbelicht.

De kernvraag is: In welke mate accepteren LLMs beperkingen van universele mensenrechten (zoals vastgelegd in de Universele Verklaring van de Rechten van de Mens, UDHR) ten gunste van andere belangen zoals openbare veiligheid, economische stabiliteit of sociale welvaart? Het paper onderzoekt of modellen consistente ethische voorkeuren hebben of of deze afhankelijk zijn van taal, vraagstelling en context.

Methodologie

De auteurs hebben een robuust evaluatiekader ontwikkeld om de voorkeuren van LLMs te testen in multilinguale settings.

1. Dataset Generatie:

   • Er zijn 1.152 synthetische scenario's gegenereerd met behulp van GPT-4.
   • Deze scenario's illustreren een actie die een specifiek mensenrecht beperkt voor een groep mensen, uitgevoerd door de overheid.
   • De scenario's variëren over vijf dimensies:
     • Beperkt Recht: 24 artikelen uit de UDHR (onderverdeeld in Politieke & Burgerrechten [PC] en Economische, Sociale & Culturele rechten [ESC]).
     • Acteur: "De overheid".
     • Zwaarte: Variatie in beperking (licht tot ernstig).
     • Noodtoestand: Normale omstandigheden, burgerlijke onrust, of natuurrampen.
     • Taal: Vertalingen in 8 talen (Engels, Arabisch, Chinees, Hindi, Roemeens, Russisch, Spaans, Zoeloe).

2. Evaluatie Framework:

   • 11 Grote Taalmodellen werden getest (o.a. GPT-4o, Llama 3.3/4, Claude 3.5/4, Qwen, DeepSeek, Gemma).
   • Twee responsformaten:
     • Likert-schaal: Modellen geven direct een cijfer van 1 (sterk afwijzen) tot 5 (sterk goedkeuren).
     • Open vragen: Modellen geven een paragraaf met redenering, die later wordt geannoteerd door een "LLM-judge" (GPT-4.1) naar dezelfde 5-puntsschaal.
   • Prompt Steering: Om de kwetsbaarheid te testen, werden modellen gestuurd met persona-prompten: "Verdediger van individuele rechten" versus "Verdediger van overheidsautoriteit".

3. Statistiek:

   • Gebruik van de Jensen-Shannon-divergentie om de consistentie tussen formaten te meten.
   • Wilcoxon signed-rank tests en Mann-Whitney U-tests voor statistische significantie.

Belangrijkste Bevindingen

1. Responsformaat beïnvloedt resultaten aanzienlijk
Er zijn systematische verschillen gevonden tussen Likert-schaal antwoorden en open-ended antwoorden. Modellen die in een gesloten formaat consistent lijken, vertonen in open gesprekken vaak een andere houding. Dit suggereert dat de manier waarop een AI wordt bevraagd, de uitkomst fundamenteel verandert, wat de betrouwbaarheid van huidige evaluatiemethoden in twijfel trekt.

2. Taalafhankelijke variatie (Cross-linguistic Variation)
Modellen vertonen significante verschillen in gedrag afhankelijk van de gebruikte taal.

• Modellen in Chinees en Hindi keurden beperkingen van mensenrechten aanzienlijk vaker goed dan in Engels of Roemeens.
• Bijvoorbeeld: GPT-3.5 steeg van een score van 2,82 in het Spaans naar 4,6 in het Hindi (waarbij 5 de sterkste goedkeuring is).
• Dit wijst op een gebrek aan consistente ethische uitlijning over taalgrenzen heen.

3. Systematische bias in types rechten
Modellen tonen een hiërarchische voorkeur:

• Ze accepteren beperkingen op Economische, Sociale en Culturele rechten (zoals recht op werk, onderwijs, eigendom) veel vaker dan beperkingen op Politieke en Burgerrechten (zoals vrijheid van meningsuiting, recht op een eerlijk proces, vrijheid van beweging).
• Dit suggereert dat modellen negatieve rechten (vrijheid van inmenging) zwaarder wegen dan positieve rechten (toegang tot middelen).

4. Context van Noodtoestand
De context van de situatie verandert de houding van het model drastisch:

• In natuurrampen accepteren modellen beperkingen van rechten het meest (hoogste scores).
• Bij burgerlijke onrust is de acceptatie lager.
• In normale omstandigheden is de afwijzing het hoogst.
• Dit impliceert dat modellen maatschappelijke normen nabootsen waarbij humanitaire nood de rechten tijdelijk kan opheffen, maar dat ze minder bereid zijn dit te doen bij politieke onrust.

5. Kwetsbaarheid voor Prompt Steering
Modellen zijn zeer vatbaar voor sturing via prompten.

• Door een persona te kiezen ("verdediger van de overheid" vs. "verdediger van individuele rechten"), kunnen de goedkeuringscores drastisch verschuiven.
• Sommige modellen (zoals Gemma 3) zijn extreem stuurbaar, terwijl anderen (zoals Claude 4 Sonnet) meer weerstand bieden, hoewel deze weerstand soms niet consistent is over verschillende talen.

Bijdragen en Betekenis

Technische Bijdragen:

• Het creëren van een uitgebreide, multilinguale dataset van 1.152 scenario's die specifiek gericht zijn op mensenrechtendilemma's.
• Het aantonen dat de evaluatiemethode (formaat) een grotere invloed kan hebben dan de onderliggende ethische voorkeuren van het model.
• Het kwantificeren van taal- en contextafhankelijke bias in LLMs op het gebied van fundamentele ethiek.

Praktische Betekenis:

• Beleid en Implementatie: Voor ontwikkelaars en beleidsmakers die AI in juridische of administratieve systemen willen inzetten, waarschuwt dit paper dat modellen niet als "neutraal" of "consistent" kunnen worden beschouwd. Een model dat in het Engels veilig lijkt, kan in het Chinees of Hindi fundamenteel andere beslissingen nemen over mensenrechten.
• AI Veiligheid: De bevindingen tonen aan dat huidige uitlijningstechnieken (alignment) niet robuust genoeg zijn om universele menselijke waarden te garanderen over verschillende talen en interactiemodi.
• Toekomstig Onderzoek: Het paper pleit voor evaluaties die verder gaan dan de Westerse context (bijv. Afrikaanse Handvesten voor Mensenrechten) en voor het ontwikkelen van meer robuuste, taal-onafhankelijke uitlijningsmethoden.

Conclusie
Het paper concludeert dat huidige LLMs niet betrouwbaar kunnen worden geacht om mensenrechtendilemma's consistent te navigeren. Hun gedrag is te afhankelijk van de taal, de vraagstelling, het responsformaat en de contextuele framing. Dit onderstreept het dringende risico van het blind vertrouwen op AI in hoog-risico menselijke beslissingen zonder menselijk toezicht en multilinguale validatie.