Auditing LLM-Governed Social Robots with Culture-Specific Moral Gradients

Technische Samenvatting: Auditing van door LLM's gestuurde sociale robots met cultuurspecifieke morele gradiënten

Probleemstelling
Large Language Models (LLM's) worden steeds vaker geïntegreerd in sociale robots om quasi-autonome besluitvorming mogelijk te maken in omgevingen met beperkte middelen, zoals het prioriteren van wie als eerste beperkte hulp ontvangt. Hoewel normen voor morele prioritering aanzienlijk variëren tussen culturen op basis van leeftijd, status en groepsgrootte, blijven huidige morele audits van LLM's overwegend Engels-centrisch en falen ze om belichaamde contexten te testen. Dit creëert een diagnostische kloof: zonder pluralistische kalibratie riskeren door LLM's gestuurde robots uniforme defaults op te leggen die escaleren in ongelijke toegang en het welzijn van gebruikers in diverse culturele settings schaden. Bestaande evaluatiekaders behandelen cultureel pluralisme vaak als een secundaire zorg of vertrouwen op westers-centrische benchmarks, waardoor de specifieke governance-risico's van LLM-robot allocatiebeleid ononderzocht blijven.

Methodologie
De auteurs introduceren een gradiënt-gebaseerd audit-framework dat is ontworpen om het morele trade-off gedrag van LLM's te evalueren tegen cultuurspecifieke preferentiegradiënten. De methodologie verloopt in twee fasen:

1. Scenario-constructie en Gronding:

   • Evidentiebasis: De studie leidt scenario's af uit negen systematische literatuurstudies die meer dan 8.000 studies in sociale robotica beslaan, waarbij drie hoog-risico domeinen zijn geïdentificeerd: Zorg (gezondheidszorg/thuis), Onderwijs en Publieke Diensten.
   • Dilemma-adaptatie: Het framework adapteert het "Moral Machine Experiment" (MME), waarbij de fatale "wie te sparen" dilemma's worden getransformeerd naar niet-fatale "wie als eerste te helpen" allocatiescenario's. Drie kernassen blijven behouden: Veel vs. Weinig (MF), Jong vs. Oud (YO), en Hogere vs. Lagere Status (HL).
   • Culturele Benchmarks: De audit benchmarkt LLM-beslissingen tegen MME_Scores, wat min-max genormaliseerde Average Marginal Component Effects (AMCE's) zijn afgeleid van 117 landen. Deze scores dienen als een beschrijvende baseline voor de cross-landelijke sterkte van preferenties, niet als een normatieve grondwaarheid.
   • Experimentele Opzet: De studie auditeert vier LLM's (GPT-4o, DeepSeek R1, Mistral Large, Gemini 2.0 Flash Lite) over vier land-taal paren (VS-Engels, China-Chinees, Japan-Japans, Mexico-Spaans).
   • Prompting Regimes: Vier prompting strategieën worden getest: PLAIN (geen context), Cultural Calibration (CC, alleen deployment context), Zero-Shot Chain-of-Thought (ZSCoT), en Few-Shot Chain-of-Thought (FSCoT, waarbij contrastieve culturele exemplaren worden toegevoegd).
   • Schaal: Het experiment genereert 57.600 beslissingen (100 samples per conditie over 144 prompt condities).

2. Evaluatiemetrieken (Twee-laagse Analyse):

   • Laag 1 (Gradiënt Concordantie): Gebruikt Kendall's $\tau$ en Spearman's $\rho$ om te testen of LLM's differentiëren tussen landen in een volgorde die consistent is met gedocumenteerde MME-preferentiegradiënten.
   • Laag 2 (Governance Typologie): Analyseert individuele cellen om faalmodi te karakteriseren over drie dimensies:
     • Differentiatie: Volgt het model gradiënten, wist het ze uit, of keert het ze om?
     • Richting: Bevoordeelt de output de door de meerderheid geprefereerde optie (A-territorium) of het tegenovergestelde (B-territorium)?
     • Deliberatie: Is de output variabel of deterministisch (instortend naar een vaste regel)?
   • Deze dimensies combineren tot een zeven-bakken governance typologie variërend van "Gekalibreerd" (best) tot "Niet-volgend Rigiditeit" (slechtst).

Belangrijkste Resultaten

• Algemeen Falen in Differentiatie: LLM's falen grotendeels om te differentiëren tussen culturele contexten in morele trade-offs. De algemene gradiënt concordantie over 864 land-paar vergelijkingen is bijna nul ($\tau = +0,086$).
• Culturele Asymmetrie: Kwaliteitskalibratie is bijna twee keer zo sterk voor Westerse-taal beslissingen (Engels/Spaans) vergeleken met Chinees en Japans. Niet-Westerse condities worden geconfronteerd met disproportionele miskalibratierisico's.
• Model Variabiliteit:
  • Mistral Large verschijnt als een significante outlier, met een betekenisvolle concordantie ($\tau = +0,315$) en de laagste percentages gradiëntuitwissing en deterministische rigiditeit.
  • GPT-4o vertoont de hoogste percentages "Gradient Erasure" (52,1%), waarbij identieke outputs worden geproduceerd ongeacht de culturele context, met name in "Veel vs. Weinig" scenario's.
  • DeepSeek R1 vertoont de meeste instabiliteit, met negatieve concordantie en tegenstrijdige allocatiehoudingen over talen heen.
• Prompting Effecten: Prompting alleen is onvoldoende om cross-culturele hiaten betrouwbaar te corrigeren.
  • FSCoT (Few-Shot Chain-of-Thought met contrastieve exemplaren) levert de meest consistente winsten in gradiënt tracking, met name voor niet-Westerse talen.
  • ZSCoT (Zero-Shot Chain-of-Thought) vermindert determinisme maar verslechtert vaak de gradiënt tracking, wat suggereert dat redeneervermogen zonder culturele verankering kan leiden tot een incorrecte ordening.
• Faalmodi:
  • Gradient Erasure: Veelvoorkomend in "Veel vs. Weinig" dilemma's, waarbij modellen een rigide utilitaire default toepassen ongeacht culturele nuance.
  • Gradient Inversion: Modellen differentiëren, maar in de verkeerde volgorde, of passen tegengestelde morele regels toe op basis van domein (bijv. de voorkeur geven aan lagere status in Zorg maar hogere status in Diensten).
  • Determinisme: Meer dan 50% van de cellen produceert volledig deterministische outputs, wat wijst op een instorting van morele onzekerheid en contextgevoeligheid.

Betekenis en Claims
Het artikel beweert bij te dragen met een meertalig, domein-gegrond audit-instrument dat de culturele houding van LLM's leesbaar en meetbaar maakt voorafgaand aan deployment. De primaire betekenis ligt in:

1. Verschuiving van de Audit Focus: Van eenvoudige bias detectie naar het evalueren van gradiënt tracking—of modellen de sterkte van hun voorkeuren moduleren volgens de culturele context, in plaats van alleen de richting.
2. Typologisering van Governance Risico's: Een framework bieden om verschillende faalmodi te onderscheiden (bijv. culturele blindheid vs. misgekalibreerde sensitiviteit vs. rigide defaults), wat gerichte mitigatiestrategieën informeert.
3. Model-niveau vs. Prompt-niveau Hefbomen: De resultaten suggereren dat model-niveau factoren (bijv. diversiteit van trainingsdata, architectuur) robuustere hefbomen zijn voor pluralistische kalibratie dan prompting tijdens de inferentie alleen. Hoewel contrastieve exemplaren helpen, kunnen ze niet volledig compenseren voor modellen die een inherente cross-culturele sensitiviteit missen.
4. Pre-deployment Poort: De auteurs positioneren deze audit als een noodzakelijke poort voor LLM-robot governance, waarbij zij beargumenteren dat zonder dergelijke pluralistische evaluatie, de deployment van deze systemen het risico loopt ongelijke toegang te verankeren en procedurele legitimiteit in globale settings te ondermijnen.

De studie hanteert een bescheiden standpunt door te verduidelijken dat zij MME-data gebruikt als een beschrijvende baseline van populatie-tendensen in plaats van een normatieve voorschrift voor robotgedrag. Het claimt niet morele alignment op te lossen, maar eerder de risico's van misalignment zichtbaar en getypologiseerd te maken voor downstream adjudicatie.