Auditing LLM-Governed Social Robots with Culture-Specific Moral Gradients

Sintesi Tecnica: Audit di Robot Sociali Governati da LLM con Gradient Morali Specifici per Cultura

Problematica
I Large Language Models (LLM) sono sempre più integrati nei robot sociali per abilitare processi decisionali quasi-autonomi in ambienti a risorse limitate, come la prioritizzazione di chi riceve assistenza scarsa per primo. Sebbene le norme di prioritizzazione morale varino significativamente tra le culture in base all'età, allo status e alla dimensione del gruppo, gli attuali audit morali degli LLM rimangono prevalentemente centrati sulla lingua inglese e non riescono a testare i contesti incarnati. Ciò crea un gap diagnostico: senza una calibrazione pluralistica, i robot governati da LLM rischiano di imporre default uniformi che si trasformano in disparità di accesso e danni al benessere degli utenti in contesti culturali diversificati. Gli esistenti framework di valutazione trattano spesso il pluralismo culturale come una preoccupazione secondaria o si affidano a benchmark eurocentrici, lasciando inesaminate le specifiche rischi di governance delle politiche di allocazione dei robot governati da LLM.

Metodologia
Gli autori introducono un framework di audit basato su gradienti progettato per valutare il comportamento di trade-off morale degli LLM rispetto a gradienti di preferenza specifici per cultura. La metodologia procede in due fasi:

1. Costruzione degli Scenari e Grounding:

   • Base di Evidenza: Lo studio deriva scenari da nove revisioni sistematiche della letteratura che coprono oltre 8.000 studi nella robotica sociale, identificando tre domini ad alto rischio: Cura (sanità/casa), Educazione e Servizi al Pubblico.
   • Adattamento dei Dilemmi: Il framework adatta l'esperimento "Moral Machine Experiment" (MME), trasformando i suoi dilemmi fatali di "chi salvare" in scenari di allocazione non fatali di "chi assistere per primo". Si preservano tre assi centrali: Molti vs Pochi (MF), Giovani vs Anziani (YO) e Status Elevato vs Basso (HL).
   • Benchmark Culturali: L'audit confronta le decisioni degli LLM con i punteggi MME, che sono AMCE (Average Marginal Component Effects) normalizzati min-max derivati da 117 paesi. Questi punteggi servono come baseline descrittiva per la forza della preferenza transnazionale, non come verità normativa.
   • Setup Sperimentale: Lo studio esamina quattro LLM (GPT-4o, DeepSeek R1, Mistral Large, Gemini 2.0 Flash Lite) attraverso quattro coppie paese-lingua (USA-Inglese, Cina-Cinese, Giappone-Giapponese, Messico-Spagnolo).
   • Regimi di Prompting: Vengono testate quattro strategie di prompting: PLAIN (nessun contesto), Calibrazione Culturale (CC, solo contesto di deployment), Zero-Shot Chain-of-Thought (ZSCoT) e Few-Shot Chain-of-Thought (FSCoT, aggiungendo esempi culturali contrastivi).
   • Scala: L'esperimento genera 57.600 decisioni (100 campioni per condizione su 144 condizioni di prompt).

2. Metriche di Valutazione (Analisi a due livelli):

   • Livello 1 (Concordanza del Gradiente): Utilizza il $\tau$ di Kendall e la $\rho$ di Spearman per testare se gli LLM differenziano tra i paesi in un ordine coerente con i gradienti di preferenza documentati dall'MME.
   • Livello 2 (Tipologia di Governance): Analizza le singole celle per caratterizzare le modalità di fallimento attraverso tre dimensioni:
     • Differenziazione: Il modello traccia i gradienti, li cancella o li inverte?
     • Direzione: L'output favorisce l'opzione preferita dalla maggioranza (territorio A) o l'opposto (territorio B)?
     • Deliberazione: L'output è variabile o deterministico (collassando verso una regola fissa)?
   • Queste dimensioni si combinano in una tipologia di governance a sette classi che spazia da "Calibrato" (migliore) a "Rigidità di Non-Tracciamento" (peggiore).

Risultati Chiave

• Fallimento Generale della Differenziazione: Gli LLM falliscono ampiamente nel differenziare tra contesti culturali nei trade-off morali. La concordanza generale del gradiente attraverso 864 confronti di coppie di paesi è vicina allo zero ($\tau = +0.086$).
• Asimmetria Culturale: La qualità della calibrazione è quasi due volte più forte per le decisioni in lingue occidentali (Inglese/Spagnolo) rispetto al Cinese e al Giapponese. Le condizioni non occidentali affrontano rischi di miscalibrazione sproporzionati.
• Variabilità del Modello:
  • Mistral Large emerge come un outlier significativo, mostrando una concordanza significativa ($\tau = +0.315$) e i tassi più bassi di cancellazione del gradiente e rigidità deterministica.
  • GPT-4o presenta i tassi più alti di "Cancellazione del Gradiente" (52.1%), producendo output identici indipendentemente dal contesto culturale, particolarmente negli scenari "Molti vs Pochi".
  • DeepSeek R1 mostra la maggiore instabilità, con concordanza negativa e posture di allocazione contraddittorie tra le lingue.
• Effetti del Prompting: Il solo prompting non è sufficiente per correggere in modo affidabile i gap transculturali.
  • FSCoT (Few-Shot Chain-of-Thought con esempi contrastivi) produce i guadagni più consistenti nel tracciamento del gradiente, particolarmente per le lingue non occidentali.
  • ZSCoT (Zero-Shot Chain-of-Thought) riduce il determinismo ma spesso peggiora il tracciamento del gradiente, suggerendo che la capacità di ragionamento senza ancoraggio culturale può portare a un ordinamento errato.
• Modalità di Fallimento:
  • Cancellazione del Gradiente: Comune nei dilemmi "Molti vs Pochi", dove i modelli applicano un default utilitarista rigido indipendentemente dalla sfumatura culturale.
  • Inversione del Gradiente: I modelli differenziano, ma nell'ordine errato, o applicano regole morali opposte in base al dominio (es. favorendo lo status basso nella Cura ma lo status alto nei Servizi).
  • Determinismo: Oltre il 50% delle celle produce output completamente deterministici, indicando un collasso dell'incertezza morale e della sensibilità al contesto.

Significatività e Claim
Il documento sostiene di contribuire con uno strumento di audit multilingue e basato sul dominio che rende la postura culturale degli LLM leggibile e misurabile prima del deployment. La sua principale significatività risiede in:

1. Spostamento del Focus dell'Audit: Passare dal semplice rilevamento del bias alla valutazione del tracciamento del gradiente — ovvero se i modelli modulano l'intensità delle loro preferenze secondo il contesto culturale, piuttosto che solo la direzione.
2. Tipologizzazione dei Rischi di Governance: Fornire un framework per distinguere tra diversi modi di fallimento (es. cecità culturale vs sensibilità miscalibrata vs default rigidi), informando strategie di mitigazione mirate.
3. Leve a Livello di Modello vs Livello di Prompt: I risultati suggeriscono che i fattori a livello di modello (es. diversità dei dati di addestramento, architettura) sono leve più robuste per la calibrazione pluralistica rispetto al solo prompting in fase di inferenza. Sebbene gli esempi contrastivi aiutino, non possono compensare pienamente i modelli che mancano di un'intrinseca sensibilità transculturale.
4. Gate Pre-Deployment: Gli autori posizionano questo audit come un gate necessario per la governance di robot gestiti da LLM, sostenendo che senza tale valutazione pluralistica, il deployment di tali sistemi rischia di consolidare l'accesso diseguale e minare la legittimità procedurale in contesti globali.

Lo studio mantiene una posizione modesta, chiarendo che utilizza i dati MME come baseline descrittiva delle tendenze della popolazione piuttosto che come prescrizione normativa per il comportamento dei robot. Non pretende di risolvere l'allineamento morale, ma piuttosto di rendere visibili e tipizzate le rischi di disallineamento per l'adjudicazione a valle.