Auditing LLM-Governed Social Robots with Culture-Specific Moral Gradients

Résumé Technique : Audit des robots sociaux gouvernés par des LLM avec des gradients moraux spécifiques à la culture

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont de plus en plus intégrés aux robots sociaux pour permettre une prise de décision quasi autonome dans des environnements aux ressources limitées, comme la priorisation de l'assistance destinée à recevoir une aide rare en premier. Bien que les normes de priorisation morale varient considérablement d'une culture à l'autre selon l'âge, le statut et la taille du groupe, les audits moraux actuels des LLM restent principalement centrés sur l'anglais et ne parviennent pas à tester les contextes incarnés. Cela crée un fossé diagnostique : sans un étalonnage pluraliste, les robots gouvernés par des LLM risquent d'imposer des défauts uniformes qui se transforment en accès inégaux et nuisent au bien-être des utilisateurs dans des contextes culturels diversifiés. Les cadres d'évaluation existants traitent souvent le pluralisme culturel comme une préoccupation secondaire ou s'appuient sur des références occidento-centrées, laissant les risques de gouvernance spécifiques aux politiques d'allocation des robots gérés par LLM inexplorés.

Méthodologie
Les auteurs introduisent un cadre d'audit basé sur des gradients, conçu pour évaluer le comportement de compromis moral des LLM par rapport à des gradients de préférences spécifiques à la culture. La méthodologie se déroule en deux phases :

1. Construction de scénarios et ancrage :

   • Base de preuves : L'étude dérive des scénarios à partir de neuf revues systématiques de la littérature couvrant plus de 8 000 études en robotique sociale, identifiant trois domaines à enjeux élevés : les Soins (santé/domicile), l'Éducation et les Services Publics.
   • Adaptation des dilemmes : Le cadre adapte l'expérience « Moral Machine » (MME), transformant ses dilemmes fatals de « qui épargner » en scénarios d'allocation non fatals de « qui assister en premier ». Trois axes centraux sont préservés : Nombreux vs Peu (MF), Jeune vs Vieux (YO), et Statut Supérieur vs Inférieur (HL).
   • Référentiels culturels : L'audit compare les décisions des LLM aux scores MME, qui sont des effets marginaux moyens (AMCE) normalisés min-max dérivés de 117 pays. Ces scores servent de base descriptive pour la force des préférences inter-pays, et non de vérité normative.
   • Configuration expérimentale : L'étude audite quatre LLM (GPT-4o, DeepSeek R1, Mistral Large, Gemini 2.0 Flash Lite) à travers quatre paires pays-langue (USA-Anglais, Chine-Chinois, Japon-Japonais, Mexique-Espagnol).
   • Régimes de prompting : Quatre stratégies de prompting sont testées : PLAIN (sans contexte), Étalonnage Culturel (CC, contexte de déploiement uniquement), Zero-Shot Chain-of-Thought (ZSCoT), et Few-Shot Chain-of-Thought (FSCoT, ajoutant des exemples culturels contrastifs).
   • Échelle : L'expérience génère 57 600 décisions (100 échantillons par condition à travers 144 conditions de prompt).

2. Métriques d'évaluation (Analyse à deux niveaux) :

   • Niveau 1 (Concordance de gradient) : Utilise le $\tau$ de Kendall et le $\rho$ de Spearman pour tester si les LLM différencient les pays selon un ordre cohérent avec les gradients de préférence documentés de la MME.
   • Niveau 2 (Typologie de gouvernance) : Analyse les cellules individuelles pour caractériser les modes de défaillance selon trois dimensions :
     • Différenciation : Le modèle suit-il les gradients, les efface-t-il ou les inverse-t-il ?
     • Direction : La sortie favorise-t-elle l'option préférée par la majorité (territoire A) ou l'opposée (territoire B) ?
     • Délibération : La sortie est-elle variable ou déterministe (effondrement vers une règle fixe) ?
   • Ces dimensions se combinent en une typologie de gouvernance à sept compartiments allant de « Calibré » (le meilleur) à « Rigidité de non-suivi » (le pire).

Résultats clés

• Échec général de différenciation : Les LLM échouent largement à différencier les contextes culturels dans les compromis moraux. La concordance globale des gradients à travers 864 comparaisons de paires de pays est proche de zéro ($\tau = +0,086$).
• Asymétrie culturelle : L'étalonnage de la qualité est presque deux fois plus fort pour les décisions en langues occidentales (anglais/espagnol) que pour le chinois et le japonais. Les conditions non occidentales font face à des risques de mauvaise calibration disproportionnés.
• Variabilité des modèles :
  • Mistral Large apparaît comme un outsider significatif, montrant une concordance notable ($\tau = +0,315$) et les taux les plus bas d'effacement de gradient et de rigidité déterministe.
  • GPT-4o présente les taux les plus élevés d'« Effacement de Gradient » (52,1 %), produisant des sorties identiques quel que soit le contexte culturel, particulièrement dans les scénarios « Nombreux vs Peu ».
  • DeepSeek R1 montre la plus grande instabilité, avec une concordance négative et des postures d'allocation contradictoires selon les langues.
• Effets du prompting : Le prompting seul est insuffisant pour corriger de manière fiable les écarts culturels.
  • FSCoT (Few-Shot Chain-of-Thought avec exemples contrastifs) produit les gains les plus cohérents en matière de suivi de gradient, particulièrement pour les langues non occidentales.
  • ZSCoT (Zero-Shot Chain-of-Thought) réduit le déterminisme mais aggrave souvent le suivi du gradient, suggérant que la capacité de raisonnement sans ancrage culturel peut mener à un mauvais ordonnancement.
• Modes de défaillance :
  • Effacement de Gradient : Commun dans les dilemmes « Nombreux vs Peu », où les modèles appliquent un défaut utilitariste rigide indépendamment de la nuance culturelle.
  • Inversion de Gradient : Les modèles différencient mais dans le mauvais ordre, ou appliquent des règles morales opposées selon le domaine (ex: favoriser le statut inférieur dans les Soins mais le statut supérieur dans les Services).
  • Déterminisme : Plus de 50 % des cellules produisent des sorties entièrement déterministes, indiquant un effondrement de l'incertitude morale et de la sensibilité au contexte.

Signification et revendications
L'article affirme contribuer à un instrument d'audit multilingue et ancré dans le domaine qui rend la posture culturelle des LLM lisible et mesurable avant le déploiement. Sa principale importance réside dans :

1. Déplacement de l'objet de l'audit : Passer de la simple détection de biais à l'évaluation du suivi de gradient — si les modèles modulent la force de leurs préférences selon le contexte culturel, plutôt que de simplement la direction.
2. Typologisation des risques de gouvernance : Fournir un cadre pour distinguer les différents modes de défaillance (ex: aveuglement culturel vs sensibilité mal calibrée vs défauts rigides), ce qui informe les stratégies de mitigation ciblées.
3. Leviers au niveau du modèle vs au niveau du prompt : Les résultats suggèrent que les facteurs au niveau du modèle (ex: diversité des données d'entraînement, architecture) sont des leviers plus robustes pour l'étalonnage pluraliste que le prompting au moment de l'inférence seul. Bien que les exemples contrastifs aident, ils ne peuvent compenser pleinement les modèles qui manquent d'une sensibilité transculturelle inhérente.
4. Porte d'entrée pré-déploiement : Les auteurs positionnent cet audit comme une étape de contrôle nécessaire pour la gouvernance des robots dotés de LLM, arguant que sans une telle évaluation pluraliste, le déploiement de ces systèmes risque d'ancrer des accès inégaux et de saper la légitimité procédurale dans un contexte mondial.

L'étude maintient une position modeste, précisant qu'elle utilise les données de la MME comme une base descriptive des tendances de population plutôt que comme une prescription normative pour le comportement des robots. Elle ne prétend pas résoudre l'alignement moral, mais cherche plutôt à rendre visibles et typologisés les risques de désalignement pour l'adjudication en aval.