💬 NLP

Do Large Language Models Reflect Demographic Pluralism in Safety?

Ce papier présente **Demo-SafetyBench**, un nouveau cadre visant à évaluer la pluralité démographique de la sécurité des grands modèles de langage en modélisant les variations des normes morales et culturelles directement au niveau des requêtes.

Auteurs originaux : Usman Naseem, Gautam Siddharth Kashyap, Sushant Kumar Ray, Rafiq Ali, Ebad Shabbir, Abdullah Mohammad

Publié 2026-02-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Usman Naseem, Gautam Siddharth Kashyap, Sushant Kumar Ray, Rafiq Ali, Ebad Shabbir, Abdullah Mohammad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le problème : Le "Juge Unique" et ses œillères culturelles

Imaginez que vous organisiez un grand concours de cuisine internationale. Pour juger les plats, vous ne recrutez que des chefs parisiens qui n'ont jamais quitté la France. Si un candidat présente un plat très épicé ou une recette traditionnelle d'Asie, les juges risquent de dire : "C'est trop fort, ce n'est pas de la vraie cuisine" ou "C'est bizarre, ce n'est pas conforme à nos standards".

Aujourd'hui, les intelligences artificielles (IA) fonctionnent un peu comme ces juges parisiens. Pour décider si une réponse est "dangereuse" ou "correcte", elles ont été entraînées sur des données qui reflètent surtout les valeurs d'un groupe très restreint de personnes (souvent occidentales). Le problème ? La sécurité et la morale ne sont pas les mêmes pour tout le monde. Ce qui est poli à New York peut être impoli à Tokyo ; ce qui est une plaisanterie à Londres peut être une insulte grave à Dubaï.

La solution : "Demo-SafetyBench", le miroir de la diversité

Les chercheurs ont créé un outil appelé Demo-SafetyBench. Au lieu de demander à l'IA : "Est-ce que cette phrase est dangereuse ?", ils lui posent la question en changeant le "décor" social.

C'est comme si, pour tester la patience d'un arbitre de football, on ne lui montrait pas seulement des fautes, mais on lui disait : "Imagine que le joueur est un adolescent de 15 ans dans une banlieue bruyante" ou "Imagine que c'est un homme d'affaires de 50 ans dans un bureau calme". On veut voir si l'arbitre change de jugement selon le contexte social de la personne.

Comment ont-ils fait ? (En deux étapes)

La Fabrique de Scénarios (Étape 1) : Ils ont pris des milliers de questions et les ont classées par thèmes (drogue, violence, politique, etc.). Pour les thèmes trop rares, ils ont utilisé une IA pour "inventer" de nouveaux scénarios, tout en s'assurant qu'ils respectent une diversité de profils (âge, origine, éducation, genre). C'est comme créer un immense catalogue de situations de la vie réelle.
Le Grand Test des Juges (Étape 2) : Ils ont ensuite soumis ce catalogue à plusieurs "juges IA" (comme GPT-4o ou Llama). Ils ont observé si ces juges changeaient d'avis selon le profil démographique décrit dans la question.

Ce qu'ils ont découvert : L'IA a encore des "préjugés invisibles"

Les résultats sont fascinants :

L'IA n'est pas neutre : Même les IA les plus intelligentes (comme GPT-4o) ne sont pas totalement aveugles aux différences sociales. Elles ont tendance à juger plus sévèrement certains profils et à être plus "tolérantes" avec d'autres. C'est comme si le juge, même très professionnel, avait un petit réflexe inconscient selon qui est devant lui.
La taille compte : Les "petites" IA (moins puissantes) sont beaucoup plus instables et ont des préjugés plus marqués. Les "grandes" IA sont plus cohérentes, mais elles ne sont pas encore parfaites.
Une bonne nouvelle pour l'efficacité : Les chercheurs ont prouvé qu'on n'a pas besoin de supercalculateurs géants et gourmands en énergie pour tester ces biais. Des modèles plus légers peuvent faire un travail très sérieux, ce qui est plus écologique et accessible.

En résumé

Cette étude nous dit que pour que l'IA soit vraiment "sûre" pour tout le monde sur la planète, elle ne doit pas seulement apprendre une règle universelle (qui est souvent la règle d'un seul groupe), mais elle doit apprendre à comprendre la diversité des points de vue humains.

Demo-SafetyBench est une boussole pour aider les ingénieurs à construire des IA qui ne sont pas seulement des "juges parisiens", mais des citoyens du monde capables de respecter la pluralité de notre humanité.

Résumé Technique : Demo-SafetyBench

1. Problématique (Le Problème)

La recherche actuelle sur la sécurité des grands modèles de langage (LLM) repose souvent sur des jeux de données d'alignement (comme ANTHROPIC-HH ou DICES) qui utilisent des groupes d'annotateurs démographiquement homogènes ou centrés sur l'Occident. Cela crée un biais où la notion de "sécurité" est traitée comme un concept monolithique et universel, alors qu'elle est intrinsèquement pluraliste. Ce qui est considéré comme dangereux ou inapproprié varie selon la culture, le genre, l'âge, l'ethnie et le niveau d'éducation. Les pipelines actuels risquent donc d'optimiser les modèles vers une "médiane morale" qui marginalise les perspectives minoritaires.

2. Méthodologie (La Solution : Demo-SafetyBench)

Les auteurs introduisent Demo-SafetyBench, un cadre en deux étapes qui découple le cadrage des valeurs (le prompt) de la réponse du modèle, afin d'isoler l'effet de la démographie sur la perception de la sécurité.

Étape I : Construction des données (Data Construction)
- Reclassification : À partir du jeu de données DICES, les auteurs utilisent Mistral-7B-Instruct-v0.3 pour reclasser les requêtes dans 14 domaines de sécurité (ex: discours de haine, automutilation, criminalité financière) en utilisant une approche multi-label.
- Expansion : Pour les domaines sous-représentés, ils utilisent Llama-3.1-8B-Instruct pour générer des requêtes synthétiques conditionnées par des métadonnées démographiques (genre, race, âge, éducation) afin de maintenir un équilibre représentatif.
- Dédoublonnage : L'utilisation de l'algorithme SimHash (avec un seuil de distance de Hamming $\tau=10$ ) permet d'éliminer la redondance tout en préservant la diversité sémantique.
Étape II : Évaluation (Benchmarking)
- LLM-as-Raters : Ils utilisent trois modèles (Gemma-7B, GPT-4o, et LLaMA-2-7B) comme juges pour évaluer la sécurité des prompts en mode zero-shot.
- Protocole : Chaque modèle reçoit un prompt accompagné de son contexte démographique et doit produire un verdict (sûr/non sûr) et un score de confiance numérique.
- Métriques : L'évaluation repose sur la sensibilité démographique (DS), la corrélation inter-juges (Kendall’s $\tau$ ), et les écarts d'équité (Demographic Parity Difference et Equalized Odds Difference).

3. Contributions Clés

Nouveau Benchmark : Création de Demo-SafetyBench, un corpus de 43 050 échantillons ancrés démographiquement sur 14 domaines de sécurité.
Approche par le Prompt : Une méthodologie innovante qui modélise le pluralisme au niveau du prompt plutôt que dans les réponses, évitant ainsi les biais de style ou de refus des modèles.
Cadre d'Évaluation Automatisé : Un pipeline scalable qui permet de mesurer systématiquement comment la variation démographique influence la perception du risque.

4. Résultats Principaux

Performance des modèles :
- GPT-4o est le modèle le plus stable et le plus fiable, affichant la plus faible sensibilité démographique ($DS = 0,119$) et la plus haute fiabilité interne ($ICC = 0,87$).
- LLaMA-2-7B et Gemma-7B montrent une plus grande divergence démographique, ce qui suggère que les modèles plus petits et moins alignés amplifient les variations de jugement selon les groupes.
Analyse Démographique : Les résultats montrent que la perception de la sécurité est systématiquement conditionnée par la démographie. Par exemple, les prompts liés aux profils masculins, blancs, plus âgés ou ayant un faible niveau d'éducation reçoivent des scores de risque plus élevés (jugements plus stricts).
Efficacité Computationnelle : L'étude démontre que l'évaluation peut être réalisée de manière rentable avec des modèles plus légers comme Gemma-7B, qui offrent des tendances pluralistes comparables à GPT-4o pour une fraction du coût énergétique et de la mémoire.

5. Signification (L'Impact)

Cette recherche démontre que la sécurité des LLM n'est pas une constante universelle mais une variable sociale. En prouvant que même les modèles les plus avancés (GPT-4o) conservent une sensibilité démographique résiduelle, l'article souligne l'urgence de développer des méthodes d'alignement qui ne cherchent pas une "vérité morale unique", mais qui intègrent et respectent la diversité des normes sociales mondiales.