💬 NLP

SHARP: Social Harm Analysis via Risk Profiles for Measuring Inequities in Large Language Models

Cet article présente SHARP, un cadre d'évaluation multidimensionnel et sensible à la distribution qui dépasse les moyennes scalaires pour mesurer le préjudice social dans les grands modèles de langage en utilisant des profils de risque et des métriques sensibles aux queues de distribution comme la CVaR, révélant ainsi des inégalités cachées significatives et des défaillances extrêmes que les tests de référence traditionnels occultent.

Auteurs originaux : Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

Publié 2026-01-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alok Abhishek, Tushar Bandopadhyay, Lisa Erickson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le problème central : Pourquoi les scores « moyens » mentent

Imaginez que vous achetiez une voiture. Le vendeur vous dit : « Cette voiture a une vitesse moyenne de 100 km/h. » Cela semble génial, n'est-ce pas ?

Mais et si cette « moyenne » cachait un secret ? Et si la voiture roulait habituellement à 15 km/h, mais que, de temps en temps, sans raison, elle accélérait soudainement à 300 km/h et s'écrasait ? La moyenne est toujours de 100, mais le pire scénario possible est terrifiant.

C'est exactement ce que l'article soutient qu'il se passe avec les grands modèles de langage (LLM). Les tests actuels regardent principalement la performance « moyenne » de l'IA. Ils attribuent un chiffre unique (un score scalaire) pour dire à quel point une IA est « sûre » ou « équitable ». Les auteurs affirment que cela est dangereux car cela cache les échecs rares et graves qui pourraient causer de réels dommages dans des situations à enjeux élevés comme le recrutement, la santé ou la justice.

La solution : SHARP (La « prévision météo » pour l'IA)

Les auteurs introduisent un nouveau cadre appelé SHARP. Au lieu de demander : « Comment cette IA se comporte-t-elle en moyenne ? », SHARP demande : « Quel est le pire que cette IA puisse faire, et à quelle fréquence cela arrive-t-il ? »

Considérez SHARP non pas comme un bulletin de notes avec une seule note, mais comme une prévision météo pour une tempête.

L'ancienne méthode : « La vitesse moyenne du vent aujourd'hui est de 15 km/h. » (Sûr, ennuyeux, rate l'ouragan).
La méthode SHARP : « Bien que la moyenne soit de 15 km/h, il y a 5 % de chances d'avoir une rafale de 150 km/h qui pourrait déraciner des arbres. »

Comment fonctionne SHARP : Les quatre « zones de danger »

L'article divise le concept de « préjudice » en quatre catégories spécifiques, comme quatre capteurs différents sur un vaisseau spatial :

Biais : L'IA fait-elle preuve de préjugés contre certains groupes ?
Équité : Traite-t-elle les gens de manière inégale dans ses réponses ?
Éthique : Dit-elle des choses qui sont moralement mauvaises ?
Fiabilité épistémique : Ment-elle ou invente-t-elle des choses (hallucine-t-elle) ?

Au lieu de tout mélanger dans un seul grand chiffre de « sécurité », SHARP mesure chacun de ces points séparément. C'est comme vérifier le moteur, les freins et les pneus séparément, plutôt que de simplement dire « la voiture est bonne à 80 % ».

La recette secrète : Regarder la « queue »

La partie la plus importante de SHARP est une métrique appelée CVaR95 (Valeur conditionnelle à risque à 95 %).

L'analogie : Imaginez une file de 100 personnes.
- Risque moyen : Vous regardez la taille de tout le monde et trouvez la moyenne.
- SHARP (CVaR95) : Vous ignorez les 95 premières personnes. Vous ne regardez que les 5 personnes les plus grandes (la « queue » de la distribution). Ensuite, vous calculez la taille moyenne de ces 5 personnes uniquement.

Pourquoi ? Parce que dans l'IA à enjeux élevés, les « 5 plus grands » (les 5 % de réponses les plus mauvaises) sont ceux qui causent des catastrophes. Si une IA est généralement polie mais qu'elle profère occasionnellement des discours de haine, la « moyenne » semble correcte, mais la « queue » semble dangereuse. SHARP se concentre entièrement sur cette queue dangereuse.

Ce qu'ils ont découvert : Les dangers « cachés »

Les auteurs ont testé 11 des modèles d'IA les plus intelligents disponibles. Voici ce que SHARP a révélé, là où les anciens tests ont échoué :

L'illusion des « jumeaux » : Deux modèles d'IA peuvent avoir exactement le même score de sécurité « moyen ». Mais quand on regarde leurs 5 % de pires réponses, l'un peut être légèrement risqué, tandis que l'autre est trois à quatre fois pire. Ils semblent identiques sur un bulletin de notes standard, mais ils sont très différents en cas de crise.
Des défauts différents : Certains modèles sont excellents pour être équitables mais terribles pour ne pas mentir (halluciner). D'autres sont excellents pour ne pas mentir mais terribles pour ne pas être biaisés. On ne peut pas simplement dire « Le Modèle A est meilleur que le Modèle B ». Il faut dire « Le Modèle A est plus sûr pour ce risque spécifique, mais le Modèle B est plus sûr pour celui-là ».
Le biais est le pire : Dans l'ensemble, la « queue » (les cas les plus graves) était le plus souvent causée par le Biais. Quand les choses tournaient vraiment mal, c'était généralement parce que l'IA faisait preuve de préjugés.

Conclusion : Arrêter de se fier aux moyennes

L'article conclut que nous devons cesser de traiter la sécurité de l'IA comme un simple problème mathématique avec une seule réponse.

L'ancienne méthode : « Cette IA est sûre à 90 %. » (Trop simple, cache le danger).
La méthode SHARP : « Cette IA est généralement sûre, mais dans les 5 % de cas les plus critiques, elle échoue lourdement sur le biais et les mensonges. »

En utilisant SHARP, les régulateurs et les entreprises peuvent prendre de meilleures décisions. Au lieu de choisir l'IA ayant le score « moyen » le plus élevé, ils peuvent choisir l'IA qui possède le pire scénario de crise le plus sûr. C'est la différence entre acheter une voiture en fonction de sa vitesse de pointe et l'acheter en fonction de l'efficacité de ses freins en cas d'urgence.

En bref : SHARP est un nouvel outil qui nous empêche d'être trompés par les « bonnes moyennes » et nous force à regarder les erreurs rares et effrayantes qui comptent réellement.

Résumé technique : SHARP – Analyse du préjudice social via des profils de risque

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines à enjeux élevés (ex. : santé, finance, justice pénale) où des défaillances rares mais graves peuvent causer des dommages irréversibles. Les bancs d'essai d'évaluation actuels reposent principalement sur des scores scalaires centrés sur la moyenne (ex. : précision moyenne, score de biais agrégé). L'article soutient que ces métriques sont insuffisantes car elles :

Obscurcissent la structure distributionnelle : Elles réduisent des comportements hétérogènes en estimations ponctuelles, masquant ainsi la variabilité des réponses des modèles.
Ignorent le comportement de queue (tail behavior) : Des modèles ayant des performances moyennes similaires peuvent présenter des comportements de pire cas (événements de queue supérieure) radicalement divergents, lesquels dominent le risque pratique dans les contextes à enjeux élevés.
Confondent les interactions cross-dimensionnelles : Elles ne parviennent pas à capturer comment différents modes de défaillance (biais, équité, éthique, fiabilité épistémique) interagissent et se cumulent.

Par conséquent, les pratiques d'évaluation prévalentes sont mal alignées avec les risques de déploiement, et les mécanismes de gouvernance peinent à traduire les principes de haut niveau en métriques auditables et sensibles au risque.

Méthodologie : Le cadre SHARP

Les auteurs introduisent SHARP (Social Harm Analysis via Risk Profiles), un cadre conçu pour une évaluation multidimensionnelle et sensible à la distribution du préjudice social. SHARP traite le préjudice non pas comme une quantité scalaire, mais comme une variable aléatoire multivariée sur une distribution de prompts fixe.

1. Protocole d'évaluation

Corpus : L'évaluation est menée sur un corpus fixe de $n=901$ prompts socialement sensibles dérivés du Bias Evaluation and Assessment Test Suite (BEATS) et du benchmark BBQ.
Jugement : Les réponses de 11 LLM de pointe sont évaluées par trois juges basés sur des LLM et anonymisés (Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1).
Agrégation : Les sorties des juges (indicateurs booléens et scores de sévérité ordinaux) sont normalisées sur l'intervalle $[0, 1]$ . Pour tenir compte du désaccord tout en mettant l'accent sur les évaluations sévères, les scores sont agrégés à l'aide d'un opérateur Log-Sum-Exp (LSE) avec un paramètre de température $\tau=0.20$ . Cela permet d'interpoler entre le regroupement par moyenne (mean pooling) et par maximum (max pooling), conservant ainsi la sensibilité aux évaluations de pire cas.

2. Décomposition dimensionnelle

SHARP décompose le préjudice social en quatre dimensions distinctes, chacune représentée par un sous-indice :

Biais (B) : Mesure l'étendue des catégories affectées, l'intensité du préjudice et les facteurs d'amplification (explicité, intersectionnalité).
Équité (F) : Capture les indices de traitement inéquitable au sein des réponses (disparité démographique, écarts d'égalité des chances, disparité de groupe).
Éthique (E) : Agrège les indicateurs de désalignement des valeurs (désalignement éthique, conflit de valeurs, risque de préjudice, insensibilité culturelle, risque d'exclusion).
Fiabilité Épistémique (K) : Mesure l'imprévisibilité (insécurité épistémique, risque épistémique).

3. Agrégation sensible au risque

Pour modéliser le préjudice cumulé, SHARP emploie une formulation d'union de défaillances inspirée de l'analyse de fiabilité.

Préjudice cumulé : La probabilité qu'un préjudice survienne à travers les dimensions est modélisée par $H = 1 - \prod (1 - h_i)$ .
Log-risque additif : Pour éviter la saturation proche de 1 et permettre la décomposabilité, SHARP reparamètre la sécurité résiduelle à l'aide d'une transformation logarithmique négative. Le log-risque cumulé $L$ est défini par :
$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$
Cela transforme les intensités de préjudice bornées en unités de risque non bornées, où les contributions additives des dimensions individuelles représentent la pression de risque cumulée.

4. Profilage distributionnel

Au lieu de rapporter un score moyen unique, SHARP caractérise la distribution empirique des valeurs de log-risque cumulé par prompt pour chaque modèle en utilisant :

Log-risque attendu ( $\mu_L$ ) : Tendance centrale.
Volatilité du risque ( $\sigma_L$ ) : Dispersion du risque à travers les prompts.
Valeur à Risque Conditionnelle ( $CVaR_{0.95}$ ) : La métrique principale, représentant le log-risque attendu parmi les 5 % de prompts les moins performants. Cela capture explicitement la sévérité de la queue de distribution.

Résultats clés

Le cadre a été appliqué à 11 LLM de pointe (incluant des systèmes propriétaires et à poids ouverts).

1. Divergence entre la moyenne et le risque de queue

Des modèles présentant des profils de risque moyen similaires ont montré des différences marquées dans leur comportement de queue.

Exemple : Claude Sonnet 4.5 a atteint un $CVaR_{0.95}$ de 1,69, tandis que DeepSeek-Chat et Mistral-Large ont atteint respectivement 5,73 et 5,99. Cela représente une augmentation de plus de trois fois du préjudice cumulé de pire cas malgré des valeurs de log-risque moyen relativement proches.
Signification : Les résumés basés sur la moyenne sous-estiment systématiquement les comportements extrêmes. LLaMA-3 405B a présenté un $CVaR_{0.95}$ plus de quatre fois supérieur à celui du modèle présentant le risque le plus bas.

2. Hétérogénéité dimensionnelle

Sévérités marginales de queue : Les préjudices liés au biais ont systématiquement présenté les sévérités de queue les plus fortes à travers les modèles. Les risques épistémiques et d'équité occupent des régimes intermédiaires, tandis que le désalignement éthique était systématiquement plus faible.
Attribution du préjudice cumulé : Les moteurs des défaillances cumulées de pire cas varient selon le modèle. Pour certains systèmes (ex. : Claude 3.5 Sonnet, GPT-4o), l'imprévisibilité épistémique est un contributeur majeur au risque de queue. Pour d'autres (ex. : modèles à poids ouverts à risque plus élevé), les mécanismes de biais dominent. Cela indique qu'aucune dimension ne conduit uniformément aux résultats de pire cas à travers tous les modèles.

3. Validation statistique

Stabilité : Les analyses par rééchantillonnage bootstrap et par exclusion d'un juge à la fois ont confirmé que les classements des modèles basés sur le $CVaR_{0.95}$ sont stables et robustes aux variations de la composition des juges et des paramètres d'agrégation.
Dépendance au prompt : La décomposition de la variance a révélé que l'identité du prompt explique une part plus importante de la variance totale (25,8 %) que l'identité du modèle (13,9 %), soulignant la nature sensible au contexte du préjudice social et la nécessité d'une analyse distributionnelle plutôt que d'estimations ponctuelles.

Signification et affirmations

L'article positionne SHARP comme une avancée méthodologique plutôt que comme une source de taux de préjudice réel calibrés.

Passage du scalaire au distributionnel : La contribution primaire est l'argument selon lequel le préjudice social ne peut être adéquatement caractérisé comme une quantité scalaire. Une évaluation efficace nécessite des méthodes qui modélisent explicitement la géométrie distributionnelle du préjudice et ses interactions cross-dimensionnelles.
Sélection contrainte par le risque : SHARP permet un passage d'un classement total par performance moyenne vers une sélection de modèles contrainte par le risque. En utilisant des seuils sensibles à la queue (ex. : $CVaR_{0.95}$ ), les parties prenantes peuvent exclure les modèles présentant une exposition de pire cas inacceptable, indépendamment de leur performance moyenne.
Atténuation ciblée : La décomposition dimensionnelle permet de diagnostiquer des modes de défaillance spécifiques (ex. : distinguer les risques de queue pilotés par le biais de ceux pilotés par l'épistémologie), favorisant des interventions ciblées plutôt qu'une remédiation uniforme.
Limites : Les auteurs précisent explicitement que SHARP ne fournit pas de garanties d'équité au niveau de la population ni de probabilités calibrées de préjudice réel. Le cadre évalue un comportement intrinsèque, en un seul tour, sous une distribution de prompts fixe, principalement en anglais. Un faible risque mesuré peut refléter un refus ou un évitement plutôt qu'une exécution de tâche sûre, et les résultats sont conditionnés par l'ensemble de juges choisi.

En résumé, SHARP fournit une base reproductible et sensible à la distribution pour une évaluation comparative axée sur la queue, démontant que l'évaluation significative du risque des LLM nécessite de dépasser les moyennes scalaires pour s'orienter vers un profilage multidimensionnel des comportements de pire cas.