Résumé Technique : Équité des Explications dans les Modèles de Langage de Grande Taille

1. Énoncé du Problème

Bien qu'une recherche extensive existe sur l'équité au niveau des décisions dans les Modèles de Langage de Grande Taille (LLM) — se concentrant sur la corrélation entre les attributs protégés et les résultats défavorables — il existe une lacune critique concernant l'équité des explications. Ce papier définit l'équité des explications comme la variation systématique de la qualité, de la profondeur, du ton et de la sophistication linguistique des justifications fournies par les LLM à travers différents groupes démographiques, même lorsque la décision sous-jacente est identique.

Les auteurs soutiennent qu'un modèle peut produire des décisions équilibrées tout en les expliquant de manière inégale (par exemple, offrir des justifications élaborées et respectueuses à un groupe et des justifications brèves et dédaigneuses à un autre). Cette disparité se distingue de l'équité décisionnelle et présente une urgence réglementaire significative, notamment à la lumière de la Loi européenne sur l'IA (Article 13), qui mandate que les systèmes d'IA à haut risque fournissent des justifications transparentes suffisantes pour permettre aux individus de comprendre et de contester les décisions. Si la qualité de l'explication est systématiquement inférieure pour les groupes minoritaires, la conformité au « droit à l'explication » est compromise.

2. Méthodologie

2.1 Conception Expérimentale

L'étude emploie une conception empirique contrôlée utilisant la substitution de noms au sein de modèles de prompts, une méthodologie standard dans la recherche d'audit de style correspondance.

• Domaines : Quatre domaines décisionnels conséquents ont été sélectionnés : Recrutement, Triage Médical, Évaluation du Crédit et Jugement Juridique.
• Modèles : 80 modèles de prompts ont été construits (20 par domaine). Dans chaque paire, le contenu du scénario (qualifications, circonstances, résultat de la décision) est maintenu constant, tandis que l'attribut démographique (nom) est varié pour représenter différents groupes (Genre, Race, Âge, Religion et Identités intersectionnelles).
• Modèles : Cinq LLM ont été évalués : GPT-4.1, Claude Sonnet, LLaMA 3.3 70B, GPT-OSS 120B et Qwen3 32B.
• Volume de Données : Jusqu'à 400 paires de prompts ont été évaluées sur tous les modèles. Pour la métrique d'Explication Liée à la Décision, une explication contrastive a été sollicitée pour chaque prompt (justifiant la décision opposée dans le même scénario) afin de calculer des proxies de fidélité.

2.2 La Taxonomie de l'Équité des Explications (EFT)

Le papier introduit la Taxonomie de l'Équité des Explications (EFT), un cadre pragmatique comprenant cinq dimensions formellement définies et opérationnalisables. Ces dimensions sont mesurables via des métriques boîte noire sans accès aux internals du modèle :

1. Disparité de Verbosité : Mesurée par le nombre de mots et la profondeur d'élaboration (nombre de raisons sémantiquement distinctes identifiées via le clustering d'embeddings de phrases).
2. Disparité de Sentiment : Mesurée par le score composé VADER pour évaluer la valence émotionnelle (positive, négative, neutre).
3. Disparité de Prudence Épistémique : Mesurée par le Score de Densité de Prudence (HDS), une métrique pondérée basée sur un lexique quantifiant la fréquence des marqueurs d'incertitude (par exemple, « pourrait », « possiblement », « incertain »).
4. Disparité d'Explication Liée à la Décision : Mesurée par le Proxy de Fidélité de l'Explication (EFP). Cet heuristique calcule la dissimilarité structurelle (via la distance cosinus des embeddings) entre une explication pour une décision ($d$) et une explication pour la décision opposée ($\neg d$) dans le même scénario. Un EFP plus bas indique que l'explication est invariante à la décision, suggérant un manque de raisonnement authentique.
5. Disparité de Complexité Lexicale : Mesurée par le Niveau Scolaire Flesch-Kincaid (FKGL), le Ratio Type-Token (TTR) et la densité des termes de domaine.

2.3 Analyse Statistique

Les disparités ont été quantifiées en utilisant les différences absolues entre les paires démographiques. La signification statistique a été testée à l'aide du test des rangs signés de Wilcoxon pour un échantillon, avec des tailles d'effet calculées via le $d$ de Cohen. Les comparaisons multiples ont été corrigées en utilisant la procédure de Benjamini-Hochberg (BH).

3. Contributions Clés

1. Taxonomie Opérationnelle : La définition de l'EFT, fournissant cinq dimensions distinctes et mesurables de disparité au niveau des explications.
2. Métriques Nouvelles : L'introduction du HDS et de l'EFP en tant qu'heuristiques pratiques et boîte noire pour auditer l'équité des explications sans nécessiter les poids du modèle ou un accès interne.
3. Référentiel Empirique : Une étude à grande échelle sur 80 modèles de prompts, 4 domaines et 5 LLM, avec des résultats montrant des disparités systématiques sur toutes les métriques.
4. Analyse d'Atténuation : Une évaluation de deux interventions de prompting (instructions « Aveugle » et « Équité ») sur les modèles à plus forte disparité pour déterminer si des instructions au niveau du déploiement peuvent résoudre ces problèmes.

4. Résultats Clés

4.1 Existence de Disparités (RQ1)

Toutes les huit métriques de l'EFT (y compris les sous-métriques de complexité lexicale) ont montré des disparités statistiquement significatives sur toutes les paires de prompts ($p_{BH} < 10^{-62}$). Les tailles d'effet (Cohen's $d$) variaient de faibles à fortes :

• Effets Forts : Complexité Lexicale (FKGL, $d=0,856$) et Prudence Épistémique (HDS, $d=0,810$).
• Effets Moyens : Profondeur d'élaboration, Sentiment, TTR, Densité de Domaine et EFP ($d \approx 0,57–0,77$).
• Effets Faibles : Verbosité (Nombre de mots, $d=0,457$).
  La distribution des disparités était asymétrique à droite, ce qui signifie que bien que les disparités moyennes soient modérées, des appariements démographiques spécifiques ont présenté une inégalité extrême.

4.2 Axes Démographiques (RQ2)

Les disparités variaient selon l'axe démographique mais ne suivaient pas un schéma unique uniforme de préjudice :

• Religion : A montré la disparité moyenne la plus élevée ($d=0,822$), particulièrement dans la profondeur d'élaboration et la complexité lexicale, bien que la taille de l'échantillon pour cet axe soit faible ($n=40$).
• Directionnalité : La direction de la disparité n'était pas uniforme. Par exemple, les candidats portant des noms musulmans ont reçu des explications significativement plus courtes et moins élaborées que les candidats portant des noms chrétiens. Inversement, les candidates ont reçu des explications plus longues et plus élaborées que les candidats masculins, bien que cela ne soit pas corrélé à un sentiment plus positif.

4.3 Variance des Modèles (RQ3)

Le choix du modèle était fortement associé à l'ampleur de la disparité :

• Qwen3 32B a présenté les disparités les plus élevées, avec des disparités de verbosité 5,9 fois plus grandes que celles de LLaMA 3.3 70B. Il produisait fréquemment des sorties minimalistes pour un groupe démographique tout en générant des réponses détaillées pour un autre dans des scénarios identiques.
• GPT-OSS 120B a montré la disparité la plus élevée dans le proxy EFP, en particulier dans le domaine juridique, suggérant que ses explications étaient moins sensibles aux changements de décision pour certains groupes.
• GPT-4.1 et LLaMA 3.3 70B étaient les modèles les plus équitables, se classant 4e et 5e, bien qu'ils aient encore présenté des disparités statistiquement significatives.

4.4 Atténuation par le Prompting (RQ4)

Deux interventions de prompting (« Aveugle » et « Équité ») ont été testées sur Qwen3 32B et GPT-OSS 120B :

• Proxy EFP : Les deux interventions ont entraîné des réductions significatives (78–95 %) de la disparité EFP. Cependant, les auteurs notent que cela est ambigu ; cela pourrait indiquer une sensibilité plus cohérente à la décision ou simplement des explications uniformément génériques.
• Dimensions Stylistiques : Aucune intervention n'a produit de réductions significatives de la verbosité, du sentiment, de la prudence ou de la complexité lexicale. Dans certains cas, les disparités ont augmenté (bien que de manière non significative).
• Conclusion : Le prompting seul est insuffisant pour résoudre les inégalités stylistiques dans les explications.

5. Signification et Revendications

Le papier revendique que l'équité des explications est une dimension distincte, mesurable et juridiquement conséquente de la sécurité de l'IA, séparée de l'équité décisionnelle.

• Implications Réglementaires : Les résultats suggèrent que les organisations peuvent satisfaire la « lettre » de la Loi européenne sur l'IA (fournir une explication) tout en échouant à son « esprit » (fournir une explication de qualité et d'accessibilité égales). L'EFT offre un cadre d'audit reproductible et boîte noire pour détecter ces asymétries avant la fenêtre d'application de 2026.
• Conseils de Déploiement : L'étude identifie la sélection de modèles comme l'intervention à levier le plus élevé. Les praticiens sont avisés que des stratégies de prompting simples ne peuvent pas résoudre les disparités stylistiques ; au contraire, la résolution de ces écarts nécessite probablement des interventions au niveau de l'entraînement (par exemple, des données contrastivement équilibrées ou un fine-tuning ciblé).
• Limites : Les auteurs déclarent explicitement que l'EFP est un proxy heuristique nécessitant une validation humaine, que l'étude repose sur des métriques automatisées sans vérité terrain notée par des humains, et que la conception de substitution de noms capture des signaux corrélés plutôt qu'une attribution causale à des attributs démographiques spécifiques.

En résumé, le papier établit que les LLM justifient systématiquement les décisions différemment en fonction du cadrage démographique, que ces disparités sont robustes à travers les modèles et les domaines, et qu'elles ne peuvent pas être facilement corrigées par le prompting au niveau du déploiement, nécessitant un changement vers une remédiation au niveau de l'entraînement et un audit automatisé rigoureux.