Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails
Cet article audite les filtres de pré-entraînement et les garde-fous lors de l'inférence dans les modèles de langage, révélant qu'ils effacent de manière disproportionnée les mentions de groupes marginalisés par le biais d'une dépendance à des indices lexicaux simplistes tout en échouant à détecter les véritables discours de haine ou les informations privées, créant ainsi une forme d'injustice épistémique qui contredit le jugement humain.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous construisez une bibliothèque massive de livres pour apprendre à un robot super intelligent à parler et à comprendre le monde. Ce robot, appelé Modèle de Langage Étendu (LLM), doit lire des milliards de phrases provenant d'Internet pour apprendre.
Cependant, avant que le robot ne commence à lire, des humains installent des filtres (comme un bibliothécaire strict) pour jeter les « mauvais » livres. Ensuite, lorsque le robot commence à parler avec des gens, des humains installent des garde-fous (comme un inspecteur de sécurité) pour l'empêcher de dire quoi que ce soit d'« dangereux ».
Ce document est un audit — une enquête approfondie — pour voir comment ces bibliothécaires et ces inspecteurs de sécurité font leur travail. Les chercheurs ont découvert que, bien qu'ils essaient de garder le robot en sécurité, ils sont en train d'effacer accidentellement les voix des groupes marginalisés (comme les personnes transgenres, les femmes et les personnes d'Amérique centrale) et de remplacer le jugement humain par des règles rigides et souvent erronées.
Voici une décomposition de leurs conclusions en utilisant des analogies simples :
1. Le piège du « mot banni »
Les chercheurs ont découvert que beaucoup de ces systèmes de sécurité fonctionnent comme la « liste des méchants » d'un enfant.
- Comment ça marche : Si une phrase contient un mot spécifique « mauvais » (comme un gros mot ou un terme sexuel), le système la supprime immédiatement, sans regarder le contexte.
- Le problème : C'est comme si un bibliothécaire jetait un livre sur une procédure médicale simplement parce qu'il mentionne une partie du corps, ou supprimait un récit sur les droits des travailleuses du sexe parce qu'il utilise le mot « sexe ».
- Le résultat : Les systèmes sont très doués pour attraper les mots sur leur « liste des méchants », mais ils sont très mauvais pour repérer les véritables dommages, comme les fuites de données privées, le vol de droits d'auteur ou les véritables discours de haine qui n'utilent pas les mots spécifiques bannis.
2. Le filtre « surprotecteur »
L'étude a découvert que ces filtres sont surprotecteurs envers certains groupes spécifiques, agissant comme un videur qui se méfie de tous ceux qui portent un certain type de chapeau.
- Personnes transgenres : Les phrases mentionnant les identités transgenres étaient signalées pour suppression beaucoup plus souvent que les phrases sur les personnes cisgenres (non-trans).
- Femmes : Les mentions de femmes étaient signalées significativement plus souvent que les mentions d'hommes.
- Centraméricains : Le contenu mentionnant des personnes d'Amérique centrale était presque toujours signalé pour suppression, tandis que le contenu sur les personnes d'Europe occidentale était rarement touché.
- L'analogie : Imaginez un garde de sécurité dans un musée qui laisse entrer tout le monde, sauf les personnes venant d'un quartier spécifique. Le garde n'essaie pas d'être méchant ; il suit simplement une règle erronée qui suppose que les gens de ce quartier sont « risqués ». Cela signifie que le musée (l'IA) n'apprendra jamais la culture de ce quartier.
3. Le Robot contre l'Humain
Les chercheurs ont demandé à des volontaires humains d'examiner les phrases que les robots ont signalées et de décider : « Est-ce que cela doit rester ou partir ? »
- La statistique choquante : Les humains ont dit « Gardez-le » 8 8,5 % du temps pour les phrases que les filtres de pré-entraînement voulaient supprimer, et 91,3 % du temps pour les phrases que les garde-fous voulaient bloquer.
- L'analogie : C'est comme un chef robot qui goûte une soupe, décide qu'elle est « empoisonnée » parce qu'elle contient une herbe spécifique, et jette toute la marmite. Un chef humain goûte la soupe, réalise que c'est juste une soupe épicée, et dit : « Non, c'est délicieux et sûr à manger. »
- Le conflit : Les systèmes automatisés suppriment du contenu que les humains jugent réellement précieux, éducatif ou inoffensif. En supprimant ces phrases, l'IA perd sa capacité à comprendre ces groupes et leurs expériences.
4. L'« Effacement Silencieux »
Le document appelle cela l'« Effacement Épistémique ».
- Ce que cela signifie : « Épistémique » se rapporte à la connaissance. « Effacement » signifie l'action de supprimer ou d'effacer.
- La métaphore : Imaginez une carte du monde où l'IA est en train de dessiner les continents. Parce que les filtres suppriment constamment les phrases sur les personnes transgenres ou les Centraméricains, la carte de l'IA finit par présenter des zones blanches vides là où ces groupes devraient se trouver. L'IA ne « sait » littéralement pas qu'ils existent ou comment sont leurs vies parce que les données ont été nettoyées avant qu'elle puisse apprendre.
Résumé des affirmations du document
- Les systèmes ne sont pas d'accord : Les différents filtres et garde-fous sont souvent en désaccord entre eux. Certains attrapent des choses que d'autres ratent, et ils dépendent fortement de listes de mots simples plutôt que de comprendre le contexte.
- Le biais est systémique : Ce n'est pas seulement un bug ; c'est un modèle. Les systèmes de différentes entreprises et de différents continents semblent tous signaler de manière excessive les mêmes groupes marginalisés.
- Le jugement humain est différent : Les humains considèrent généralement ces phrases comme sûres ou importantes, tandis que les machines les voient comme dangereuses.
- La conséquence : En comptant sur ces systèmes automatisés, nous façonnons activement l'IA pour qu'elle soit aveugle aux réalités des personnes transgenres, des femmes et des personnes de régions spécifiques, les réduisant ainsi au silence dans le monde numérique.
Le document conclut que pour corriger cela, nous ne pouvons pas simplement compter sur des « listes de méchants » automatisées. Nous devons impliquer les personnes concernées dans le processus de décision et créer des systèmes qui comprennent le contexte plutôt que de simplement compter les mots interdits.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.