Bias in Large Language Models: Origin, Evaluation, and Mitigation

La Vue d'Ensemble : Le « Super-Lecteur » avec un Angle Mort

Imaginez un modèle de langage de grande taille (LLM) comme un étudiant ultra-avancé qui a lu presque tous les livres, sites web et publications sur les réseaux sociaux jamais écrits. Cet étudiant est incroyablement intelligent et peut rédiger des essais, répondre à des questions et traduire des langues mieux que presque n'importe qui.

Cependant, parce que cet étudiant a appris de tout ce que les humains ont écrit, il a également appris tous nos préjugés, stéréotypes et habitudes injustes. Tout comme un enfant qui grandit dans un quartier où tout le monde croit qu'un certain groupe de personnes est mauvais en mathématiques, l'étudiant pourrait commencer à le croire aussi, même si ce n'est pas vrai.

Ce document est un guide massif qui pose trois questions principales :

1. D'où viennent ces mauvaises habitudes ? (Origines)
2. Comment attraper l'étudiant en train de tricher ? (Évaluation)
3. Comment lui apprendre à être juste ? (Atténuation)

---

Partie 1 : D'où viennent les mauvaises habitudes (Origines)

Les auteurs divisent les « mauvaises habitudes » (biais) en deux types : Intrinsèques et Extrinsèques.

1. Biais Intrinsèque : La « Mémoire Interne »

Pensez-y comme au dictionnaire interne et à la vision du monde de l'étudiant, formés pendant ses études.

• Les Données d'Entraînement (Les Manuels) : L'étudiant a lu des livres où les « médecins » étaient presque toujours des hommes et les « infirmières » presque toujours des femmes. Ainsi, dans sa mémoire interne, il associe « médecin » à « homme » et « infirmière » à « femme ». C'est un biais de données.
• La Méthode de Collecte (La Bibliothèque) : Imaginez que l'étudiant n'est allé qu'à des bibliothèques dans un pays spécifique. Il penserait que les fêtes de ce pays sont les seules fêtes au monde. C'est un biais spatial/temporel.
• Les Outils (Le Stylo et le Papier) : Même la façon dont l'étudiant découpe les mots en morceaux (tokenisation) peut être injuste. Si le « stylo » de l'étudiant décompose les noms de groupes minoritaires en fragments minuscules et confus, mais garde les noms courants intacts, il ne peut pas comprendre les noms minoritaires aussi bien. C'est un biais de tokenisation.

2. Biais Extrinsèque : La « Mauvaise Performance »

C'est lorsque l'étudiant agit selon ses mauvaises habitudes lors d'un test ou d'un travail spécifique.

• Compréhension des Tâches (NLU) : Si vous demandez « Qui est le médecin ? » et que le texte dit « Le médecin est arrivé », l'étudiant pourrait deviner « Il » même si le texte ne précise pas le genre, car sa mémoire interne est biaisée.
• Tâches de Génération (NLG) : Si vous demandez à l'étudiant d'écrire une histoire sur un dirigeant, il pourrait automatiquement faire de ce dirigeant un homme et de l'infirmière une femme, même si vous ne l'avez pas demandé.
• Le Résultat : L'étudiant pourrait recommander un emploi à un homme plutôt qu'à une femme, ou traduire une phrase d'une manière qui insulte une culture, simplement parce qu'il répète des modèles qu'il a vus dans ses données d'entraînement.

---

Partie 2 : Comment attraper la triche (Évaluation)

Comment savons-nous si l'étudiant est biaisé ? Le document suggère de le vérifier à trois niveaux différents, comme un professeur notant un élève.

1. Vérification au Niveau des Données (Vérifier les Manuels) :
   • Avant même que l'étudiant ne commence, nous examinons les livres qu'il lit. Y a-t-il trop de livres sur les hommes et trop peu sur les femmes ? Y a-t-il trop de livres venant des États-Unis et aucun d'Afrique ? Nous utilisons les mathématiques pour compter la fréquence d'apparition de différents groupes.
2. Vérification au Niveau du Modèle (Vérifier le Cerveau) :
   • Nous sondons le cerveau de l'étudiant pour voir comment il relie les idées. Si nous demandons « Une infirmière est-elle un homme ? » et que le cerveau de l'étudiant s'illumine avec « Non », mais que si nous demandons « Un médecin est-il un homme ? » il s'illumine avec « Oui », nous savons qu'il y a un biais caché dans ses connexions. Nous utilisons des outils comme les Contrefactuels (changer un nom de « John » à « Jane » et voir si la réponse change).
3. Vérification au Niveau de la Sortie (Noter les Devoirs) :
   • Nous examinons les réponses réelles que l'étudiant donne. Utilise-t-il des mots méchants pour certains groupes ? Donne-t-il des conseils différents à différentes personnes ? Nous utilisons également des Examinateurs Humains (de vraies personnes) pour lire les réponses et dire : « Hé, cela semble injuste. »

---

Partie 3 : Comment corriger les mauvaises habitudes (Atténuation)

Le document suggère trois façons de « débiaiser » l'étudiant, selon quand vous intervenez.

1. Débiaisage Pré-Modèle (Nettoyer les Manuels)

• L'Idée : Avant que l'étudiant ne commence à étudier, nous nettoyons la bibliothèque.
• Comment : Nous ajoutons plus de livres sur les groupes sous-représentés (suréchantillonnage) ou retirons les livres vraiment haineux. Nous pourrions même réécrire des phrases pour échanger les genres (par exemple, changer « Le médecin est lui » en « Le médecin est elle ») afin que l'étudiant apprenne les deux options.
• Avantages/Inconvénients : C'est peu coûteux et facile à démarrer, mais vous ne pouvez pas tout réparer simplement en nettoyant les livres. Certaines mauvaises habitudes sont déjà intégrées dans la structure du cerveau de l'étudiant.

2. Débiaisage Intra-Modèle (Recâbler le Cerveau)

• L'Idée : Pendant que l'étudiant étudie, nous le forçons à apprendre différemment.
• Comment : Nous changeons les règles du jeu. Si l'étudiant essaie d'associer « infirmière » à « femme », nous lui donnons un « score de pénalité » (une fonction de perte) pour qu'il apprenne à arrêter de le faire. Nous pourrions également « élaguer » (couper) les parties spécifiques de son cerveau qui contiennent ces mauvaises connexions.
• Avantages/Inconvénients : C'est très efficace pour corriger la cause racine, mais c'est coûteux et difficile. C'est comme essayer de recâbler un ordinateur pendant qu'il fonctionne.

3. Débiaisage Post-Modèle (Éditer les Devoirs)

• L'Idée : Laissez l'étudiant écrire la réponse, mais nous la modifions avant de la montrer au monde.
• Comment : Si l'étudiant écrit une phrase biaisée, nous utilisons un filtre pour changer les mots. Ou, nous utilisons une astuce de « prompting causal » où nous demandons à l'étudiant de réfléchir au problème d'une manière spécifique qui l'oblige à ignorer les stéréotypes.
• Avantages/Inconvénients : C'est rapide et ne nécessite pas de réentraîner l'étudiant. Cependant, c'est comme mettre un pansement sur une plaie ; cela soigne le symptôme mais ne guérit pas la maladie.

---

Partie 4 : Pourquoi cela compte (Éthique et Loi)

Le document met en garde contre le fait que ces biais ne sont pas seulement ennuyeux ; ils sont dangereux.

• Préjudices Représentationnels : L'étudiant pourrait dire « Les musulmans sont violents » ou « Les femmes ne sont pas des dirigeants ». Cela blesse les sentiments des gens et renforce les stéréotypes négatifs dans la société.
• Préjudices Allocationnels : C'est là que les gens perdent de réelles opportunités dans le monde réel. Si un étudiant biaisé aide une entreprise à embaucher du personnel, il pourrait rejeter le CV d'une femme qualifiée. Si un étudiant biaisé aide un hôpital à diagnostiquer des patients, il pourrait manquer une maladie dans un groupe minoritaire.

Le document note que les lois commencent à rattraper le retard. Dans des endroits comme New York et l'Union européenne, les entreprises sont désormais tenues d'auditer leurs outils d'IA pour s'assurer qu'elles ne discriminent pas les personnes en fonction de leur race, de leur genre ou de leur âge.

La Conclusion

Ce document est une feuille de route. Il nous dit que l'IA est comme un miroir reflétant les défauts de notre société. Pour construire une IA équitable, nous ne pouvons pas nous fier à une seule solution. Nous devons nettoyer nos données, entraîner nos modèles avec soin, vérifier leur travail constamment et corriger la sortie avant qu'elle n'atteigne les gens. C'est un processus continu, pas un travail ponctuel.