General Phrase Debiaser: Debiasing Masked Language Models at a Multi-Token Level

Les ordinateurs capables de lire et d'écrire le langage sont devenus remarquablement habiles, capables de résumer des actualités, de traduire des documents et même de composer de la poésie. Ces systèmes, connus sous le nom de modèles de langage, apprennent en étudiant de vastes quantités de textes provenant d'Internet, absorbant les schémas, les faits et les opinions qu'ils contiennent. Cependant, comme le langage humain est rempli de préjugés historiques et de stéréotypes culturels, ces modèles apprennent souvent à les répéter. Un ordinateur pourrait supposer qu'une infirmière est toujours une femme ou qu'un mathématicien est toujours un homme, simplement parce que c'est ce qu'il a vu le plus souvent dans ses données d'entraînement. C'est un problème important pour quiconque cherche à utiliser ces outils de manière équitable, car les machines peuvent involontairement renforcer des biais néfastes concernant le genre, la race et la profession. Bien que les chercheurs tentent depuis longtemps de corriger ces problèmes, la plupart des tentatives précédentes se concentraient sur la correction de mots isolés, traitant le biais comme une simple question de remplacement de quelques termes problématiques. Pourtant, le biais dans le monde réel vit rarement de manière isolée ; il se cache dans la façon dont les mots se combinent en phrases et en propositions, là où le sens change de manière subtile et dangereuse.

Une équipe de chercheurs de l'Académie chinoise des sciences, du groupe Alibaba et de l'Université de Bristol a développé une nouvelle méthode pour s'attaquer à cette couche plus profonde de préjugés. Ils appellent leur approche le « General Phrase Debiaser » (Débiaiseur de Phrases Général), un système conçu pour nettoyer les modèles de langage en examinant des groupes de mots plutôt que de simples mots individuels. Les chercheurs ont reconnu que pour vraiment résoudre le problème, ils devaient trouver les phrases spécifiques où le biais du modèle est le plus fort, puis apprendre au modèle à ignorer ces associations. Leur processus commence par une manière ingénieuse de rassembler les preuves nécessaires à la correction. Au lieu de demander à des humains d'écrire manuellement chaque phrase biaisée possible, ce qui serait lent et incomplet, le système scanne les pages Wikipédia. Il recherche des hyperliens qui connectent des sujets tels que les carrières, les mathématiques, l'art et la science, et utilise ces liens pour identifier les phrases stéréotypées que le modèle pourrait avoir apprises. Par exemple, il pourrait découvrir que le modèle associe fortement « homme » à « théorie mathématique » et « femme » à « art de la danse ».

Une fois que le système a identifié ces phrases biaisées, il passe à la deuxième étape : trouver les questions exactes, ou invites (prompts), qui déclenchent le préjugé du modèle. Imaginez demander à l'ordinateur de compléter une phrase telle que « Le [personne] est un expert en [vide] ». Les chercheurs ont laissé l'ordinateur parcourir des millions de phrases possibles pour trouver celles où il est le plus susceptible de faire une supposition biaisée. Ils ne cherchent pas seulement des réponses à un seul mot ; ils cherchent des réponses composées de plusieurs mots, telles que « théorie mathématique » par opposition à « art de la danse », car c'est là que le véritable biais se cache souvent. En mesurant la façon dont le modèle répond différemment à ces phrases lorsque le sujet est un homme par rapport à une femme, le système calcule un score qui représente la force du biais. Les chercheurs utilisent ensuite ce score pour guider un processus de réglage fin (fine-tuning). Ils réinjectent ces phrases spécifiques, qui déclenchent le biais, dans le modèle, mais cette fois, ils ajustent les paramètres internes du modèle pour réduire la différence dans ses réponses. Le but n'est pas d'effacer la connaissance des mathématiques ou de l'art par le modèle, mais de s'assurer qu'il ne lie plus ces domaines à un genre spécifique.

Les résultats de ce travail montrent que cibler les phrases est bien plus efficace que de cibner des mots isolés. Les chercheurs ont testé leur méthode sur trois modèles de langage bien connus de tailles différentes et ont constaté qu'elle réduisait considérablement le biais de genre dans les disciplines professionnelles et académiques. Dans les tests standards conçus pour mesurer le biais, les modèles se sont considérablement améliorés. Par exemple, l'un des modèles, BERT, a vu son score de biais passer de 0,35 à 0,12, tandis qu'un autre, ALBERT, est passé de 0,72 à 0,16. Ces chiffres indiquent que les modèles sont devenus beaucoup moins susceptibles d'associer des professions ou des domaines spécifiques à un genre plutôt qu'à un autre. Crucialement, les chercheurs ont également vérifié si ce processus de nettoyage endommageait la capacité des modèles à comprendre le langage en général. Ils ont soumis les modèles débiaisés à une batterie de tests linguistiques standards couvrant la grammaire, le sentiment et la logique, et ont constaté que les modèles conservaient presque toutes leurs compétences d'origine. La capacité à comprendre le langage est restée intacte, prouvant qu'il est possible de supprimer les stéréotypes nocifs sans briser l'intelligence de la machine.

Cette approche marque un changement dans la façon dont les chercheurs envisagent la correction de l'intelligence artificielle. Les méthodes précédentes reposaient souvent sur des listes de mots externes écrites par des humains ou tentaient de corriger l'ensemble du vocabulaire du modèle à la fois, ce qui pouvait être inefficace ou manquer la nuance du fonctionnement réel du biais. Le General Phrase Debiaser, en revanche, automatise la découverte de phrases biaisées et cible les combinaisons de mots spécifiques où le problème existe. Les chercheurs soutiennent que cette correction au niveau multi-tokens est essentielle car le biais humain est rarement un mot unique ; c'est un schéma d'association qui s'étend à travers des phrases. Bien que l'étude se soit concentrée sur les modèles de type « encoder-only » (encodeur uniquement), qui sont un type spécifique de modèle de langage, les principes qu'ils ont mis en lumière pourraient potentiellement s'appliquer à d'autres types de systèmes également. Ce travail démontre qu'en regardant de plus près la structure du langage, nous pouvons construire des outils qui sont non seulement plus intelligents, mais aussi plus équitables, garantissant que les ordinateurs du futur reflètent la diversité du monde qu'ils servent plutôt que les limites de leurs données d'entraînement.