Subjective Multi-Bias Detection with Large Language Models
Cet article présente un projet qui utilise des modèles de langage de grande taille pour détecter et classifier trois types de biais subjectifs — de cadrage, épistémologiques et démographiques — dans du texte, en exploitant le jeu de données WIKIBIAS de plus de 4 000 paires d'éditions Wikipédia afin d'identifier les attitudes inappropriées et les déformations.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous faites défiler un fil d'actualités ou que vous lisez un article Wikipédia et que vous tombez sur une phrase qui semble juste un peu étrange. Peut-être qu'elle fait passer un groupe de personnes pour des méchants sans le dire explicitement, ou qu'elle utilise des mots sophistiqués pour faire passer une affirmation fragile pour un fait absolu. C'est le monde du biais subjectif. Il ne s'agit pas seulement de mentir ; il s'agit des manières subtiles et sournoises dont les auteurs peuvent déformer la vérité ou cacher leurs opinions à l'intérieur de « faits ». Détecter cela est un défi de taille pour les ordinateurs car, contrairement à un problème mathématique ayant une réponse claire, le biais se cache souvent dans le ton, le choix des mots et les suppositions tacites.
Pendant des années, des scientifiques ont essayé d'apprendre aux ordinateurs à repérer ces ruses en utilisant des modèles comme BERT, qui est comme un étudiant très intelligent qui a lu des millions de livres mais qui passe parfois à côté de « l'ambiance » d'une phrase. Plus récemment, une nouvelle génération de Grands Modèles de Langage (LLM) est arrivée. Considérez-les comme des cerveaux d'IA super-puissants qui ne se contentent pas de lire des mots, mais comprennent la danse complexe du langage humain, de la culture et du contexte. La grande question que les chercheurs se posent est la suivante : ces cerveaux d'IA géants peuvent-ils enfin débusquer les biais subjectifs sournois que les anciens modèles continuent de manquer ?
Ce document est l'histoire d'une équipe de chercheurs qui a décidé de mettre ces nouveaux cerveaux d'IA à l'épreuve. Ils se sont attaqués à un ensemble de données complexe appelé WIKIBIAS, qui contient plus de 4 000 paires de phrases provenant de modifications de Wikipédia. Ces paires sont comme des instantanés « avant et après », où quelqu'un a modifié une phrase pour y ajouter un type spécifique de biais. Les chercheurs cherchaient trois types de ruses spécifiques : le biais de cadrage (utiliser des mots unilatéraux pour pousser un point de vue), le biais épistémologique (un langage subtil qui fait paraître une histoire plus ou moins crédible qu'elle ne l'est réellement) et le biais démographique (des mots qui font des suppositions sur le genre, la religion ou l'origine d'une personne).
D'abord, ils ont essayé la méthode classique : un modèle BERT standard. C'était comme demander à un étudiant diligent mais légèrement myope de corriger des copies. Le résultat ? Il a obtenu un score de 0,33 sur une échelle appelée « macro-F1 » (une façon de mesurer la performance du modèle à travers toutes les catégories). Le modèle avait du mal, surtout avec les types de biais les plus complexes et les moins courants, les confondant souvent ou les manquant totalement. Il était clair que les anciens outils n'étaient pas assez affûtés pour cette tâche.
Ainsi, l'équipe a construit quelque chose de nouveau : EnsembleLlama. Au lieu de s'appuyer sur une seule IA, ils ont créé une « équipe d'experts ». Ils ont pris un puissant modèle open-source appelé LLaMA2 (plus précisément la version à 7 milliards de paramètres) et lui ont donné une mission spéciale. Au lieu d'essayer de deviner les trois types de biais à la fois — ce qui perturbait le modèle car certains biais sont rares — ils ont entraîné trois « mini-experts » distincts. Un expert ne cherchait que le biais de cadrage, un autre ne cherchait que le biais épistémologique, et le troisième ne cherchait que le biais démographique. Ils ont ensuite empilé ces trois experts, les laissant voter sur la réponse finale.
Les résultats ont changé la donne. En utilisant cette approche par équipe, le nouveau modèle a bondi de son score de 0,33 jusqu'à 0,59. C'est une amélioration de 26 % par rapport à la ligne de base initiale. Il n'est pas seulement devenu meilleur sur les choses faciles ; il a considérablement amélioré sa capacité à détecter les biais rares et difficiles que l'ancien modèle continuait de manquer. Par exemple, là où l'ancien modèle voyait une phrase sur un volontaire de l'IRA et pensait qu'il s'agissait simplement d'un « cadrage », la nouvelle équipe a correctement identifié un « biais épistémologique ».
Cependant, les chercheurs veillent à ne pas présenter cela comme une solution parfaite. Ils admettent que, bien que leur modèle soit bien meilleur, il n'est pas parfait. Il existe des cas où l'IA se trompe, comme lorsqu'une phrase concernant une école fondée par des parents a été étiquetée par erreur comme n'ayant « aucun biais » alors qu'elle présentait un « biais de cadrage ». Ils suggèrent que le succès du modèle est toujours lié à la manière dont il comprend le texte et aux connaissances qui lui ont été transmises. Ils notent également que le simple fait d'empiler les experts a aidé, mais qu'il pourrait y avoir des moyens encore plus intelligents de les combiner à l'avenir.
En résumé, ce document montre qu'en décomposant un problème difficile en morceaux plus petits et en utilisant un nouveau cerveau d'IA puissant pour s'attaquer à chaque morceau, nous pouvons détecter le biais subjectif bien mieux qu'auparavant. C'est un grand pas en avant, mais le voyage vers une compréhension parfaite du biais humain dans les textes est encore en cours.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.