Bias Taught: Linguistic and Model Stereotypes in AI-Based Educational Evaluations
Cette étude révèle que les grands modèles de langage présentent des biais linguistiques et culturels systématiques dans les évaluations éducatives, générant des évaluations dont la difficulté et la longueur varient selon les langues en corrélation avec les scores PISA, tout en renforçant des stéréotypes qui mettent l'accent sur l'empathie dans les contextes occidentaux par opposition à la hiérarchie dans les contextes asiatiques, nécessitant ainsi des audits culturellement soutenus avant leur déploiement.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans la salle de classe moderne, une révolution tranquille est en cours. Les enseignants et les élèves se tournent de plus en plus vers l'intelligence artificielle, plus précisément vers les modèles de langage étendus, pour aider à concevoir des tests, corriger des copies et offrir des commentaires. Ces programmes informatiques sont entraînés sur de vastes quantités de textes provenant d'Internet, apprenant à prédire quels mots devraient suivre dans une phrase. Comme ils sont très doués pour imiter l'écriture humaine, les écoles commencent à les utiliser pour créer des supports pédagogiques pour des étudiants du monde entier. Cependant, une inquiétude grandissante émerge quant au fait que ces outils pourraient ne pas être aussi neutres qu'ils le paraissent. Tout comme une personne peut nourrir des croyances inconscientes sur la manière dont différents groupes de personnes apprennent, ces programmes informatiques pourraient avoir absorbé des biais similaires à partir des données qui leur ont été injectées. Si un système d'IA traite un élève différemment simplement parce qu'il a posé une question dans une langue différente, cela pourrait créer un environnement d'apprentissage injuste qui renforce les vieux stéréotypes plutôt que d'aider les élèves à réussir.
Une équipe de chercheurs du Bowdoin College a décidé de tester si ces outils numériques étaient réellement impartiaux. Ils ont cherché à voir si la langue utilisée par un élève pour demander de l'aide changerait la difficulté du travail que l'ordinateur lui assignerait. Pour ce faire, ils ont demandé à quatre des modèles d'IA les plus populaires de créer des tests de mathématiques, de lecture et de sciences pour des élèves de quinze ans. Ils ont donné exactement les mêmes instructions à chaque ordinateur, mais ils ont traduit ces instructions en huit langues différentes : l'arabe, l'anglais, le français, l'allemand, le hindi, le mandarin, le portugais et l'espagnol. Au total, les chercheurs ont collecté plus de quatre mille réponses de la part des machines. Ils ont ensuite analysé la longueur des tests, la difficulté que les modèles attribuaient aux tests, ainsi que le type de comportements que les modèles considéraient comme faisant d'un élève ou d'un enseignant un « bon » ou un « mauvais ».
Les résultats ont révélé un schéma frappant. Lorsque les chercheurs demandaient à l'IA de créer un test en hindi ou en mandarin, l'ordinateur générait systématiquement des devoirs beaucoup plus longs et difficiles que lorsqu'on lui demandait de faire la même tâche en arabe, en allemand ou en espagnol. Par exemple, un modèle estimait qu'un test de mathématiques écrit en mandarin prendrait deux heures à un élève pour être terminé, tandis qu'un test en espagnol prendrait moins d'une heure, même si les instructions étaient identiques. Les modèles évaluaient également la difficulté des tests en hindi et en mandarin comme étant nettement plus élevée. Il ne s'agissait pas d'un bug aléatoire ; les différences étaient si constantes qu'elles apparaissaient sur les quatre systèmes d'IA différents testés par les chercheurs. L'étude a révélé que la difficulté et la longueur des tests générés par l'IA correspondaient fortement aux classements internationaux réels de la performance des élèves. En d'autres termes, les ordinateurs semblaient croire que les élèves issus de pays avec des scores élevés méritaient un travail plus difficile, tandis que les élèves de pays avec des scores plus faibles méritaient un travail plus facile, quel que soit l'élève réel assis devant l'écran.
Au-delà de la simple création de tests, les chercheurs ont également demandé à l'IA de décrire ce qu'est un « bon » enseignant ou un « bon » élève. Ici encore, la langue utilisée modifiait la réponse. Lorsque la requête était en anglais, en allemand ou en portugais, l'IA avait tendance à décrire les bons enseignants comme étant empathiques, patients et concentrés sur la création de relations avec les élèves. Cependant, lorsque la requête était en hindi ou en mandarin, l'IA décrivait les bons enseignants comme étant stricts, disciplinés et axés sur la connaissance et la hiérarchie. De même, les modèles décrivaient les « mauvais » élèves différemment selon la langue. Dans certaines langues, l'IA se concentrait sur un manque de discipline ou de la procrastination, tandis que dans d'autres, elle se concentrait sur un manque de respect ou un mauvais comportement général. Ces différences suggèrent que l'IA ne fait pas que traduire des mots ; elle puise dans une base de données de stéréotypes culturels sur la manière dont l'éducation fonctionne dans différentes parties du monde.
Les chercheurs ont pris soin de vérifier si ces différences étaient simplement dues au fait que différents pays ont des programmes scolaires différents. Ils ont consulté un groupe d'éducateurs du monde entier pour voir si l'IA ne faisait que suivre les normes nationales. Ils ont découvert que les différences de curriculum ne pouvaient expliquer qu'une infime partie des résultats. La grande majorité de la variation provenait de l'IA elle-même. L'étude suggère que ces programmes informatiques ont appris à associer certaines langues à des attentes académiques spécifiques, agissant ainsi comme des miroirs des inégalités mondiales. Si un élève d'un pays non occidental utilise un tuteur d'IA, il pourrait recevoir une charge de travail beaucoup plus lourde ou un type de retour différent d'un élève d'un pays occidental, simplement à cause de la langue qu'il parle.
Cette recherche met en lumière un problème critique pour l'avenir de l'éducation. À mesure que les écoles s'appuient davantage sur l'intelligence artificielle pour concevoir des leçons et évaluer les élèves, il existe un risque que ces outils renforcent discrètement des stéréotypes préjudiciables. L'IA ne prend pas ces jugements parce qu'elle comprend les élèves ; elle répète des schémas trouvés dans ses données d'entraînement. L'étude conclut qu'avant que ces outils ne soient largement utilisés dans les classes, ils doivent être audités pour garantir qu'ils ne traitent pas les élèves de manière inégale en fonction de leur langue. Sans ce contrôle, la promesse d'une éducation personnalisée et mondiale pourrait au contraire devenir un système qui creuse le fossé entre les élèves, leur apprenant que leur potentiel est défini par la langue qu'ils parlent plutôt que par leurs propres capacités.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.