Language Models Entangle Language and Culture
Cet article démontre que les grands modèles de langage fournissent systématiquement des réponses de moindre qualité et présentent des contextes culturels altérés pour les utilisateurs effectuant des requêtes dans des langues à faibles ressources, créant ainsi des désavantages systémiques basés sur le choix de la langue.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous entriez dans une bibliothèque géante et magique où un robot bibliothécaire super intelligent (le Grand Modèle de Langage) vous aide pour n'importe quelle question que vous pourriez avoir. Vous pourriez lui demander comment améliorer votre sommeil, comment lancer une entreprise ou comment investir vos économies.
Ce document est comme un bulletin de notes pour ce robot bibliothécaire, mais avec une nuance : les chercheurs ont voulu voir si le bibliothécaire vous traite différemment selon la langue que vous parlez.
Voici l'histoire de ce qu'ils ont découvert, expliquée simplement :
1. Le test du « Miroir Magique »
Les chercheurs ont créé une liste de 20 questions de la vie quotidienne, comme « Comment puis-je mieux dormir ? » ou « Quel est un bon plan de business pour vendre des t-shirts ? ». Ils n'ont pas posé ces questions uniquement en anglais. Ils les ont traduites en hindi, en chinois, en swahili, en hébreu et en portugais du Brésil.
Ils ont ensuite posé ces mêmes questions au robot bibliothécaire dans toutes ces langues différentes.
Le résultat : Le bibliothécaire n'était pas équitable. Quand les gens posaient des questions en anglais, en chinois ou en portugais, les réponses étaient de haute qualité, détaillées et utiles. Mais quand les gens posaient des questions dans des langues comme l'hindi, le swahili ou l'hébreu, les réponses étaient souvent plus courtes, moins détaillées et tout simplement moins bonnes. C'est comme si le bibliothécaire avait une « langue préférée » et fournissait moins d'efforts pour les autres.
2. Le changement de « Costume Culturel »
C'est ici que cela devient vraiment intéressant. Les chercheurs ont découvert que la langue que vous parlez ne change pas seulement la qualité de la réponse du robot ; elle change le genre de monde que le robot imagine.
Imaginez le robot comme un acteur.
- Si vous posez la question en anglais, l'acteur enfile un costume « occidental ». Il pourrait donner des conseils basés sur les habitudes, les valeurs et les exemples américains ou européens.
- Si vous posez exactement la même question en hindi, l'acteur troque son costume pour un costume « indien ». Il commence soudainement à réfléchir aux structures familiales indiennes, à la nourriture locale ou à différentes normes sociales.
- Si vous posez la question en swahili, il enfile un costume « africain ».
Les chercheurs ont prouvé cela en prenant les réponses données en hindi, en les traduisant à nouveau en anglais, et en demandant à un second robot (un « Juge ») de deviner la culture. Le Juge pouvait toujours dire : « Cette réponse a été écrite à l'origine en hindi », car la saveur du conseil était différente. La langue n'avait pas seulement changé les mots ; elle avait changé la lentille culturelle à travers laquelle le robot réfléchissait.
3. Le test de la « Carte Factuelle »
Pour vérifier cela, ils ont utilisé une carte de faits culturels (un benchmark appelé CulturalBench). Ils ont posé au robot des questions comme « Quel est un plat célèbre au Brésil ? » ou « Qui est une figure historique au Nigeria ? ».
Ils ont constaté que la précision du robot dépendait fortement de la langue utilisée. Le robot connaissait plus de faits sur un pays lorsqu'on lui posait des questions dans la langue de ce pays (ou une langue majeure associée à celui-ci) par rapport à lorsqu'on utilisait une autre langue. C'est comme si le robot possédait différents « livres de faits » pour différentes langues, et que certains de ces livres étaient beaucoup plus complets que d'autres.
4. Pourquoi cela arrive-t-il ?
Le document suggère que, pour ces modèles d'IA, la langue et la culture sont liées, comme deux lianes poussant autour du même arbre. On ne peut pas les séparer facilement.
Parce que l'IA a été entraînée sur une quantité massive de textes provenant d'Internet, elle a appris que « l'anglais » est souvent lié à la « culture occidentale », et que « l'hindi » est lié à la « culture indienne ». Lorsque vous changez de langue, l'IA change automatiquement le contexte culturel qu'elle puise dans sa mémoire.
L'essentiel
La conclusion principale est simple : Si vous posez une question à une IA dans une « langue à faibles ressources » (une langue avec moins de données sur Internet), vous risquez d'obtenir une moins bonne réponse que si vous posiez la question en anglais.
Plus grave encore, la réponse que vous obtenez peut être culturellement différente, non seulement en qualité, mais aussi dans les hypothèses mêmes qu'elle fait sur votre vie. Les chercheurs soutiennent que cela est injuste. Tout comme un humain devrait pouvoir demander des conseils dans sa langue maternelle et recevoir la même aide de qualité que quelqu'un parlant anglais, ces modèles d'IA doivent être mieux entraînés pour ne pas laisser les utilisateurs de côté en fonction de la langue qu'ils parlent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.