Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs
Cet article introduit INCLUDE, un benchmark multilingue évaluant les biais socioculturels centrés sur l'Inde à travers six langues, révélant que l'alignement de sécurité actuel des LLM, centré sur l'anglais, crée un fossé de sécurité translinguistique critique où les sorties non anglaises, particulièrement en bengali et pour les modèles à code source fermé, présentent des biais significativement plus élevés que leurs homologues anglais.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où la voix d'un assistant informatique est aussi fluide et équitable dans un village rural de l'Inde que dans un bureau animé de Londres. Depuis des années, la technologie qui sous-tend ces assistants a été principalement entraînée sur du texte anglais, apprenant à reconnaître les stéréotypes préjudiciables et à refuser les requêtes offensantes grâce à un processus appelé alignement de sécurité. Cet entraînement agit comme un filtre, conçu pour empêcher la machine de répéter des biais concernant la race, la religion ou le statut social. Cependant, une question cruciale est restée sans réponse : ce filtre fonctionne-t-il aussi bien lorsque l'utilisateur parle hindi, bengali ou un mélange d'anglais et d'hindi ? Si ce filtre ne comprend que l'anglais, alors des millions de personnes parlant d'autres langues sont laissées sans défense face aux biais mêmes que la technologie était censée prévenir. C'est le cœur de la préoccupation d'une nouvelle étude qui examine si la promesse d'une intelligence artificielle sûre est réelle à travers le paysage linguistique diversifié de l'Inde.
Les chercheurs, dirigés par Namya Bhatnagar, ont entrepris de mesurer cet écart en créant un test spécialisé appelé INCLUDE. Ce banc d'essai a été conçu pour voir comment différents modèles d'intelligence artificielle gèrent les stéréotypes culturellement spécifiques lorsqu'ils sont sollicités en six langues différentes : l'anglais, l'hindi, le bengali, le marathi, le tamoul et le hinglish, qui est un mélange courant de hindi et d'anglais utilisé dans la conversation quotidienne. Pour construire ce test, l'équipe a d'abord défini six domaines où les biais apparaissent souvent, tels que la caste, la religion et la région. Ils ont ensuite réuni un panel de vingt experts, comprenant des enseignants et des professeurs d'université, pour examiner et affiner des milliers de questions. Ces questions ont été soigneusement élaborées pour paraître naturelles, demandant aux modèles de compléter des phrases de manière à révéler s'ils penchaient vers des stéréotypes préjudiciables ou s'ils les rejetaient. L'équipe a traduit ces incitations en cinq langues indiennes, en veillant à ce que la signification et l'intensité des stéréotypes restent cohérentes dans toutes les versions.
L'étude a évalué dix modèles d'intelligence artificielle différents, les divisant en deux groupes : ceux qui sont ouverts à l'inspection et à la modification par tous, et ceux qui sont des systèmes fermés appartenant à de grandes entreprises technologiques. Lorsque les chercheurs ont testé les modèles en code source ouvert (open-source), ils ont trouvé un schéma clair et troublant. Les modèles étaient nettement plus susceptibles de produire des réponses biaisées et stéréotypées lorsque les incitations étaient écrites en langues indiennes par rapport à l'anglais. Parmi les langues indiennes, le bengali a déclenché le niveau de biais le plus élevé, suivi de près par l'hindi. Étonnamment, les incitations en anglais ont en fait entraîné les scores de biais les plus bas pour ces modèles ouverts, suggérant que les filtres de sécurité fonctionnent bien pour les anglophones mais échouent pour tous les autres. Cela crée une illusion de sécurité où un utilisateur peut se sentir protégé en anglais, mais se retrouve vulnérable dans sa langue maternelle.
Les résultats pour les modèles à code source fermé, qui sont souvent utilisés pour alimenter les fonctions de recherche et de récupération des assistants vocaux, ont raconté une histoire différente et encore plus complexe. Dans ce groupe, le schéma s'est complètement inversé. Les modèles ont montré les associations de biais les plus fortes lorsque les incitations étaient en anglais, tandis que les langues indiennes présentaient des scores de biais plus faibles. Cette inversion suggère que la source du problème n'est pas unique. Pour les modèles ouverts, le problème semble être que l'entraînement de sécurité a été fait principalement en anglais, laissant les autres langues sans protection. Pour les modèles fermés, le biais semble provenir de la quantité massive de textes anglais sur lesquels ils ont été initialement entraînés, ce qui a ancré des stéréotypes puissants dans leur compréhension fondamentale du monde.
L'une des conclusions les plus significatives concernait le Hinglish, la langue codée utilisée par des millions de personnes en Inde. L'étude a révélé que le Hinglish ne bénéficiait pas des avantages de sécurité de l'anglais. Même s'il contient des mots anglais, les modèles le traitaient statistiquement de la même manière que les autres langues indiennes à faibles ressources, le regroupant avec l'hindi et le tamoul plutôt qu'avec l'anglais. Cela signifie que les utilisateurs qui comptent sur cette langue mixte pour l'interaction vocale ne reçoivent pas le même niveau de protection que ceux qui parlent l'anglais pur. Les chercheurs ont également noté que, bien que les scores de biais variaient, les différences n'étaient pas aléatoires ; elles étaient assez constantes pour être considérées comme un échec réel et mesurable dans la manière dont ces systèmes sont construits.
L'étude conclut que la sécurité de l'intelligence artificielle n'est pas uniforme selon les langues. Elle révèle que les méthodes actuelles d'entraînement de ces modèles créent une fracture où les anglophones sont protégés des stéréotypes préjudiciables, tandis que les locuteurs d'autres langues ne le sont pas. Les conclusions suggèrent que la simple traduction des règles de sécurité de l'anglais ne suffit pas ; la structure même de la façon dont ces modèles apprennent et dont ils sont alignés doit changer pour tenir compte des nuances de différentes cultures et langues. En identifiant ces lacunes, les chercheurs espèrent fournir une feuille de route aux développeurs pour construire des systèmes qui soient véritablement équitables pour tous, quelle que soit la langue parlée. Ce travail souligne que l'atteinte d'une véritable équité dans l'intelligence artificielle nécessite de regarder au-delà des langues dominantes et de traiter les contextes culturels spécifiques dans lesquels ces technologies sont déployées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.