'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
Cet article révèle que les grands modèles de langage présentent d'importantes incohérences de sécurité et des taux de « manqués en ourdou » lors de la détection de discours de haine en ourdou à travers divers scripts, mettant en évidence une lacune critique dans la fiabilité de la modération de contenu causée par l'absence totale de l'ourdou dans neuf années de procédures majeures de recherche sur la sécurité de l'IA.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'internet est un marché vaste et bruyant où des milliards de personnes partagent des pensées, des blagues et des griefs chaque seconde. Pour maintenir la sécurité de cet espace, les entreprises technologiques s'appuient sur des systèmes automatisés qui agissent comme des gardiens numériques, analysant les publications pour identifier les discours de haine et les menaces avant qu'ils ne puissent causer des dommages dans le monde réel. Ces systèmes sont entraînés sur des quantités massives de texte, apprenant à reconnaître les schémas d'abus dans les langues qu'ils maîtrisent le mieux. Cependant, le monde parle de nombreuses langues, et la capacité de ces gardiens numériques à les comprendre n'est pas égale. Certaines langues, comme l'anglais, sont bien représentées dans les données dont ces systèmes apprennent, tandis que d'autres sont souvent négligées. Lorsqu'un système ne parvient pas à reconnaître un discours de haine dans une langue spécifique, cela crée un angle mort où le mal peut se propager sans contrôle, même si ce même système bloque avec succès ce même préjudice s'il était écrit dans une autre langue. Cette lacune n'est pas seulement un bug technique ; c'elle est un échec de sécurité qui laisse des millions de locuteurs vulnérables.
Une étude récente menée par des chercheurs de l'Université Brunel de Londres et de l'Institut Hasso Plattner en Allemagne met en lumière l'un des angles morts les plus importants de ce type : l'ourdou. L'ourdou est la dixième langue la plus parlée au monde, avec 246 millions de locuteurs au Pakistan, en Inde, et au sein de grandes communautés au Royaume-Uni et aux États-Unis. Malgré l'ampleur de sa taille et le volume élevé d'abus en ligne documentés dans les communautés de locuteurs de l'ourdou, les chercheurs ont découvert que le domaine de la recherche sur la sécurité en ligne l'a presque entièrement ignoré. Dans une revue exhaustive de neuf années de conférences académiques majeures dédiées aux abus en ligne, l'équipe a découvert qu'aucun article n'était consacré à l'ourdou. Cette absence est frappante, d'autant plus qu'un atelier majeur en 2022 avait explicitement appelé à davantage de travaux sur cette langue. Les chercheurs ont cherché à voir si ce manque d'attention avait des conséquences mesurables pour les outils de sécurité actuellement utilisés.
Pour tester cela, l'équipe a examiné cinq des modèles d'intelligence artificielle les plus avancés disponibles aujourd'hui. Ils ont soumis à ces modèles une large collection de textes contenant des discours de haine, des menaces et des conversations normales, mais ils ont présenté le contenu de différentes manières. Certains textes étaient dans l'écriture originale de l'ourdou, le Nastaliq, qui coule de droite à gauche. D'autres textes étaient écrits en ourdou romain, où les mots ourdous sont orthographiés en utilisant des lettres anglaises, une pratique courante sur les réseaux sociaux. Les chercheurs ont également fourni des traductions anglaises des mêmes messages. En comparant la façon dont les modèles réagissaient au même message sous ces différentes formes, ils pouvaient voir si les systèmes de sécurité comprenaient réellement le contenu ou s'ils réagissaient simplement à la forme des lettres.
Les résultats ont révélé une incohérence troublante. Lorsque les modèles lisaient le contenu préjudiciable en anglais, ils l'identifiaient correctement comme abusif. Cependant, lorsque le même message était présenté dans l'écriture originale de l'ourdou, les modèles échouaient souvent à le signaler comme dangereux. En moyenne, à travers les différents modèles testés, environ 18 % des messages préjudiciables étaient étiquetés différemment selon qu'ils étaient en ourdou ou en anglais. En termes plus simples, si une personne publiait une menace en ourdou, le système pourrait la laisser passer comme une publication normale, mais si cette même menace était traduite en anglais, le système la bloquerait immédiatement. Ce taux de « raté en ourdou », où le contenu préjudiciable passe entre les mailles du filet uniquement à cause de l'écriture utilisée, variait d'environ 2 % à près de 10 % selon le modèle spécifique utilisé.
L'étude a également souligné que tous les modèles d'intelligence artificielle ne sont pas également vulnérables à ce problème. Les modèles les plus avancés et à grande échelle, souvent appelés modèles de pointe (frontier models), montraient une meilleure cohérence, avec moins d'erreurs. Cependant, les modèles plus petits et en open-source présentaient des taux d'échec beaucoup plus élevés, manquant près d'un tiers du contenu préjudiciable lorsqu'il était en ourdou. Cela suggère que les fonctionnalités de sécurité de ces systèmes ne sont pas uniformes ; elles sont inégalement réparties, offrant une protection plus forte aux locuteurs de certaines langues tout en laissant d'autres exposés. Les chercheurs ont également noté une lacune structurelle dans les données disponibles : il n'existe aucun ensemble de données dédié au discours de haine mélangeant l'ourdou et l'anglais, une manière courante de communiquer en ligne. Sans ce type spécifique de données, il est impossible de tester pleinement la capacité de ces systèmes à gérer la réalité complexe du mélange de langues sur les réseaux sociaux modernes.
En fin de compte, ce travail démontre que les outils de sécurité actuels fournissent un bouclier inégal. Un système capable de détecter de manière fiable les discours de haine en anglais mais échouant à reconnaître le même discours en ourdou n'est pas véritablement sûr pour les millions de personnes qui parlent cette langue. Les conclusions confirment que l'absence de l'ourdou dans la recherche sur la sécurité n'est pas seulement un oubli académique ; elle a des conséquences réelles et mesurables pour la modération de contenu. Tant que ces lacunes ne seront pas comblées par de meilleures données et des tests plus rigoureux à travers différentes écritures, une partie importante de la population mondiale en ligne restera vulnérable à des préjudices que les systèmes mêmes conçus pour la protéger ne peuvent tout simplement pas voir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.