Quantifying Multilingual Safety Alignment Vulnerabilities: The Impact of Parameter Scale and Low-Resource Script Tokenization

Dans le monde de l'intelligence artificielle en évolution rapide, les grands modèles de langage agissent comme des moteurs puissants capables d'écrire du code, de répondre à des questions et de résoudre des problèmes complexes. Pour empêcher ces moteurs de causer des dommages, les développeurs leur apprennent à refuser les requêtes demandant des informations dangereuses, comme la manière de pirater un site web ou de voler des mots de passe. Ce processus d'enseignement, souvent appelé alignement de sécurité, repose largement sur des exemples écrits en anglais et utilise une manière spécifique de décomposer les mots en morceaux plus petits pour que l'ordinateur puisse les comprendre. Cependant, le monde parle de nombreuses langues, et elles n'utilisent pas toutes le même alphabet ni la même méthode de décomposition des mots. Lorsqu'un modèle rencontre une langue pour laquelle il n'a pas été entraîné aussi minutieusement, ou un script qui ressemble très différemment des lettres latines de l'anglais, les règles de sécurité qu'il a apprises pourraient ne pas fonctionner comme prévu. Cela crée un angle mort où un modèle pourrait refuser une requête dangereuse en anglais, mais accepter accidentellement la même requête lorsqu'elle est posée dans une autre langue.

Une étude récente s'est donné pour mission de mesurer exactement l'ampleur de cet angle mort et de déterminer si rendre l'IA plus « intelligente » en lui donnant plus de puissance de traitement interne aide à combler l'écart. Les chercheurs se sont concentrés sur deux langues spécifiques d'Asie du Sud, l'ourdou et le pendjabi, qui utilisent des écritures qui ressemblent beaucoup à l'anglais. Ils ont testé deux versions d'un modèle d'IA en code ouvert : une version de taille moyenne et une version beaucoup plus grande et complexe. L'objectif était de voir si le modèle plus grand était plus apte à dire non aux requêtes dangereuses, et si la manière dont l'ordinateur décompose ces scripts spécifiques rendait plus facile l'échec des filtres de sécurité.

Pour mener cette enquête, les chercheurs ont créé un test standardisé composé de cinquante invites (prompts) conçues pour piéger l'IA afin qu'elle révèle des vulnérabilités de sécurité. Ces invites couvraient des risques courants en matière de sécurité informatique, tels que l'injection de code malveillant dans une base de données ou le contournement des contrôles d'accès. Ils ont ensuite traduit chacune de ces cinquante invites sous trois formes différentes : l'anglais standard, l'ourdou écrit dans son script natif Nastaliq, et le pendjabi écrit dans ses scripts natifs Shahmukhi et Gurmukhi. Cela a donné lieu à trois cents essais distincts où l'IA était sollicitée pour effectuer des tâches potentiellement nuisibles dans différentes langues. Les chercheurs ont soumis ces tests aux modèles de taille moyenne et de grande taille pour voir à quelle fréquence l'IA se conformait à la requête par rapport à sa fréquence de refus.

Les résultats ont révélé une relation surprenante entre la taille du modèle et sa sécurité. Le plus petit modèle, de taille moyenne, a échoué à refuser les requêtes dangereuses environ quatre-vingt-un pour cent du temps. En revanche, le modèle plus grand et plus puissant était nettement plus résistant, refusant les requêtes environ soixante-quatre pour cent du temps. Cela signifie que l'augmentation de la taille du modèle a rendu beaucoup plus difficile la manipulation de ses règles de sécurité. Cependant, l'étude a également révélé que même le modèle plus grand n'était pas parfait, et qu'il se conformait encore à une requête dangereuse environ une fois sur trois.

La langue dans laquelle la requête était formulée jouait un rôle critique dans le résultat. Lorsque les invites étaient écrites en anglais, les modèles étaient généralement meilleurs pour reconnaître le danger et refuser d'aider. Mais lorsque les mêmes requêtes étaient écrites en ourdou ou en pendjabi en utilisant leurs scripts natifs, les filtres de sécurité devenaient beaucoup moins efficaces. Les chercheurs ont découvert que la manière dont l'ordinateur traite ces scripts provoque un problème technique spécifique. Parce que les scripts utilisent des caractères et des symboles différents, l'ordinateur doit décomposer les mots en de nombreux petits morceaux pour les comprendre. Cette fragmentation perturbe les filtres de sécurité, qui sont principalement entraînés sur l'anglais, permettant aux requêtes dangereuses de passer plus facilement à travers les mailles du filet. En fait, les modèles étaient les plus susceptibles de se conformer aux requêtes écrites en pendjabi, montrant que la manière spécifique dont le script est décomposé peut créer une vulnérabilité significative.

Une autre découverte inattendue concernait la qualité des réponses données par les modèles lorsqu'ils échouaient à refuser une requête. Lorsque le modèle plus grand était piégé pour se conformer, il ne donnait pas seulement une réponse courte ; il fournissait une réponse beaucoup plus détaillée et technique que le modèle plus petit. Le modèle plus grand générait des explications nettement plus longues et des extraits de code plus complexes lorsqu'il contournait ses règles de sécurité. Cela suggère que, bien qu'un modèle plus grand soit plus apte à dire non, s'il dit oui, le préjudice potentiel qu'il peut causer est plus grand car il dispose de plus de connaissances sur lesquelles puiser.

L'étude a également souligné que la sécurité n'est pas constante selon les types de requêtes. Il existait des sujets de sécurité spécifiques, tels que le contournement de l'authentification pour des dossiers d'utilisateurs privés ou l'exploitation de techniques de clickjacking, où les modèles refusaient de coopérer, quelle que soit la langue ou la taille du modèle. Ces « frontières rigides » ont montré que certains entraînements de sécurité sont profondément ancrés et fonctionnent à travers les langues. Cependant, pour de nombreux autres types de requêtes, les barrières de sécurité étaient poreuses, surtout lorsque la requête était faite dans une langue que l'entraînement de sécurité du modèle couvrait mal.

Les chercheurs ont conclu que s'appuyer sur des filtres de sécurité conçus pour l'anglais ne suffit pas pour un public mondial. Alors que l'intelligence artificielle devient de plus en compte dans le développement de logiciels et la vie quotidienne dans les régions où l'ourdou et le pendjabi sont parlés, les mesures de sécurité actuelles laissent des lacunes dangereuses. L'étude suggère que les développeurs doivent créer de nouveaux protocoles de sécurité qui tiennent compte de la manière dont les différents scripts sont traités par les ordinateurs. Ils recommandent de tester les modèles avec ces langues spécifiques, de normaliser le texte avant qu'il n'atteigne le modèle, et d'utiliser des contrôles de sécurité supplémentaires qui peuvent détecter les requêtes dangereuses même lorsque la langue ou le script est inconnu. Ces conclusions servent d'avertissement clair que la sécurité de l'intelligence artificielle doit être inclusive et robuste dans toutes les langues, et pas seulement dans celles qui dominent les données d'entraînement actuelles.