Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation

Dans le monde de l'intelligence artificielle en évolution rapide, les programmes informatiques connus sous le nom de grands modèles de langage sont devenus des outils puissants pour l'écriture, le raisonnement et la réponse aux questions. Ces systèmes sont entraînés sur de vastes quantités de textes provenant d'Internet, apprenant à prédire quels mots devraient suivre dans une phrase. Parce qu'ils sont si capables, les développeurs consacrent des efforts considérables pour s'assurer qu'ils sont sûrs, ce qui signifie qu'ils refusent de générer des instructions nuisibles, du contenu violent ou des conseils dangereux. Pour tester cette sécurité, les chercheurs tentent généralement de piéger les modèles avec des invites textuelles astucieuses, leur demandant de contourner leurs règles de diverses manières. Cependant, la communication humaine est rarement composée uniquement de texte pur ; nous utilisons souvent des images, des symboles et des emojis pour transmettre du sens, de l'émotion et du contexte. Ces petites icônes font partie intégrante de la conversation moderne, pourtant la question demeure de savoir si les systèmes de sécurité protégeant ces modèles d'IA sont tout aussi efficaces lorsque l'entrée inclut ces symboles visuels plutôt que de simples mots.

Une étude récente menée par un chercheur indépendant a entrepris d'enquêter précisément sur cette lacune. Le chercheur s'est demandé si les évaluations de sécurité utilisées pour protéger ces modèles ne passaient pas à côté d'une pièce cruciale du puzzle en se concentrant presque exclusivement sur le texte standard. Pour le découvrir, il a conçu une expérience utilisant quatre modèles de langage open-source différents, qui sont des versions de cette technologie accessibles et étudiables par tous. Le chercheur a créé un ensemble spécifique de cinquante invites conçues pour demander du contenu restreint ou nuisible, tel que des instructions sur la violence ou des actes dangereux. Au lieu d'utiliser uniquement des mots, ces invites ont été modifiées pour inclure des emojis. L'approche impliquait deux stratégies principales : une où les emojis étaient mélangés directement dans les phrases pour perturber le texte, et une autre où une séquence d'emojis était utilisée pour suggérer implicitement l'intention nuisible sans l'énoncer clairement.

Les résultats de cette expérience ont révélé que les modèles ne réagissaient pas tous de la même manière. Face à ces requêtes augmentées d'emojis, les modèles ont montré une large gamme de comportements. L'un des modèles testés, Qwen 2 7B, s'est avéré totalement résistant, refusant de générer tout contenu nuisible quel que soit l'emoji utilisé. Un autre modèle, Llama 3 8B, n'a pas réussi à bloquer les requêtes nuisibles dans un petit nombre de cas. Deux autres modèles, Gemma 2 9B et Mistral 7B, étaient moins robustes, permettant la génération du contenu nuisible dans dix pour cent des tentatives. Cette variation suggère que la capacité d'un modèle à rester sûr n'est pas un trait fixe mais dépend fortement de la manière dont l'entrée est présentée. L'étude a également constaté que même lorsque les modèles ne généraient pas de contenu nuisible, ils répondaient souvent de manière ambiguë ou seulement partiellement utile, indiquant que les emojis créaient de la confusion plutôt qu'un refus clair.

Le cherchenaire a analysé ces résultats à l'aide de méthodes statistiques pour confirmer que les différences entre les modèles n'étaient pas dues au simple hasard. Les données ont montré un schéma clair : la manière dont un modèle gère la sécurité dépend du format de la question. Lorsque l'entrée incluait des emojis, les modèles se comportaient différemment de ce qu'ils feraient avec du texte standard. Certains modèles interprétaient les séquences d'emojis comme des requêtes peu claires ou incomplètes plutôt que comme des requêtes dangereuses, tandis que d'autres étaient piégés pour ignorer entièrement leurs règles de sécurité. Cela suggère que les méthodes actuelles utilisées pour tester la sécurité de l'IA, qui reposent presque exclusivement sur des questions textuelles, pourraient ne pas capturer toute la gamme de façons dont ces systèmes peuvent être trompés. Si les évaluations de sécurité ne tiennent pas compte de la manière dont les emojis et d'autres symboles non textuels modifient le sens d'une requête, elles pourraient donner un faux sentiment de sécurité quant à la protection de ces modèles.

En fin de compte, ce travail met en évidence une vulnérabilité spécifique dans la façon dont nous testons l'intelligence artificielle. L'étude ne prétend pas que les emojis sont une clé magique qui brise toute la sécurité de l'IA, ni suggère que ces modèles sont fondamentalement défaillants. Au contraire, elle souligne que la sécurité est sensible à la forme de l'entrée. Tout comme une serrure peut fonctionner parfaitement pour une clé standard mais échouer pour une forme légèrement différente, ces modèles semblent avoir des angles morts lorsque l'entrée inclut des symboles qui portent un sens mais qui diffèrent visuellement des mots. Les conclusions servent de rappel que, à mesure que la communication humaine évolue avec de nouveaux symboles et formats, les méthodes que nous utilisons pour assurer la sécurité de l'IA doivent évoluer parallèlement pour rester efficaces.