💬 NLP

Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs

Cette étude démontre que les perturbations phonétiques exploitent des failles de tokenisation pour contourner les mécanismes de sécurité des grands modèles de langage en fragmentant les tokens critiques, révélant ainsi une vulnérabilité structurelle persistante même chez les modèles les plus avancés.

Auteurs originaux : Darpan Aswal, Siddharth D Jaiswal

Publié 2026-04-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Darpan Aswal, Siddharth D Jaiswal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Les Gardes du Corps qui s'endorment

Imaginez que les grands intelligences artificielles (comme ChatGPT ou Gemini) sont comme des gardiens de sécurité très stricts dans un musée. Leur travail est de refuser d'entrer aux personnes qui veulent voler des tableaux ou faire du mal.

Pour entraîner ces gardiens, les développeurs leur montrent des milliers de phrases "normales" et "polies". Ils leur apprennent : "Si quelqu'un demande comment fabriquer une bombe, dis NON."

Mais il y a un petit problème : les gardiens sont formés pour reconnaître les mots parfaits, comme ils sont écrits dans un dictionnaire. Ils ne s'attendent pas à ce que les gens parlent comme des ados qui envoient des SMS en vitesse, avec des fautes d'orthographe phonétiques (ex: écrire "dezain" au lieu de "design").

🎭 L'Arme Secrète : Le "CMP-RT" (Le Camouflage Phonétique)

Les chercheurs de ce papier ont découvert une faille amusante mais dangereuse. Ils ont inventé une méthode appelée CMP-RT.

Imaginez que vous voulez tromper le gardien du musée. Au lieu de lui dire : "Je veux voler le tableau" (ce qu'il refuserait), vous lui dites :

"Imaginez un scénario où quelqu'un veut faire un désain (design) pour détourner (divertir) les règles..."

En réalité, vous avez juste changé l'orthographe des mots dangereux pour qu'ils sonnent exactement pareil, mais en utilisant des lettres différentes.

Avant : "Hate speech" (Discours de haine) -> Le gardien dit : STOP.
Après : "Haet speech" ou "Hed speech" -> Le gardien se dit : "Attends, ce n'est pas dans ma liste de mots interdits... C'est juste une faute de frappe. Je peux répondre."

🔍 Ce que la recherche a découvert (La Révélation)

Les chercheurs ont fait une autopsie numérique (une analyse très poussée) pour voir ce qui se passe dans le cerveau de l'IA. Voici ce qu'ils ont trouvé, avec une analogie simple :

Le Problème de la "Lego" (Le Tokenizer) :
Les IA ne lisent pas les mots comme nous. Elles les cassent en petits morceaux, comme des briques LEGO.
- Le mot "Hate" (Haine) est une brique rouge dangereuse. Le gardien la reconnaît tout de suite.
- Quand on écrit "Haet", l'IA le casse en deux briques : "Ha" et "et".
- Résultat : La brique rouge a disparu ! Elle est remplacée par deux petites briques inoffensives. Le gardien ne voit plus le danger, même si le sens de la phrase reste clair pour l'IA.
L'IA comprend, mais ne protège pas :
C'est le plus effrayant. L'IA comprend parfaitement ce que vous lui demandez (elle répond de manière très pertinente), mais elle a oublié de se protéger. C'est comme un garde qui comprend que vous voulez voler le tableau, mais qui, parce que vous avez changé votre badge d'identité, vous laisse passer sans vérifier.
Où ça casse ?
Les chercheurs ont regardé couche par couche dans le cerveau de l'IA. Ils ont vu que :
- Au début (les couches profondes), l'IA comprend bien le message, même avec les fautes.
- Mais à un moment précis (vers la 17ème couche), la sécurité "s'effondre". Les couches suivantes ne voient plus le danger parce que les mots ont été trop morcelés.

🛡️ Pourquoi c'est important ?

Les défenses actuelles ne marchent pas : Les filtres automatiques (comme ceux d'OpenAI ou de Google) et les vérifications de "perplexité" (qui détectent si un texte semble bizarre) sont incapables de voir la différence entre un texte normal et ce texte "camouflé".
Ça marche partout : Cela fonctionne aussi bien pour le texte que pour la génération d'images.
Ça s'adapte : On peut même entraîner une IA à faire ça automatiquement, ce qui rend l'attaque très facile à répéter.

💡 La Conclusion en une phrase

Ce papier nous dit que nos gardes du corps numériques sont trop obsédés par l'orthographe parfaite. Si on leur parle avec un accent ou des fautes de frappe phonétiques, ils deviennent aveugles au danger, même s'ils comprennent parfaitement ce qu'on leur demande.

C'est un appel à réapprendre à nos IA à reconnaître le son et le sens des mots, et pas seulement leur forme écrite, pour qu'ils ne se fassent plus avoir par de simples jeux de mots.

Titre : Les perturbations phonétiques révèlent des failles de sécurité ancrées dans le tokenizer des LLM

1. Problématique

Les modèles de langage (LLM) alignés sur la sécurité restent vulnérables à des phénomènes numériques comme le "textese" (langage SMS/internet), qui introduisent des perturbations non canoniques dans les mots tout en préservant leur phonétique.

Le vide de sécurité : Bien que les données de pré-entraînement exposent les modèles à des communications informelles et à des variations phonétiques (ex: "design" $\rightarrow$ "dezain"), les stratégies d'alignement (safety alignment) utilisent principalement des entrées standardisées et orthographiées correctement.
La faille : Cette divergence crée un "écart représentatif" exploitable. Les attaquants peuvent contourner les filtres de sécurité en utilisant des fautes d'orthographe phonétiquement similaires, car les mécanismes de sécurité ne parviennent pas à reconnaître les tokens critiques lorsqu'ils sont fragmentés par le tokenizer.
Limites des travaux précédents : Les méthodes de "jailbreaking" actuelles reposent souvent sur des optimisations complexes et des entrées ininterprétables, offrant peu d'insights sur les causes mécaniques des échecs de sécurité.

2. Méthodologie : CMP-RT

Les auteurs introduisent CMP-RT (Code-Mixed Phonetic Perturbations for Red-Teaming), une sonde diagnostique conçue pour isoler la vulnérabilité au niveau du tokenizer.

Processus de génération (3 étapes) :
1. Scénarios hypothétiques : Conversion des requêtes directes en scénarios hypothétiques pour atténuer les refus immédiats.
2. Code-mixing (CM) : Translittération de certains mots anglais en hindi (script latin) pour simuler le mélange de langues.
3. Perturbations phonétiques (CMP) : Modification manuelle des mots sensibles (ex: "DDOS attack" $\rightarrow$ "dee dee o es atak") pour les orthographier de manière à ce qu'ils soient phonétiquement identiques mais orthographiés différemment.
Objectif : Fragmenter les tokens critiques de sécurité (ex: "hate", "speech") en sous-mots bénins (ex: "ha" + "et") au niveau du tokenizer, tout en préservant l'interprétabilité de la demande pour le modèle.
Évaluation :
- Taux de succès d'attaque (AASR) : Capacité à générer du contenu nuisible.
- Taux de pertinence d'attaque (AARR) : Capacité du modèle à comprendre l'intention de la demande (mesure de l'interprétabilité).
- Analyse mécaniste : Utilisation de l'attribution des tokens (LayerIntegratedGradients) et de sondes linéaires par couche (layer-wise linear probes) pour tracer la propagation des représentations de sécurité.

3. Contributions Clés

Développement de CMP-RT : Une nouvelle méthode de test rouge (red-teaming) basée sur des perturbations phonétiques réalistes, démontrant une robustesse contre les défenses standards et une généralisation aux modalités texte et image.
Preuve de la vulnérabilité du tokenizer : L'analyse d'attribution montre que les perturbations phonétiques réduisent considérablement les scores d'attribution des tokens de sécurité, les empêchant de déclencher les filtres, même si le modèle comprend parfaitement la demande.
Identification d'une frontière de profondeur critique : Grâce à des sondes par couche, les auteurs identifient une couche spécifique (autour de la couche 17 dans Llama-3-8B) où les représentations des entrées canoniques et perturbées divergent.
Validation causale : Une expérience d'intervention (gel des premières couches et fine-tuning des couches supérieures) prouve que forcer l'équivalence de sortie au-delà de cette couche rétablit le comportement de sécurité sans réentraînement explicite sur les données de refus.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (ChatGPT-4o-mini, Llama-3-8B, Gemma-1.1-7B, Mistral-7B) et des modèles multimodaux (Gemini-2.5, Nano Banana Pro).

Efficacité de l'attaque (AASR) :
- CMP-RT augmente significativement le taux de succès d'attaque par rapport aux attaques en anglais standard ou au simple code-mixing.
- Exemple : Pour ChatGPT-4o-mini (sans template de jailbreak), le AASR passe de 0.10 (Anglais) à 0.50 (CMP). Pour Llama-3, il passe de 0.06 à 0.63.
- L'attaque fonctionne également sur les modèles multimodaux (génération d'images), avec des taux de succès élevés (ex: 0.78 pour ChatGPT en mode VisLM).
Préservation de la compréhension (AARR) :
- Malgré les fautes d'orthographe, les modèles maintiennent un taux de pertinence très élevé (souvent > 0.90), prouvant qu'ils comprennent l'intention de la demande mais échouent à activer les garde-fous.
Échec des défenses standards :
- L'API de modération d'OpenAI ne détecte que ~7,4 % des prompts CMP contre ~61 % des prompts anglais nuisibles.
- Le filtrage basé sur la perplexité (PPL) échoue à distinguer les entrées nuisibles des entrées bénines car les valeurs de perplexité sont comparables.
Analyse mécaniste :
- Fragmentation des tokens : Dans les entrées CMP, les mots comme "hate" sont tokenisés en "ha" + "et", ce qui supprime leur score d'importance pour les filtres de sécurité.
- Frontière de couche : Les sondes montrent que les représentations de sécurité sont alignées jusqu'à la couche 17, puis s'effondrent dans les couches profondes pour les entrées CMP.
- Intervention causale : En forçant l'équivalence de sortie entre l'anglais et le CMP dans les couches 18-32, le AASR chute de 0.46 à 0.22, confirmant que la divergence dans les couches profondes est la cause racine de l'échec de sécurité.

5. Signification et Implications

Faille structurelle : L'article démontre qu'il existe un écart fondamental entre le pré-entraînement (exposé à des perturbations informelles) et l'alignement (basé sur des entrées canoniques). La sécurité actuelle repose sur des représentations qui ne sont pas invariantes aux variations de surface phonétiques.
Vulnérabilité du Tokenizer : Le tokenizer est identifié comme le point faible critique. La sécurité ne réside pas uniquement dans les couches profondes, mais dépend de la manière dont les mots sont décomposés en amont.
Scalabilité : La vulnérabilité peut être exploitée à grande échelle via un simple fine-tuning supervisé (SFT) pour automatiser la génération de prompts perturbés.
Recommandations : Les auteurs soulignent la nécessité de réévaluer les pipelines de sécurité pour inclure des données d'entraînement et de test contenant des perturbations phonétiques réalistes, et de renforcer la robustesse des représentations internes face aux variations de surface.

Conclusion : Cette étude fournit une preuve mécaniste que les modèles de langage actuels possèdent une "zone aveugle" de sécurité liée à la tokenisation des variations phonétiques, permettant des attaques efficaces tout en maintenant une haute compréhension du contexte.