💬 NLP

Stochasticity in Tokenisation Improves Robustness

Cette étude démontre que l'entraînement des modèles de langage avec une tokenisation stochastique améliore leur robustesse face aux perturbations adverses et aléatoires sans compromettre la précision ni augmenter les coûts d'inférence.

Auteurs originaux : Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

Publié 2026-04-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛡️ L'Art de la "Désorganisation" : Comment rendre les IA plus solides

Imaginez que vous apprenez à un enfant à lire. Habituellement, vous lui montrez les mots écrits de manière standard, parfaitement espacés et orthographiés : "revolution". L'enfant apprend que ce mot correspond à une seule image mentale.

Mais que se passe-t-il si, soudainement, quelqu'un écrit ce mot de façon bizarre ?

"re-vol-u-tion"
"r-e-v-o-l-u-t-i-o-n"
"rev-ol-uti-on"

Pour un enfant (ou une intelligence artificielle) qui n'a vu que la version standard, ces variations peuvent sembler être des mots différents ou du charabia. L'enfant panique et ne comprend plus rien. C'est exactement le problème que les chercheurs ont découvert avec les Grands Modèles de Langage (LLM) comme ceux qui alimentent les chatbots actuels.

1. Le Problème : Des IA trop "rigides"

Les IA sont entraînées avec une méthode très stricte appelée tokenisation. C'est comme si on découpait une phrase en petits morceaux (des "tokens") pour les donner à l'IA.

La méthode classique (Canonique) : L'IA voit toujours le mot "revolution" découpé exactement de la même façon, une seule fois. C'est comme si elle apprenait à reconnaître un visage uniquement sous un angle précis, avec une lumière fixe.
Le danger : Si un pirate informatique (un "attaquant") change légèrement la façon dont le mot est découpé (en ajoutant des tirets ou en changeant la taille des morceaux), l'IA, qui n'a jamais vu ça, peut se tromper complètement. C'est comme si un voleur portait un masque très simple, mais suffisant pour tromper un gardien qui n'a jamais vu de masques.

2. La Solution : L'Entraînement au "Chaos Contrôlé"

L'idée géniale de ce papier est simple : pour rendre l'IA plus forte, il faut l'entraîner dans le chaos.

Au lieu de montrer à l'IA le mot "revolution" toujours découpé de la même façon, les chercheurs lui montrent des milliers de façons différentes de le découper pendant l'entraînement :

Parfois : "re-vol-ution"
Parfois : "r-e-v-o-l-u-t-i-o-n"
Parfois : "rev-ol-uti-on"

C'est comme si vous entraîniez un soldat non pas seulement à marcher sur un terrain plat, mais aussi sur des sentiers boueux, des escaliers, et dans la pluie. Résultat ? Quand il arrive sur le terrain plat (la réalité normale), il est indestructible.

3. Les Découvertes Clés (avec des analogies)

L'entraînement aléatoire (Stochasticité) :
Les chercheurs ont découvert que si l'on entraîne l'IA avec ces découpages aléatoires, elle devient beaucoup plus robuste. Elle ne panique plus quand on lui présente une version "bizarre" d'un mot. Elle comprend que le sens du mot reste le même, peu importe comment on le découpe.
Le problème de la "mauvaise" randomisation :
Au début, ils pensaient que n'importe quel chaos suffisait. Mais ils ont réalisé que leur première méthode (appelée STOCHASTOK) était un peu comme un jeu de dés truqué : elle produisait certains découpages très souvent et d'autres jamais.
- L'analogie : Imaginez un professeur qui pose des questions aléatoires, mais qui pose toujours les mêmes 5 questions sur 100. L'élève apprendra à répondre à ces 5 questions, mais échouera face aux 95 autres.
- La correction : Ils ont créé de nouvelles méthodes (STOCHASTOK-UNI et UNIFORM-K) qui garantissent que toutes les façons possibles de découper un mot sont vues, de manière équitable. C'est comme un professeur qui pose vraiment n'importe quelle question possible.
Le résultat spectaculaire :
- Sans cet entraînement spécial, si on change légèrement la façon d'écrire un mot pour tromper l'IA, son score de réussite chute de 94% à 6% (c'est catastrophique !).
- Avec l'entraînement au "chaos contrôlé", son score reste élevé (autour de 70%) même face aux attaques les plus malveillantes.

4. Pourquoi c'est important pour nous ?

Pensez à la sécurité d'une maison.

L'IA classique est comme une maison avec une porte blindée, mais dont la serrure est très simple. Un cambrioleur qui connaît la serrure peut l'ouvrir facilement.
L'IA entraînée avec cette méthode est comme une maison où les murs, le toit et les fenêtres ont été renforcés de manière aléatoire et imprévisible. Le cambrioleur ne sait plus par où passer, car la maison a appris à résister à toutes les formes d'effraction possibles.

En résumé :
Ce papier nous dit que pour rendre les intelligences artificielles plus sûres et moins faciles à tromper, il ne faut pas les entraîner dans un monde parfait et ordonné. Il faut les habituer à l'imprévu, au désordre et aux variations. En acceptant le "chaos" pendant l'apprentissage, l'IA devient inébranlable face aux tentatives de manipulation.

C'est une leçon de vie aussi bien pour les machines que pour nous : ceux qui s'entraînent dans la difficulté sont ceux qui survivent le mieux à la réalité.

1. Problématique

L'adoption massive des grands modèles de langage (LLM) a accru les préoccupations concernant leur sécurité et leur robustesse. Une vulnérabilité critique a été identifiée au niveau de la tokenisation (le processus de découpage du texte en unités significatives).

Tokenisation Canonique : Les LLMs modernes utilisent généralement une fonction de tokenisation déterministe (ex: BPE - Byte Pair Encoding) qui produit une séquence de tokens unique et canonique pour chaque chaîne de caractères.
Vulnérabilité : Les modèles entraînés uniquement sur cette tokenisation canonique sont extrêmement fragiles face aux attaques adverses. Une modification mineure de la tokenisation (tokenisation non canonique), qui préserve le sens du texte mais change la séquence de tokens, peut faire chuter drastiquement la performance du modèle ou briser son alignement de sécurité.
Hypothèse : L'entraînement avec des tokenisations stochastiques (aléatoires) pourrait exposer le modèle à différentes segmentations d'un même mot, rendant ses représentations internes moins sensibles aux perturbations et améliorant ainsi sa robustesse.

2. Méthodologie

Les auteurs ont mené une étude systématique à travers plusieurs régimes d'apprentissage (pré-entraînement, ajustement fin supervisé, apprentissage en contexte) et sur différentes architectures de modèles (Tiny-LLM, Llama-1b, Llama-8b, etc.).

A. Mécanismes de Tokenisation Stochastique

L'étude compare plusieurs schémas de tokenisation stochastique :

STOCHASTOK : Une méthode existante qui divise aléatoirement les tokens canoniques en sous-tokens selon les règles de fusion du vocabulaire.
- Limitation identifiée : La distribution d'échantillonnage est biaisée (certaines tokenisations sont plus probables que d'autres) et possède un support incomplet (elle ne peut pas générer toutes les tokenisations non canoniques possibles, car elle ne permet que des fusions binaires itératives).
STOCHASTOK-UNI (Proposition des auteurs) : Une extension qui corrige le biais. Elle échantillonne uniformément les tokenisations non canoniques conditionnellement au nombre de divisions par token, tout en conservant la distribution du nombre de divisions induite par STOCHASTOK.
UNIFORM-K (Proposition des auteurs) : Une méthode qui échantillonne uniformément les tokenisations non canoniques à une distance d'édition $k$ spécifique sur l'ensemble de la séquence d'entrée. Elle permet des divisions qui traversent les frontières des tokens canoniques, offrant un support plus large.
UNIFORM : Échantillonnage uniforme sur l'ensemble de toutes les tokenisations valides (coût computationnel élevé).

B. Protocole Expérimental

Tâches : Questions à choix multiples (Language Game, CUTE, et benchmarks généraux comme ARC-E, COPA, etc.).
Évaluation :
- Robustesse aléatoire : Test sur des tokenisations non canoniques échantillonnées aléatoirement avec différents niveaux de perturbation (nombre de divisions normalisé).
- Robustesse adverse : Utilisation d'une attaque par recherche gloutonne (greedy search) pour trouver la tokenisation non canonique qui maximise l'erreur du modèle (attaques d'évasion).
Régimes :
- Pré-entraînement : Entraînement d'un modèle Tiny-LLM à partir de zéro.
- Fine-tuning (Ajustement fin) : Adaptation de modèles pré-entraînés (Llama-1b, GPT2-xl) avec des données tokenisées stochastiquement.
- In-Context Learning (ICL) : Utilisation d'exemples en contexte avec des tokenisations stochastiques sans mise à jour des paramètres.

3. Contributions Clés

Analyse de la Robustesse : Démonstration que l'entraînement avec des tokenisations stochastiques améliore significativement la robustesse aux perturbations aléatoires et adverses, sans dégrader la précision sur les données canoniques propres.
Identification des Limites de STOCHASTOK : Mise en évidence du biais de distribution et du support incomplet de la méthode STOCHASTOK originale, qui la rendent vulnérable aux attaques adverses les plus fortes.
Nouvelles Méthodes d'Échantillonnage : Introduction de STOCHASTOK-UNI et UNIFORM-K, qui assurent une distribution uniforme (conditionnelle ou marginale) et un support complet, offrant une meilleure protection contre les attaques adverses.
Analyse Théorique : Dérivation d'une borne supérieure théorique pour le risque adverse. Les auteurs montrent que la tokenisation stochastique réduit la constante de Lipschitz locale du modèle, lissant l'espace d'embedding et rendant les perturbations adverses moins efficaces.

4. Résultats Principaux

Amélioration de la Robustesse :
- Un modèle Llama-1b entraîné canoniquement voit sa précision chuter de 29,8 % lorsqu'évalué sur des tokenisations non canoniques uniformes.
- L'ajustement fin avec UNIFORM-K ou STOCHASTOK-UNI réduit cette chute à moins de 1 %, voire l'améliore légèrement (+1,4 % à +2,8 %).
Résistance aux Attaques Adverses :
- Face à des attaques adverses, un modèle canonique voit sa précision tomber de 94 % à 6,1 %.
- Un modèle fine-tuné avec UNIFORM-K maintient une précision de 69,6 % sous attaque, démontrant une robustesse bien supérieure.
Impact du Support et de l'Uniformité :
- Les méthodes avec un support plus large (capacité à générer plus de types de tokenisations) et une distribution plus uniforme (UNIFORM-K, STOCHASTOK-UNI) surpassent systématiquement STOCHASTOK original, surtout dans les scénarios d'attaques adverses.
Apprentissage en Contexte (ICL) : L'utilisation de tokenisations stochastiques dans les exemples en contexte améliore la robustesse, mais moins efficacement que le fine-tuning complet.
Coût : L'entraînement stochastique n'augmente pas le coût d'inférence (le modèle reste le même, seule la phase d'entraînement change).

5. Signification et Impact

Guide Pratique : L'article recommande vivement d'utiliser la tokenisation stochastique (en particulier des schémas uniformes comme UNIFORM-K ou STOCHASTOK-UNI) lors du fine-tuning des LLMs pour les rendre plus résilients aux attaques et aux variations d'entrée, sans pénalité de performance en conditions normales.
Compréhension Théorique : L'étude fournit une base théorique reliant la tokenisation à la stabilité des modèles, suggérant que l'exposition à la variabilité des tokenisations agit comme un régularisateur naturel de l'espace latent du modèle.
Sécurité des LLMs : En comblant la faille de la fragilité aux tokenisations non canoniques, cette approche contribue à sécuriser les déploiements de LLMs contre des attaques subtiles qui ne modifient pas le contenu textuel mais exploitent la structure de tokenisation.

En conclusion, ce travail démontre que la stochasticité contrôlée lors de l'entraînement est un levier puissant pour améliorer la robustesse fondamentale des modèles de langage face aux perturbations d'entrée, transformant une vulnérabilité structurelle en une opportunité d'apprentissage.