💬 NLP

Stochasticity in Tokenisation Improves Robustness

Die Studie zeigt, dass das Training von Sprachmodellen mit stochastischer Tokenisierung die Robustheit gegenüber adversariellen Angriffen und zufälligen Störungen verbessert, ohne die Genauigkeit oder die Inferenzkosten zu beeinträchtigen.

Ursprüngliche Autoren: Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

Veröffentlicht 2026-04-20

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Warum Zufall im Computer die KI robuster macht

Stell dir vor, du hast einen sehr klugen, aber etwas sturen Assistenten. Dieser Assistent liest Texte nicht als ganze Wörter, sondern zerlegt sie in kleine Bausteine, die wir „Tokens" nennen. Das ist wie wenn du ein Wort wie „Haus" nicht als Ganzes siehst, sondern es in „H", „au" und „s" aufteilst.

Normalerweise macht dieser Assistent das immer genau gleich. Wenn er das Wort „Haus" sieht, zerlegt er es immer in „H-au-s". Das nennt man eine „kanonische" (also die einzige, festgelegte) Zerlegung.

Das Problem: Ein einziger Trick reicht, um ihn zu verwirren

Das Problem ist: Wenn ein böser Hacker genau weiß, wie der Assistent zerlegt, kann er das Wort ein bisschen anders schreiben, ohne dass sich die Bedeutung ändert.

Statt „Haus" schreibt er vielleicht „H-aus" oder „Ha-us".
Für uns Menschen ist das dasselbe Wort.
Für den sturen Assistenten ist das aber ein völlig neuer, unbekannter Code. Er gerät in Panik und macht Fehler.

Die Forscher haben herausgefunden: Wenn der Assistent nur eine Art zu zerlegen lernt, ist er wie ein Schloss, das nur einen einzigen Schlüssel öffnet. Ein kleiner Trick (ein anderer Schlüssel) reicht, um ihn zu knacken.

Die Lösung: Der „Zufalls-Modus"

Die Idee in diesem Papier ist genial einfach: Lass den Assistenten beim Lernen zufällig sein!

Stell dir vor, du trainierst einen Sportler.

Der alte Weg (Deterministisch): Du lässt ihn immer nur auf dem exakt gleichen, perfekten Laufweg trainieren. Wenn er dann im Wettkampf auf einem leicht holprigen Weg läuft, stolpert er sofort.
Der neue Weg (Stochastisch/Zufällig): Du lässt ihn beim Training immer wieder den Weg ein bisschen anders wählen. Mal läuft er auf der linken Seite, mal auf der rechten, mal hüpft er über eine kleine Wurzel.

Wenn er dann im Wettkampf (also beim echten Einsatz) auf einen holprigen Weg trifft, stolpert er nicht mehr. Er ist robust. Er hat gelernt, dass es viele Wege gibt, zum selben Ziel zu kommen.

Was die Forscher genau gemacht haben

Die Autoren haben verschiedene Methoden getestet, um diesen „Zufall" beim Training einzubauen:

Einfaches Raten (STOCHASTOK): Sie ließen den Computer beim Training das Wort manchmal in „H-au-s", manchmal in „Ha-us" und manchmal in „H-a-u-s" zerlegen. Das half schon etwas, aber der Computer lernte dabei nicht alle Möglichkeiten gleich gut. Es war wie ein Zufall, der sich immer wieder auf die gleichen Tricks verließ.
Der faire Zufall (STOCHASTOK-UNI & UNIFORM-K): Hier haben die Forscher den Zufall verbessert. Sie sorgten dafür, dass der Computer jede mögliche Art, ein Wort zu zerlegen, gleich oft und fair sieht. Das ist wie ein Trainer, der dem Sportler jeden denkbaren Untergrund zeigt, nicht nur die Lieblingswege.

Das Ergebnis: Stärker ohne Nachteile

Das Tolle an ihrer Entdeckung ist:

Robustheit: Der trainierte Assistent wird extrem widerstandsfähig. Selbst wenn Hacker versuchen, das Wort so zu zerlegen, dass der Assistent verwirrt wird, bleibt er ruhig und macht die richtige Antwort.
Kein Nachteil: Der Assistent wird nicht langsamer oder dümmer, wenn er wieder normale Texte liest. Er behält seine Intelligenz bei.
Kostenlos: Es kostet keine extra Rechenleistung, wenn er später arbeitet. Der „Zufall" passiert nur während des Trainings.

Zusammenfassung in einem Satz

Indem man Künstliche Intelligenz während des Trainings zufällige Wege zum Zerlegen von Wörtern zeigt, macht man sie widerstandsfähig gegen Hacker-Tricks und Fehler, ohne ihre eigentliche Leistung zu verschlechtern. Es ist der Unterschied zwischen einem Soldaten, der nur auf einer geraden Straße trainiert hat, und einem, der in jedem Gelände geübt hat.

1. Problemstellung

Große Sprachmodelle (LLMs) sind anfällig für Störungen in der Eingabetokenisierung. Die meisten Modelle werden mit einer deterministischen kanonischen Tokenisierung (z. B. mittels Byte-Pair Encoding, BPE) trainiert. Dies bedeutet, dass ein Text immer in exakt dieselbe Folge von Tokens zerlegt wird.

Verwundbarkeit: Da die Decodierung eine viele-zu-eine-Mapping-Funktion ist, existieren für denselben Text oft mehrere gültige Token-Sequenzen (nicht-kanonische Tokenisierungen). Modelle, die nur die kanonische Variante sehen, zeigen eine extreme Fragilität gegenüber nicht-kanonischen Tokenisierungen, was zu drastischen Genauigkeitsverlusten bei zufälligen Störungen oder gezielten adversariellen Angriffen führt.
Lücke: Bisherige Ansätze zur Verbesserung der Robustheit (z. B. Fine-Tuning oder Red Teaming) haben die Tokenisierungsebene oft nicht ausreichend adressiert. Die Frage, ob das Training mit stochastischer Tokenisierung die Robustheit verbessern kann, war bisher offen.

2. Methodik

Die Autoren untersuchen systematisch, wie das Training mit stochastischer Tokenisierung die Robustheit gegenüber zufälligen und adversariellen Perturbationen beeinflusst.

Stochastische Tokenisierung: Anstatt nur die kanonische Zerlegung zu verwenden, werden während des Trainings alternative Zerlegungen desselben Strings generiert.
- Ausgangspunkt: Das Paper nutzt zunächst STOCHASTOK (Sims et al., 2026), das Tokens zufällig in Sub-Token-Paare spaltet.
- Identifizierte Mängel von STOCHASTOK: Die Autoren zeigen, dass STOCHASTOK zwei kritische Schwächen hat:
  1. Verzerrte Verteilung (Bias): Es bevorzugt bestimmte Tokenisierungen basierend auf der Anzahl der verfügbaren Spaltmöglichkeiten.
  2. Unvollständiger Support: Es kann nicht alle möglichen nicht-kanonischen Tokenisierungen innerhalb eines bestimmten Editierabstands generieren (z. B. fehlen bestimmte Kombinationen, die nicht durch schrittweise 2-Wege-Merges erreichbar sind).
Neue Sampling-Schemata: Um diese Mängel zu beheben, entwickeln die Autoren zwei verbesserte Methoden:
- STOCHASTOK-UNI: Eine Erweiterung, die eine gleichmäßige (uniforme) Verteilung über die Tokenisierungen innerhalb der durch STOCHASTOK erreichbaren Menge erzeugt (behebt den Bias, behält aber den eingeschränkten Support bei).
- UNIFORM-K: Eine Methode, die Tokenisierungen uniform über die gesamte Menge der gültigen nicht-kanonischen Tokenisierungen mit einem bestimmten Editierabstand $k$ (bzw. einer bestimmten Anzahl von Spaltungen) zieht. Dies nutzt Multi-valued Decision Diagrams (MDD), um den vollen Support zu gewährleisten und den Bias vollständig zu eliminieren.
Evaluierte Lernregime: Die Studie untersucht drei Phasen:
1. Pre-Training: Training von Grund auf (Tiny-LLM).
2. Supervised Fine-Tuning (SFT): Feinabstimmung vortrainierter Modelle (Llama-1b, Llama-8b, GPT2-xl, Qwen-0.6b).
3. In-Context Learning (ICL): Nutzung von Beispielen im Kontext ohne Parameter-Updates.

3. Wichtige Beiträge

Empirische Analyse der Robustheit: Der Nachweis, dass Training mit stochastischer Tokenisierung die Robustheit gegenüber zufälligen und adversariellen Tokenisierungen signifikant verbessert, ohne die Genauigkeit auf kanonischen Daten zu beeinträchtigen.
Analyse der Sampling-Verteilung: Die Entdeckung, dass der bestehende Ansatz STOCHASTOK verzerrt und unvollständig ist. Die Einführung von STOCHASTOK-UNI und UNIFORM-K als überlegene Alternativen, die eine uniforme Verteilung und einen vollständigen Support bieten.
Theoretische Einblicke: Eine theoretische Herleitung der adversariellen Robustheit. Die Autoren zeigen, dass stochastisches Training die lokale Lipschitz-Konstante des Modells reduziert, indem es den Embedding-Raum glättet. Dies macht es für Angreifer schwieriger, eine Perturbation zu finden, die die Vorhersage ändert.
Praktische Leitlinie: Die Empfehlung, Fine-Tuning-Prozesse standardmäßig mit stochastischer Tokenisierung durchzuführen, da dies keine zusätzlichen Inferenzkosten verursacht.

4. Ergebnisse

Robustheit gegen zufällige Störungen: Modelle, die mit stochastischer Tokenisierung (insbesondere UNIFORM-K und STOCHASTOK-UNI) feinabgestimmt wurden, zeigen eine deutlich höhere Stabilität bei Testeingaben mit nicht-kanonischen Tokenisierungen.
- Beispiel: Ein kanonisch trainiertes Llama-1b-Modell verliert bei uniformen nicht-kanonischen Tokenisierungen 29,8 % Genauigkeit. Ein mit UNIFORM-K feinabgestimmtes Modell verliert nur 0,6 % (oder gewinnt sogar leicht).
Robustheit gegen adversarielle Angriffe:
- Kanonisch trainierte Modelle kollabieren bei adversariellen Tokenisierungen fast vollständig (Genauigkeit fällt von ~94 % auf 6,1 %).
- Modelle mit stochastischem Fine-Tuning (UNIFORM-K) halten ihre Genauigkeit bei 69,6 % aufrecht.
- Die Uniformität der Verteilung ist entscheidend: UNIFORM-K und STOCHASTOK-UNI übertrumpfen das ursprüngliche STOCHASTOK bei adversariellen Angriffen signifikant.
In-Context Learning (ICL): Auch ohne Parameter-Updates kann die Robustheit durch stochastische Tokenisierung der Kontextbeispiele verbessert werden, wenn auch weniger effektiv als beim Fine-Tuning.
Kosten: Die Methode erhöht die Inferenzkosten nicht, da die stochastische Tokenisierung nur während des Trainings (bzw. beim Erstellen der Kontextbeispiele) stattfindet.

5. Bedeutung und Fazit

Das Paper liefert einen fundamentalen Beitrag zum Verständnis der Sicherheit von LLMs. Es zeigt, dass die scheinbar technische Komponente der Tokenisierung ein kritischer Schwachpunkt ist, der jedoch durch eine einfache Änderung des Trainingsprozesses (Einführung von Stochastizität) behoben werden kann.

Sicherheitsimplikation: Die Arbeit warnt vor der Verwundbarkeit von LLMs gegenüber nicht-kanonischen Tokenisierungen und bietet eine praktische Lösung, um diese Angriffsfläche zu schließen.
Theoretische Untermauerung: Die Verbindung zwischen stochastischem Training und der Reduktion der lokalen Lipschitz-Konstanten bietet ein theoretisches Fundament für die beobachtete Robustheit.
Empfehlung: Für die Praxis wird empfohlen, Fine-Tuning und Pre-Training nicht mehr deterministisch, sondern mit uniformer stochastischer Tokenisierung durchzuführen, um robustere und sicherere Sprachmodelle zu erhalten.