💬 NLP

Stochasticity in Tokenisation Improves Robustness

この論文は、事前学習や微調整において一様サンプリングされた確率的なトークナイズを採用することで、LLM の敵対的攻撃やランダムな摂動に対する頑健性を向上させつつ、推論コストを増加させることなく精度を維持できることを示しています。

原著者： Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

公開日 2026-04-20

📖 1 分で読めます☕ さくっと読める

原著者： Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の要約：AI の「強さ」を高める新しいトレーニング法

この論文は、最近大流行している「大規模言語モデル（LLM）」という AI について、**「少しの揺らぎ（ノイズ）でも壊れやすい」という弱点を発見し、それを「あえて揺らぎのある状態でトレーニングする」**ことで解決しようとする画期的な研究です。

以下に、専門用語を排し、身近な例え話を使って解説します。

1. 問題：AI は「完璧な読み方」しか知らない

まず、AI が文章を読む仕組みを理解しましょう。
AI は文章を「単語」や「文字の塊（トークン）」に分割して理解しています。通常、この分割は**「決まったルール（カノン）」**に従って行われます。

例え話：
Imagine 料理人が「トマト」を切る時、**「必ず真ん中で 2 等分する」**というルールだけを知っているとします。
- 客が「トマトを 2 等分して」と頼めば、完璧に切れます。
- しかし、客が「トマトを 3 等分して」と頼んだり、「皮を少し残して切って」と頼んだりすると、料理人はパニックになります。「そんな切り方はルールにない！」と、料理が壊れてしまうのです。

これが、現在の AI が抱える**「トークン化の脆弱性」**です。入力された文章の分割方法が、AI が学習した「決まったルール」と少しでもズレると（例えば、敵意を持って意図的にズラされた場合）、AI は正しく答えられなくなります。

2. 解決策：あえて「バラバラな切り方」で練習する

この論文の提唱する解決策は、**「トレーニング中に、あえていろんな切り方（ランダムな分割）を混ぜて教える」**というものです。

新しいアプローチ：
先ほどの料理人に、**「トマトを 2 等分するだけでなく、3 等分したり、皮付きのまま切ったり、バラバラにしたりする練習もしてね」**と指導します。
- 最初は「えっ、そんな切り方でいいの？」と混乱するかもしれませんが、練習を繰り返すうちに、**「どんな切り方でも、これは『トマト』だと理解できる」という「本質的な理解力」**が身につきます。

これを**「確率的トークン化（Stochastic Tokenisation）」と呼びます。AI に「揺らぎ」のある状態で学習させることで、どんな入力に対しても「しなやかで頑丈（ロバスト）」**な AI に育て上げます。

3. 実験結果：「揺らぎ」が最強の防御になる

研究者たちは、この方法を試しました。

結果：
- 普通の AI（決まったルールで学習）： 少しのズレ（敵の攻撃）で、正解率が30%近くも下がってしまいました。
- 新しい AI（揺らぎで学習）： どんなにズラされた入力でも、正解率をほとんど落とさず、安定して正解しました。

さらに面白いことに、**「推理力（推論）」や「文脈からの学習（イン・コンテキスト・ラーニング）」**においても、この「揺らぎ学習」は有効でした。つまり、AI の頭脳そのものが強靭になったのです。

4. さらに進化：「偏り」のないランダムさが重要

研究を進める中で、単に「ランダムに切る」だけでは不十分だと分かりました。

最初の試み（STOCHASTOK）： 特定の切り方に偏りがあり、敵に狙われやすい場所がありました。
改良版（STOCHASTOK-UNI, UNIFORM-K）： **「すべての切り方を公平に（均等に）経験させる」**ようにルールを変えました。

これにより、AI は**「どんな切り方でも平等に理解できる」**ようになり、敵がどんな攻撃（意図的なズレ）を仕掛けても、全く動じない最強の防御力を手に入れました。

5. 結論：AI を守るための新しい常識

この論文が示したメッセージはシンプルです。

「AI を強くしたいなら、完璧な環境で育てるのではなく、あえて『カオス（混乱）』の中にさらして鍛えろ」

コスト： 学習中は少し大変ですが、「使うとき（推論時）には、特別なコストがかかりません」。
効果： 敵の攻撃（ハッキングや意図的なミス入力）に対する耐性が劇的に向上します。

まとめ

この研究は、AI を**「決まりきった型にはまった生徒」から「どんな状況でも臨機応変に答えられる賢い生徒」**へと変えるための、非常に実用的で効果的なトレーニング法を提案しています。

これからの AI 開発では、「いかに正確に教えるか」だけでなく、**「いかに多様な揺らぎの中で学ばせるか」**が、AI の安全性と信頼性を高める鍵になるでしょう。

論文「Stochasticity in Tokenisation Improves Robustness」の技術的サマリー

この論文は、大規模言語モデル（LLM）のトークナイズ（分詞）のランダム性（確率性）を導入することで、モデルの頑健性（ロバストネス）を向上させることができるという仮説を検証し、その有効性とメカニズムを体系的に分析した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義：LLM のトークナイズに対する脆弱性

近年の LLM は、Byte Pair Encoding (BPE) などの決定論的（deterministic）なサブワードトークナイズを採用しています。通常、モデルはトレーニング時に「標準的な（canonical）」トークナイズのみを学習します。しかし、同じ文字列に対して複数の異なるトークン列（非標準的トークナイズ）が存在する可能性があります。

脆弱性の実態: 入力テキストのトークナイズをわずかに変更するだけで（例：単語の分割位置を変える）、モデルの予測精度が劇的に低下したり、敵対的攻撃（Adversarial Attacks）によってモデルの安全性や整合性が破られることが報告されています。
既存手法の限界: 従来のトレーニングでは、モデルは特定の分割パターンに過剰適合しており、入力トークナイズの摂動に対して非常に脆い（brittle）状態にあります。

2. 手法とアプローチ

本研究では、トレーニング段階で**確率的トークナイズ（Stochastic Tokenisation）**を導入し、モデルが同一の文字列に対して多様な分割パターンを学習することを提案しました。

2.1 既存手法の分析と限界

まず、Sims et al. (2026) が提案した「STOCHASTOK」手法を分析しました。STOCHASTOK はトークンをランダムに分割しますが、以下の 2 つの重大な欠点があることが判明しました。

バイアス（Bias）: 特定の分割パターンが優先され、分布が偏っている。
サポートの不完全性（Incomplete Support）: 可能なすべての非標準的トークナイズの集合を網羅できていない（特定の分割経路しか生成できない）。

2.2 提案手法：均一サンプリングの導入

上記の欠点を克服するため、より均一で包括的なサンプリング手法を 2 つ提案しました。

STOCHASTOK-UNI: STOCHASTOK が生成する「1 トークンあたりの分割数」の分布は維持しつつ、その条件付きで均一分布となるようにトークナイズをサンプリングする手法。
UNIFORM-K: 入力シーケンス全体に対して、編集距離 $k$ の範囲内で完全に均一に非標準的トークナイズをサンプリングする手法。これにより、トークン境界を跨いだ分割も可能になり、より広い探索空間をカバーします。

2.3 評価プロトコル

以下の 3 つの学習レジームにおいて、ランダム摂動および敵対的摂動に対する頑健性を評価しました。

事前学習（Pre-training）: 小規模モデル（Tiny-LLM）を用いてゼロから学習。
教師あり微調整（Supervised Fine-tuning）: 既存のモデル（Llama-1b, Llama-8b, GPT2-xl など）を微調整。
コンテキスト内学習（In-Context Learning, ICL）: パラメータ更新なしで、コンテキスト例に確率的トークナイズを適用。

3. 主要な結果

3.1 頑健性の劇的な向上

微調整による効果: 標準的なトークナイズで微調整された Llama-1b モデルは、テスト時に非標準的トークナイズを適用されると精度が**29.8%**も低下しました。一方、確率的トークナイズ（特に UNIFORM-K や STOCHASTOK-UNI）で微調整されたモデルは、摂動に対して高い精度を維持しました。
敵対的攻撃への耐性: 敵対的トークナイズ攻撃（Greedy Search による攻撃）に対する評価では、標準微調整モデルの精度は 94% から 6.1% まで崩壊しましたが、UNIFORM-K で微調整したモデルは 69.6% を維持しました。これは、均一サンプリングが敵対的攻撃に対する防御に極めて有効であることを示しています。

3.2 サンプリング分布の重要性

単にランダムに分割するだけでは不十分であり、**「均一性（Uniformity）」と「サポートの広さ（Support）」**が鍵であることが示されました。
STOCHASTOK（バイアスあり）よりも、STOCHASTOK-UNI や UNIFORM-K（均一分布）の方が、特に敵対的評価において顕著に高い性能を示しました。

3.3 推論コストと精度のトレードオフ

トレーニング時に確率的トークナイズを導入しても、推論時のコストは増加しません（推論時は通常、標準的なトークナイズを使用可能）。
標準的なテストデータ（クリーンケース）における精度を維持しつつ、摂動に対する頑健性を向上させることができました。

3.4 理論的洞察

敵対的リスク（Adversarial Risk）の理論的解析を行い、トークナイズの分布がモデルの埋め込み空間の滑らかさ（Lipschitz 定数）に影響を与えることを示しました。確率的トークナイズは、埋め込み空間を平滑化し、局所的な摂動に対する感度を低下させることで頑健性を向上させます。

4. 結論と意義

主要な貢献

確率的トークナイズの頑健性検証: トレーニング段階での確率的トークナイズが、ランダムおよび敵対的摂動に対する LLM の頑健性を向上させることを実証しました。
サンプリング手法の改良: 既存手法のバイアスとサポート不足を解決し、均一サンプリング（STOCHASTOK-UNI, UNIFORM-K）を提案しました。
理論的裏付け: トークナイズの分布とモデルの敵対的頑健性の間の理論的関係を定式化しました。

実用的な意義（Practitioner Guide）

トレーニング推奨: 将来的に LLM を微調整する際、標準的なトークナイズではなく、確率的トークナイズ（特に均一サンプリングを用いたもの）を使用するべきです。これにより、追加の推論コストなしにモデルの安全性と堅牢性を大幅に向上させることができます。
セキュリティへの寄与: 入力トークナイズを操作する攻撃に対する防御策として、確率的トレーニングは非常に有望な方向性を示しています。

限界と今後の課題

現在の評価は主に質問応答タスクに限定されています。自然言語生成タスクへの拡張や、最適な確率的分隔設計のさらなる分析が必要です。

総括:
この論文は、LLM の「分詞（トークナイズ）」がモデルの脆弱性の根源の一つであることを指摘し、トレーニング時に意図的に多様な分詞パターンを学習させることで、この脆弱性を克服できることを示しました。特に、単なるランダム化ではなく、**「均一なサンプリング分布」**を実現することが、敵対的攻撃に対する防御において決定的に重要であるという知見は、LLM のセキュリティと信頼性向上に向けた重要な指針となります。