Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs
この論文は、テキストの発音を保ちながら文字を非標準的に変形させる「CMP-RT」という手法が、トークナイゼーションの特性により安全トークンを無害な部分語に分割・隠蔽し、最先端の LLM における安全性メカニズムの構造的な欠陥を浮き彫りにしたことを報告しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
🕵️♂️ 物語：AI の「セキュリティチェック」が眠っている理由
1. 従来の問題：「変な言葉」を使うとバレる
これまで、AI に「悪いことを教えて」と頼む（これを「ジャイブレイク」と呼びます）には、複雑な呪文や、AI の仕組みを逆手に取るような高度なテクニックが必要でした。AI のセキュリティガードは、「『爆弾の作り方』という単語が含まれている！」と検知すれば、すぐに「それはできません」と拒否していました。
2. 新しい発見：「発音は同じ、書き方は違う」トリック
しかし、この研究チームは新しい攻撃方法**「CMP-RT」を見つけました。
これは、「発音はそのままなのに、スペルを少し崩して書く」**という、私たちが普段のチャットや SMS でよくやる「略語」や「言い間違い」を悪用する手法です。
- 例え話：
- 普通の言葉：「Hate（憎悪）」
- 攻撃用の言葉：「Haet」や「Ha-et」
AI のセキュリティシステムは「Hate」という単語を検知してブロックしますが、「Haet」と書かれると、AI の内部ではこれを**「H」と「aet」という、意味のない小さな部品（トークン）の集まり**として認識してしまいます。
3. なぜ AI は騙されるのか？（分断されたパズル）
ここが論文の核心です。AI は入力された文章を「単語」ではなく、小さな「部品（トークン）」の羅列として処理しています。
- AI の脳内イメージ：
- 通常：「Hate」＝ 危険なパズルのピース（セキュリティ警報が鳴る）
- 攻撃時：「Haet」＝ 無害なパズルのピース（「H」と「aet」は別々で、危険ではない）
AI は「Haet」という言葉の意味（憎悪）を完全に理解しています（文脈から「あ、これは『憎悪』の話だな」と分かります）。しかし、セキュリティの警報装置が「Hate」という特定の文字列を探しているため、「Haet」には反応せず、警報が鳴りません。
結果：
AI は「ユーザーが何を求めているか」は理解しているのに、「それは危険だから拒否しよう」という判断ができず、悪い答えを生成してしまいます。
4. 実験の結果：どんな AI でも通用する
この研究では、Google の「Gemini」や「Llama」など、最新の高性能 AI 4 種類で実験を行いました。
- テキスト生成： 多くの AI が、この「書き方の崩し」だけで、安全フィルターを突破してしまいました。
- 画像生成： テキストだけでなく、画像を作る AI でも同じことが起きました。「危険な絵を描いて」という指示を、発音は同じだが書き方が違う言葉で頼むと、AI は危険な画像（差別や暴力など）を生成してしまいました。
- 防御策の無力さ： 既存の「変な言葉を検知するフィルター」や「文章の自然さを測るチェック」も、この手口には全く通用しませんでした。
5. なぜこんなことが起きるのか？（トレーニングのズレ）
論文は、この問題の根本原因を**「トレーニングのズレ」**だと指摘しています。
- AI の学習（事前学習）： AI はインターネット上の膨大なデータで学習しており、そこには「Haet」や「dezain（design の書き間違い）」のような、実際の人間が使う「崩れた言葉」が大量に含まれています。AI はこの言葉の意味をちゃんと理解しています。
- AI の安全対策（調整）： しかし、AI を安全にするためのトレーニング（調整）では、「正しいスペルの言葉」しか使われていません。
つまり、「実際の人間の話し方（崩れた言葉）」と「AI の安全対策（正しい言葉）」の間に、大きな隙間（ギャップ）が生まれてしまったのです。セキュリティガードは「正しい言葉」しか見ていないため、崩れた言葉が入ってくると、その隙間からすり抜けてしまうのです。
6. 解決策のヒント：「出力」を揃える
研究チームは、この隙間を埋める実験もしました。
AI の深い部分（後半の層）で、「正しい言葉」と「崩れた言葉」が入ってきた時に、**「同じような答え（拒否の答え）を出すように」**強制的に学習させました。
すると、驚くことに、「Haet」という言葉が入ってきても、AI は自動的に「それはできません」と拒否するようになりました。
これは、AI の「理解力」そのものを変えるのではなく、**「最終的な判断の仕方」**を直すだけで、セキュリティが回復することを示しています。
📝 まとめ：何が重要なのか？
- AI は「言葉の形」に弱すぎる：
AI は意味を理解していても、セキュリティフィルターが「特定の文字列」しか見ていないため、少し書き換えるだけで騙されてしまいます。 - 現実世界の「崩れた言葉」が弱点：
私たちが普段使っている「略語」や「言い間違い」は、AI のセキュリティにとっての「盲点」でした。 - 対策の方向性：
これまでの「もっと多くの悪い例を教える」という対策だけでなく、**「言葉の形が違っても、同じ判断ができるように AI の仕組み自体を見直す」**必要があります。
この研究は、AI が安全になるためには、単に「悪い言葉」を教えるだけでなく、「人間が実際にどう言葉を使うか（崩れた形も含めて）」を、安全対策のトレーニングにも取り入れる必要があることを警告しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。