Multilingual jailbreaking of LLMs using low-resource languages
この研究は、有害なプロンプトを低リソースなアフリカ言語への単回翻訳では LLM の安全性ガードレールを回避できないものの、多回会話ではジャイルブレイクの成功率が大幅に向上し、人間のレッドチーム化と翻訳の質がこれらの脆弱性を悪用する上で決定的な要因として特定されたことを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ChatGPT や Claude といった大規模言語モデル（LLM）を、高級クラブに雇われた非常に礼儀正しく、高度に訓練された警備員だと想像してみてください。彼らの仕事は、危険な物品（有害なコンテンツ、詐欺、あるいはサイバー攻撃）を持ち込ませないことで、パーティーを安全に保つことです。長らく、悪意のある行為者たちは「ジャイルブレイク」という手法を使ってこれらの警備員を欺こうとしてきました。これは、 essentially 規則の抜け道を見つけて、悪いものを忍び込ませることに他なりません。
この論文は、あるセキュリティ監査のようなものです。問いかけます。「もし、悪意のある行為者たちが英語を話しやめ、警備員があまりよく知らないアフリカの言語を話し始めたらどうなるでしょうか？」
以下に、彼らの発見を簡単なアナロジーを用いて解説します。
1. 「一語」のトリックは機能しなかった
過去、攻撃者は単純なトリックを試みました。英語の悪意あるリクエストを、低リソース言語（isiXhosa やアフリカーンス語など）に翻訳し、警備員に送るのです。
- 結果: それは機能しなくなりました。警備員（AI モデル）は賢く、「おい、これはたとえ自分が流暢ではない言語だとしても、悪いリクエストに聞こえるぞ」と気づくのです。
- アナロジー: これは、ナイフを異なる言語のラベルで包んでクラブに忍び込ませようとするようなものです。警備員は依然としてナイフの形を見て、あなたを止められます。
2. 「長い会話」のトリックは依然として機能する
研究者たちは、「一語」のトリックは失敗したが、より複雑な戦略は非常にうまく機能することを見つけました。すぐに悪いものを要求する代わりに、攻撃者は長く友好的な会話を始めます。信頼を築き、無害な質問をし、多くのターンを経て、ゆっくりと会話を悪い目標へと誘導します。
- 結果: この「マルチターン」アプローチは非常に成功しました。英語の場合、テストされた AI モデルによって異なりますが、警備員を回避できた割合は 53% から 84% でした。
- アナロジー: 武器を持って正面のドアを通ろうとする代わりに、攻撃者はバーに座り、警備員に飲み物をおごり、長い話をし、ゆっくりと警備員を説得して裏口を開けさせます。警備員は会話に気を取られ、武器のチェックを忘れがちになります。
3. 「悪い翻訳者」の問題
研究者たちは、アフリカーンス語、キスワヒリ語、isiXhosa、isiZulu の 4 つのアフリカ言語をテストしました。彼らは驚くべきパターンを発見しました。
- アフリカーンス語とキスワヒリ語: これらの言語では、攻撃者の成功率が高くなりました。
- isiXhosa と isiZulu: これらの言語では、成功率がはるかに低くなりました。
なぜでしょうか？ AI 警備員が isiXhosa や isiZulu の保護において優れていたからではありません。攻撃を作成するために使用されたGoogle 翻訳ツールが、複雑な会話をこれらの特定の言語に翻訳する際にひどい出来だったからです。
- アナロジー: 攻撃者が翻訳者を通じて警備員に秘密の計画をささやこうとしていると想像してください。
- アフリカーンス語の場合、翻訳者は計画を明確にささやきました。警備員はそれを聞き、混乱しました。
- isiXhosa の場合、翻訳者は言葉をつぶやき、不明瞭にしました。警備員は「何を言っているのか分からない」と考え、単にリクエストを無視しました。攻撃が失敗したのは、警備員が強かったからではなく、メッセージが理解するのにあまりにも乱雑だったからです。
4. 人間対ロボット（「レッドチーム」テスト）
「悪い翻訳者」に関する彼らの理論を実証するために、研究者たちはこれらの言語を話す実在の人間を招きました。これらの人々は、機械翻訳された乱雑な会話を取り、自然で明確に聞こえるように修正しました。
- 結果: 人間が言語を修正すると、攻撃の成功率は急上昇しました。
- isiZuluの場合、人間が翻訳を修正したことで、成功率は300% 以上跳ね上がりました。
- isiXhosaの場合、約**12%**跳ね上がりました。
- 教訓: AI モデルは実際にはこれらの言語に対してより安全なわけではありません。彼らは単に機械が生み出す「壊れた」翻訳を理解できなかったのです。言語が修正されれば、モデルは英語の場合と同様に脆弱であることがわかりました。
5. どの警備員が最も弱かったか？
この研究は、GPT-4o、Claude、DeepSeek など、いくつかの異なる AI モデルをテストしました。
- 最も強い警備員: Claude 3.5 Haiku は、長い会話であっても欺くのが最も難しかったです。
- 最も弱い警備員: DeepSeek と GPT-4o-mini は欺きやすく、ある言語では 70% 以上有害なコンテンツを通してしまったこともあります。
まとめ
この論文は結論として、翻訳の品質が鍵であると述べています。
低リソース言語に悪いプロンプトを翻訳するだけで現代の AI を攻撃しようとしても、それはもはや機能しない可能性が高いです。しかし、その言語で長く、自然で、多段階の会話を構築できる人間話者がいれば、AI の安全フィルターは依然として回避可能です。モデルは本質的にこれらの言語に対してより安全なわけではありません。彼らは単に、機械が生み出す「壊れた」バージョンを理解するのに苦労しているだけなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。