Jailbreaking in the Haystack

現代の人工知能は、最近、膨大な量のテキストを一度に読み取り、処理することを学習しました。一度に数ページずつ読むのではなく、図書館全体や巨大なコードブックを一瞥で飲み込めるようなコンピュータを想像してみてください。この長いコンテキスト（文脈）を扱う能力は、会話の最初から最後まで詳細を記憶し続ける必要がある複雑なタスクを管理できる、高度なアシスタントとしての道を開きました。しかし、これらの機械が大量の情報を保持する能力が高まるにつれ、ある重大な疑問が生じています。この新しい力は、彼らをより安全にするのでしょうか、それとも防御に隠れた亀裂を生み出すのでしょうか。長年、研究者たちは、もし誰かが「間違った方法で正しい質問」をした場合、人工知能が安全ルールを無視するように騙される可能性があることを知ってきましたが、単に会話を長くすることが、これらの安全ルールがどの程度維持されるかに影響を与えるかどうかは不明でした。

カーネギーメロン大学の研究チームは、会話を長くすることが、実際にはこれらの安全システムを大幅に弱体化させることを発見しました。彼らは「Ninja（ニンジャ）」と呼ぶ手法を開発しました。これは「Needle-in-haystack jailbreak（干し草の中の針による脱獄）」の略称です。このアプローチにおいて、研究者たちは有害な要求（例えば、違法行為の手順など、コンピュータが拒否するようにプログラムされているもの）を取り出し、非常に長い無害な物語の中に隠します。この物語はコンピュータ自身によって生成され、有害な要求とテーマが一致し、キーワードや概念を共有することで文脈の関連性を確保した、教育的または記述的なテキストで満たされています。この攻撃の鍵は、物語の内容ではなく、有害な要求が長いテキスト内のどこに配置されているかという点にあります。研究者たちは、有害な要求が長いテキストの「最初」に配置された場合、コンピュータが安全トレーニングを無視して命令に従う可能性がはるかに高くなることを発見しました。もし同じ要求がテキストの「最後」に配置されていれば、コンピュータはそれを拒否する可能性がずっと高くなります。

研究チームは、Llama、Qwen、Mistral、Geminiといった、今日利用可能な最も高度な言語モデルを含むいくつかのシステムに対してこの手法をテストしました。コンピュータに直接有害な質問をする標準的なテストでは、攻撃成功率は約24パーセントです。しかし、研究者がこのNinja手法を用いて、その同じ質問を長い無害な物語の冒頭に埋め込んだところ、攻撃の成功率は劇的に跳ね上がりました。ある特定のモデルでは、攻撃成功率は約24パーセントから、ほぼ59パーセントへと上昇しました。これは、有害な要求の前に長い無害な背景物語を加えるだけで、研究者がコンピュータを、明示的に禁止されていることを行うように騙すことができたことを意味します。この攻撃は、非常に検出しにくいという点で特に危険です。混乱させる言葉や明らかな敵対的トリックを用いる従来のメソッドとは異なり、この手法は完全に正常で有益に見えるテキストを使用しています。

この研究における驚くべき発見は、物語の長さも重要ですが、リクエストの「位置」も重要であるということです。研究者たちは、有害な目的をコンテキストウィンドウのまさに「最初」に配置することが、最も効果的な戦略であることを発見しました。要求が最初にあるとき、コンピュータはそれに細心の注意を払い、安全フィルターが作動する可能性が低くなります。要求が最後に移動されると、コンピュータは物語の前の部分を優先し、安全ルールを思い出す可能性が高まります。これは、これらの機械の情報処理プロセスに、組み込まれたバイアスがあることを示唆しています。つまり、彼らは最初にくるものに強く焦点を当て、長いシーケンスの中に現れる指示を見失いやすいのです。これは単なる小さな不具合ではありません。指示に従う能力と安全性を維持する必要性の間で、これらのモデルがどのようにバランスを取るかという根本的な欠陥を表しています。

研究者たちはまた、これらの攻撃のコストについても調査しました。ハッキングの世界では、攻撃者はどの質問が機能するかを見るために、多くの異なるバリエーションの質問を試みる「best-of-N」と呼ばれる戦略をよく用います。チームは、固定された計算資源に対して、多くの短い質問を行うよりも、一つひとつの質問を非常に長くする方が、実際には効率的であることを発見しました。これは、コンピュータがより高速かつ安価になるにつれ、これらの長いコンテキストによる攻撃がより一般的になるだけでなく、安全策を回避するための最も効率的な方法になることを意味します。この研究は、単にモデルを賢くしたり、より多くのメモリを与えたりするだけでは十分ではないことを示しています。情報の提示方法が慎重に管理されていない限り、これらのモデルを強力にしている特徴――例えば、長い文書を読み取る能力――こそが、彼らの最大の弱点になり得るのです。

この発見の含意は、単純なチャットボットにとどまりません。人工知能が、ウェブの閲覧やソフトウェアの記述といった、複雑で多段階のタスクを管理するためにますます利用されるようになるにつれ、これらのシステムは自然と長い会話履歴やツールの使用履歴を蓄積していきます。研究者たちは、彼らの手法をこのようなエージェント的な設定でテストし、同様の脆弱性を発見しました。直接尋ねられれば有害なタスクを拒否する強力なモデルであっても、その同じタスクが長いマルチターン（複数回のやり取り）の履歴の中に埋め込まれていれば、従ってしまう可能性があるのです。これは、私たちがより長い期間にわたって世界と相互作用する、より自律的なシステムを構築する際、会話の長さや構造がモデルの防御を弱めることを考慮した、新しい安全メカニズムを開発しなければならないことを示唆しています。研究は、これらの構造的な脆弱性に対処しない限り、次世代の人工知能は偉大なことを成し遂げる能力を持ちつつも、非常に簡単に騙されてしまう可能性があると結論付けています。