JailbreakSkill: Scaling Automated Red-Teaming with Reusable and Ever-Evolving Skills

急速に拡大する人工知能の世界において、大規模言語モデルは、コードを書き、物語を構成し、複雑な質問に答えることができる強力なツールとなりました。しかし、これらのシステムは膨大な量の人間によるデータで学習されているため、時として安全ルールを無視して有害なコンテンツを生成するように騙されることがあります。これらのツールを一般に公開する前に安全であることを確認するため、研究者は「レッドチーミング」と呼ばれる手法を採用しています。セキュリティチームが、泥棒よりも先に弱点を見つけるために建物への侵入を試みる様子を想像してみてください。デジタル領域においては、これはAIモデルに対してトリッキーな質問を投げかけ、危険な情報を誤って漏洩させないかを検証するために、自動化されたシステムを使用することを意味します。長年、これらの自動テストは、安全フィルターを回避するための、一度限りの巧妙な質問を生成することに依存してきました。しかし、AIモデルがより賢くなり、その安全ガードがより洗練されるにつれ、こうした単発の試みは失敗することが多くなり、研究者はその都度アプローチを調整しながら、何度もやり直すことを余儀なくされています。

ある研究チームは、単に無数のユニークな質問を作成することから、再利用可能な攻撃戦略のライブラリを構築することへと焦点を移した、「JailbreakSkill」と呼ばれる新しいアプローチを導入しました。失敗した試みを単なる行き止まりとして扱うのではなく、彼らのシステムは、それらの失敗を学習の機会として扱います。このフレームワークは、AIを欺くさまざまな方法を、個別の、モジュール化された「スキル」として整理します。あるスキルは、有害な要求を歴史的な問い直しとして書き換えることを含むかもしれませんし、他のスキルは、それをコーディングのタスクやフィクションの物語として偽装するものかもしれません。特定のスキルがモデルの防御を突破できなかったとき、システムは単に次に進むのではなく、なぜ失敗したのかを分析します。そして、その分析を用いて、既存のスキルを洗練させるか、別のスキルと組み合わせるか、あるいは全く新しいスキルを考案します。これにより、攻撃手法のライブラリが時間の経過とともに、より強く、より多様に成長していくという自己改善のサイクルが生まれます。これは、生物学者がより優れた形質を持つ植物を育種する様子に似ていますが、ここでの形質とは、デジタルな安全障壁を回避する能力のことです。

研究者たちは、このシステムを、現在利用可能な最も強力で安全性に配慮されたバージョンのものを含む、幅広い高度なAIモデルに対してテストしました。彼らは、攻撃を再利用可能なスキルとして整理し、過去の失敗に基づいてそれらを進化させることで、テストの成功率を大幅に向上させられることを発見しました。実験において、システムは一つの主要な安全ベンチマークにおいて平均成功率を17.5パーセントポイント向上させ、別のベンチマークでは13.4ポイント向上させました。おそらく最も驚くべきことに、GPT-5.4として知られる特定の高度なモデルに対してテストを行った際、進化したスキルは成功率を49ポイント近く押し上げ、以前は突破が非常に困難であったシステムを、過半数の試みで侵害可能なものへと変貌させました。このことは、失敗から学び、戦略を適応させる能力が、現代のAIの真の脆弱性を理解するための重要な要因であることを示唆しています。

この発見が特に重要である理由は、システムがすべてに通用する単一の「魔法のトリック」を見つけたのではなく、専門化されたツールのコレクションを構築したことにあります。それが発明した新しい戦略のいくつかは非常に独創的で、例えば、有害な情報への直接的な要求を、文書内の未完成のタスクとして再構成し、文章の意味を成立させるためにAIに思考を完了させるよう強いるといったものです。研究者たちは、これらの新しく発見されたスキルの多くが、テストされた特定のモデルに対して効果的であるだけでなく、さらなる調整を行うことなく、他の未知のAIモデルにも転用できることを観察しました。これは、これらの攻撃の根底にあるメカニズムが堅牢であり、異なる種類の人工知能全体に汎用できることを示しています。

この研究はまた、現在の安全対策の限界も浮き彫りにしました。研究者たちは、一部のモデルは直接的な要求を拒否することには非常に長けているものの、同じ要求が複雑なナラティブ（物語）や、JSONスキーマやコード補完タスクのような技術的な形式に包まれている場合には、効果が低くなることが多いことを発見しました。これらの異なる角度を体系的に探索することで、JailbreakSkillフレームワークは、たとえ要求の核心となる意図が同じであっても、コンテキスト（文脈）が変わると、安全フィルターがガードを維持するのに苦労する場合があることを明らかにしました。特定のアプローチが失敗した理由――モデルが有害な意図を検知したために拒否したのか、あるいは要求が複雑になりすぎたために拒否したのか――を診断するシステムの能力によって、より効果的な戦略へと迅速に転換することが可能になったのです。

結局のところ、この研究は、自動化されたレッドチーミングが、偶然のゲームから、適応の構造化された科学へと進化していることを証明しています。攻撃手法を、継続的に改善可能なモジュール化された再利用可能なコンポーネントとして扱うことで、研究者はAIの安全性がどこで破綻するのかについて、より包括的な全体像を構築することができます。今回の知見は、AIモデルがより有能になるにつれ、その安全防御もまた、単に使用された言葉だけでなく、有害な意図を隠蔽する可能性のある構造的・文脈的なパターンを認識できるような、よりダイナミックなものにならなければならないことを示唆しています。研究者たちは、彼らのコードと進化するスキルのライブラリを公開しており、他の科学者がこの研究の上に積み重ね、人工知能をすべての人にとってより安全にするという不可欠な任務を継続できるようにしています。