技術的サマリー：Proteus – エージェントスキル生態系のための自己進化型レッドチーム

1. 問題定義：適応的漏洩

本論文は、大規模言語モデル（LLM）エージェントのスキルに関するセキュリティ評価における重要なギャップに対処する。既存の研究は、静的で手作業で設計された悪意あるスキルにおけるリスクを特定してきたが、攻撃者が監査者やランタイム環境からのフィードバックを用いてスキルを反復的に修正する際に残存する残存リスクを測定することには、概して失敗している。

著者らは、適応的漏洩を、予算制約のある攻撃者が第三者のスキルを反復的に修正し、同時に以下の条件を満たすまで行うことによる展開リスクとして定義する：

1. 静的または LLM ベースの監査を通過する。
2. 対象ランタイムで正常に実行される。
3. 検証可能でオラクル検知可能な害を生み出す。

現在の評価は、監査者を固定された入力に対するワンショット分類器として扱っている。しかし、オープンソースの監査ツール（例：SkillVetter、AI-Infra-Guard）はしばしばそのルールセットや発見結果を公開するため、攻撃者はローカルで監査結果を再現できる。これにより、攻撃者が構造化された監査結果やランタイムトレースを用いて複数のラウンドにわたって攻撃を洗練させることができる「グレーボックス」チャネルが生まれる。この能力は、ワンショットのレッドチーム化やスカラーフィードバックを基準とした手法では捉えられていない。

2. 手法：Proteus フレームワーク

Proteus は、適応的漏洩を測定するために設計された、グレーボックスかつ自己進化型のレッドチームフレームワークである。これは、4 つの結合コンポーネントからなる閉ループシステムを通じて動作する：

A. 5 軸スキル攻撃空間

Proteus は、スキル変種 $s$ を 5 項組 $(o, \tau, c, \kappa, d)$ に分解する：

• $o$（目的）： 攻撃目標（例：データ抜き取り、特権昇格）。
• $\tau$（トポロジー）： スキルチェーン構造（単一スキルまたは $k$-チェーン）。
• $c$（コード）： 実行可能なアーティファクト。
• $\kappa$（副作用チャネル）： 害をもたらすメカニズム（例：ファイル書き込み、ネットワーク外部流出）。
• $d$（ドキュメント）： エージェントのプロンプトに読み込まれる文脈設定ドキュメント。

B. グレーボックスラウンド契約

各評価ラウンドは、防御者非依存のパイプラインに従う：監査 $\to$ サンドボックス $\to$ オラクル。

• 監査： スキルは監査ツール（例：SkillVetter または AI-Infra-Guard）に提出される。
• サンドボックス： 監査を通過した場合、スキルはコンテナ化された環境（OpenClaw）で実行される。
• オラクル： ルールベースの判定者が、実行が標的の副作用（致死性）を生み出したかを確認する。
• フィードバック四重項： システムは構造化された四重項 $\langle b, \ell, F, R \rangle$ を返す：
  • $b$: 論理的な監査判定（回避されたか？）。
  • $\ell$: 論理的な致死性判定（害が達成されたか？）。
  • $F$: 構造化された監査結果（理由コード、重大度、証拠ポインタ）。
  • $R$: ランタイムトレース/助言（例：どのセンサーがトリガーされたか、またはブロックされたか）。

C. 自己進化型ミューテーター

レッドチームエージェントは、スカラー報酬ではなく、文脈内サイド情報（「言語的勾配」として）としてフィードバック四重項を消費する、LLM ベースのツール使用ループである。これは、スキルの 5 軸を変更するために 12 種類のミューテーション演算子（例：purpose-coherent-embed、code-offload、thematic-chain-insert）のカタログを利用する。

D. 3 層進化プロセス

Proteus は、ネストされた探索戦略を採用する：

1. 層 1（自由発見）： 親目的内で自由に探索し、最初の成功した回避（$b \land \ell$）を見つける。
2. 層 2（経路拡張）： 成功後、メインのラウンド予算を消費することなく、同じ攻撃目的の代替実装を生成する（例：cron を systemd タイマーに置き換える）。
3. 層 3（表面拡張）： 学習された実装パターン（構造的モティーフ）を新しい攻撃目的に転移させ、攻撃者が初期シードを超えて一般化できるかどうかをテストする。

3. 実験設定

• 監査ツール： SkillVetter（オープンソース、MIT-0）および AI-Infra-Guard（Tencent、Apache-2.0）。
• ターゲット： GPT-5.4-mini および GLM-5。
• ミューテーター： DeepSeek-V4-Pro および Kimi-2.6。
• シード： ClawHub の 47k ノードスキルグラフ上でグラフ誘導チェーン合成によって生成された 20 の悪意あるシードスキル。
• 予算： フェーズ 1 用に $T=5$ ラウンド；フェーズ 2 用に予算外拡張。

4. 主要な結果

フェーズ 1：反復的回避

8 つの設定セル全体で、Proteus は**攻撃成功率（ASR@5）が40–90%**に達した。

• 学習曲線： Proteus は正の学習曲線勾配（LCS）を示し、フィードバックの各ラウンドごとに成功率が大幅に向上したことを示している。
• ベースライン比較：
  • ブラックボックスベースライン： 構造化された結果なしにスカラーの通過/失敗判定のみが提供された場合、成功率は約 43% で頭打ちとなり、学習勾配は無視できるほど小さかった。
  • PyRIT： 標準的な外部レッドチームツール（ナラティブ書き換えのみ）は、20 のシードのうち 5 つのみを成功させ、ドキュメントだけでなくコードとトポロジーをミューテーションする必要性を浮き彫りにした。
• 監査ツール性能： より強力な監査ツールである AI-Infra-Guard は、SkillVetter と比較して成功率を 10–30 ポイント削減したが、Proteus はそれでもこれに対して最大 41.3% の成功率を達成した。

フェーズ 2：経路および表面拡張

成功した変種を発見した後、Proteus は攻撃表面を拡張した：

• 変種の総数： 回避かつ致死性の両方を兼ね備えた変種を438個生成した。
• SkillVetter： 各拡張セルで $\ge 93\%$ の回避率を達成。
• AI-Infra-Guard： それでも変種の 25–41% を許容した。
• 表面拡張： エージェントは共有された構造的モティーフを使用して、攻撃パターンを新しい目的（例：永続化からデータ抜き取りへ）に転移することに成功し、創発的な一般化を実証した。

監査ツール間転移

重要な発見は、学習された攻撃の転移性である。より強力な AI-Infra-Guard に対して進化させた変種の**87.7%**が、新しいミューテーションなしに SkillVetter も回避した。これは、適応的漏洩が特定の監査ツールに依存するものではなく、スキル審査パラダイムにおける根本的な脆弱性を表していることを示唆している。

5. 意義と主張

本論文は、適応的でフィードバック駆動型の攻撃者に対して評価された場合、現在のスキル審査が残存リスクを大幅に過小評価していると主張する。

• 測定ギャップ： 既存のセキュリティ研究は監査者を静的分類器として扱っている。Proteus は、攻撃者が構造化されたフィードバック（「グレーボックス」チャネル）にアクセスできる場合、攻撃者が静的分析と LLM ベースのナラティブチェックの両方を回避するように攻撃を反復的に洗練できることを実証している。
• 「言語的勾配」： この研究は、構造化された監査結果を文脈内サイド情報として使用することが、スカラー報酬よりも著しく効果的であることを実証的に検証している。フィードバックを二値判定に圧縮すると、学習勾配は 1 桁以上減少する。
• デュアルチャネル脆弱性： 結果は、コード実行と文脈設定ドキュメントの組み合わせがデュアル攻撃表面を形成していることを浮き彫りにしている。成功する攻撃には、ペイロードをバイナリにオフロードしながらナラティブをコードに合わせるなど、複数の軸にわたる協調的なミューテーションが必要となることが多い。
• 生態系リスク： 高い監査ツール間転移率は、ある監査ツールに対して発見された脆弱性が他のツールでも持続する可能性を示唆しており、単に監査ツールを交換するだけでは解決できないエージェントスキル生態系におけるシステムリスクを意味している。

著者らは、適応的漏洩は測定可能で重大な脅威であり、ワンショットの静的監査に依存するのではなく、反復的でフィードバック駆動型の敵対者に対処できる新しい防御メカニズムが必要であると結論づけている。