論文「Capture the Flags: Family-Based Evaluation of Agentic LLMs via Semantics-Preserving Transformations」の技術的サマリー

本論文は、サイバーセキュリティタスクにおける自律型大規模言語モデル（Agentic LLMs）の評価手法として、**「CTF チャレンジファミリー（CTF Challenge Families）」という新しい概念と、それを生成するツール「Evolve-CTF」**を提案しています。既存のベンチマークが単一のタスクに対する点ごとの評価に留まり、モデルの頑健性や一般化能力を十分に捉えきれていないという課題に対し、意味を保持したまま構造的に変化させた問題群を用いた体系的な評価アプローチを提示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題定義

• 現状の課題:
  • 自律型 LLM は、脆弱性発見や自動ペネトレーションテストなど、サイバーセキュリティ分野で活用されつつある。
  • 既存の評価ベンチマーク（Cybench, Intercode など）は、CTF（Capture The Flag）課題を用いているが、これらはすべて独立したタスクである。
  • その結果、評価は「特定のタスクセットに対する性能」に留まり、入力に対する**頑健性（Robustness）や、コードの表面的な変化に対する一般化能力（Generalisation）**に関する洞察が得られない。
  • また、公開されている課題はモデルの訓練データに混入している可能性（データ汚染）があり、評価の信頼性が損なわれるリスクがある。
• 解決すべき問い:
  • モデルが本当にコードを理解し、ツールを適切に使用して脆弱性を特定できているのか、それとも表面的なパターン（変数名やコード構造）に依存しているだけなのかをどう検証するか。

2. 手法：Evolve-CTF と CTF ファミリー

本研究では、元の CTF 課題に対して**意味を保持するプログラム変換（Semantics-Preserving Transformations）**を適用し、同じ脆弱性を持つが構造的に異なる「ファミリー」を生成するアプローチを採用しています。

• ツール「Evolve-CTF」:
  • Python ベースの CTF 課題を入力とし、自動で変換された課題ファミリーを生成するツール。
  • 生成されたインスタンスは、元の課題の「ゴールドソリューション（正解）」を用いて検証され、依然として解けることを保証している。
• サポートされている変換（Transformations）:
  1. $R$ (Rename): 変数、関数、クラス名をランダムな識別子に置換。
  2. $T_1$ (Insert loops): 実行されない（条件が偽となる）冗長なループを挿入。
  3. $T_2$ (Insert conditionals): 実行されない条件分岐や try-except ブロックを挿入。
  4. $T_3$ (Insert functions): 呼び出されない冗長な関数定義やラムダ式を挿入。
  5. $T_4$ (Insert comments): 意味のないコメントや誤解を招くコメントを挿入。
  6. $T_5$ (Combine): 上記 $T_1$〜$T_4$ を組み合わせた複合変換。
  7. $O$ (Obfuscate): 外部ツール（PyObfuscator）を用いた aggressive な難読化（識別子置換、文字列暗号化、gzip 圧縮など）。
• 評価構造:
  • 元の課題（Orig）から変換を適用し、ツリー構造（図 2 参照）で 24 種類のインスタンス（変換の組み合わせ）を生成。
  • これにより、単一の変換の影響と、変換の組み合わせ（合成）による影響を分離して分析可能。

3. 実験設定

• データセット: Cybench と Intercode から選定された 16 の Python 課題（解読、修正、実行の 3 カテゴリ）。
• 評価対象モデル: 9 つのベースモデルから構成される 13 のエージェント設定（GPT-5.1, Claude Opus 4.5, Gemini 3 Pro, DeepSeek V3.2, Kimi など）。
  • 推論（Reasoning）機能の有無を比較（例：GPT vs GPT-R）。
• 評価フレームワーク: Inspect（自律型 LLM 評価用オープンソースフレームワーク）。
• プロトコル: 各インスタンスに対して 5 回反復実行、1 回の試行で最大 20 万トークン、3 回のフラグ提出機会を付与。

4. 主要な結果

• 識別子置換と単一変換への頑健性:
  • モデルは変数名のランダム置換（$R$）や、単一の冗長コード挿入（$T_1$〜$T_4$）に対して非常に頑健である。成功率はほとんど低下しなかった。
  • 意味のある変数名がコード推論に必須であるという仮説は否定された。
• 複合変換と難読化による性能低下:
  • 変換を組み合わせる（$T_5$）と、あるいは外部難読化ツール（$O$）を適用すると、性能は劇的に低下する。
  • 特に $O$（PyObfuscator）を含む変換は最も難しく、成功率が 10% 未満になるケースも多かった。
  • $T_5$（複合変換）のみでも、外部難読化なしでモデルに大きな負荷をかけ、性能を低下させることが示された。
• ツールの使用戦略:
  • 複雑な変換（$T_5$）に対しては、モデルはツール呼び出し回数を大幅に増加させる。
  • 具体的には、grep（キーワード検索）、sed（特定行の抽出）、head/tail などを駆使して、コードの複雑さの中で重要な部分を探ろうとする戦略が見られた。
  • 難読化（$O$）に対しては、成功例ではモデルが「コードが圧縮されている」と認識し、Python スクリプトで解凍を試みる戦略をとった。
• 推論（Reasoning）機能の影響:
  • 明示的な推論モード（High Reasoning）を有効にしても、成功率への有意な向上は見られなかった。むしろ、一部のモデルではわずかに低下した。
• ベンチマークの差別化能力:
  • Intercode の一部の課題（Exec カテゴリ）は、変換を施しても非常に簡単であり、最先端モデルを区別する能力が低いことが判明した。Evolve-CTF は既存ベンチマークの難易度評価にも有用である。

5. 主要な貢献

1. 評価手法の革新: 単一インスタンスのベンチマークではなく、「意味を保持した変換による課題ファミリー」を用いた、モデルの頑健性と一般化能力を評価する新しい枠組みを提案。
2. ツールの開発: Python 課題から CTF ファミリーを自動生成するツール「Evolve-CTF」を開発し、オープンソースとして提供。
3. 大規模評価データセット: 13 のモデル設定と 16 の課題ファミリーからなる大規模な評価データセットを構築し、現在の最先端モデルの能力限界を詳細に記述。
4. 知見の提供:
   • LLM は表面的なコード変化には強いが、構造的な複雑さや難読化には脆弱である。
   • 推論機能の強化が必ずしも性能向上に寄与しないこと。
   • 既存ベンチマークの一部がモデルの能力を区別できないこと。

6. 意義と将来展望

• 意義:
  • サイバーセキュリティ分野における LLM の真の能力（ツール使用、コード推論）を、データ汚染のリスクを低減しつつ、厳密に評価する手段を提供。
  • モデルが「暗記」しているのか「理解」しているのかを区別するための強力なメトリクスとなる。
• 将来の展望:
  • C++ や Rust などの他の言語への拡張。
  • 変換手法のさらなる多様化（制御フローの再構成など）。
  • バグ発見や自動修正など、他のコード推論タスクへの手法の転用。

本論文は、Agentic LLM の評価において、単なる正解率だけでなく、入力の変化に対する耐性やツール駆動型の問題解決能力を体系的に測定する重要な基盤を築いたと言えます。