Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards

この論文「Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards（検証可能な報酬を用いた Linux 特権昇格のためのポストトレーニング局所 LLM エージェント）」は、ウィーン工科大学（TU Wien）の研究者らによって執筆され、セキュリティタスクにおける小規模なオープンウェイトモデルの能力向上と、クラウド依存からの脱却を目的とした研究です。

以下に、論文の技術的な要点を日本語で詳細にまとめます。

1. 研究の背景と課題

• 現状の課題: 脆弱性発見などのセキュリティタスクにおいて、高性能な LLM エージェントは存在するが、それらの多くはクローズドソースでクラウド上でのみ利用可能（例：Claude Opus 4.6 など）である。
• 問題点:
  • リソースとコスト: 大規模モデルは推論コストが高く、リソース集約的。
  • データ主権: 機密コードやシステム状態を外部クラウドに送信できない環境での利用が困難。
  • 再現性: 閉じたシステムでは研究の再現性が低い。
• 目標: 限られたリソース制約（特に対話ラウンド数）下で、ローカル環境で動作する小規模モデル（4B パラメータ級）が、最先端の API モデルと同等の性能を発揮できるか検証すること。

2. 対象タスク：Linux 特権昇格

• タスク定義: 低権限ユーザー（SSH 経由）から、root 権限（インタラクティブな root シェルまたは root 認証）を取得するまでのプロセス。
• 特徴:
  • 検証可能性: 成功（root 取得）が自動的に検証可能（バイナリ結果）。
  • 多段階推論: 単なる知識の再生ではなく、 reconnaissance（情報収集）、仮説形成、エクスプロイト実行というインタラクティブなループが必要。
  • 評価指標: 固定された対話ラウンド数（$R$）以内に root に到達する確率 $P(\text{root} | R)$。ラウンド数が多いほどコストと遅延が増えるため、少ないラウンドでの成功が重要。

3. 提案手法：2 段階ポストトレーニングパイプライン

著者らは、Qwen3-4B（40 億パラメータ）モデルを、以下の 2 段階で後学習（Post-Training）させ、PrivEsc-LLM を構築しました。

段階 1: 教師あり微調整（SFT）

• データ生成: 手続き的に生成された特権昇格環境（10 種類のジェネレータ族）を使用。
• 漏洩防止: 評価用ベンチマーク（Happe et al. [11] の 12 シナリオ）の具体的な解決パスを学習データから完全に排除。学習データは手続き的生成による変異（ユーザー名、パス、ファイル名などのランダム化）を含み、モデルがパターンを暗記するのではなく、汎用的なエクスプロイト戦略を学習することを保証。
• 教師モデル: 大規模なオープンモデル（Arcee Trinity-Large-Preview）を用いて、成功した対話履歴（Trace）を生成し、これを教師データとして使用。
• 学習: Qwen3-4B に LoRA（Low-Rank Adaptation）を適用して微調整。

段階 2: 検証可能な報酬による強化学習（RLVR）

• 報酬設計: 環境から得られる客観的なフィードバックに基づき、以下の報酬関数を設計。
  • 結果報酬 ($R_{out}$): root に到達したか。
  • 速度報酬 ($R_{speed}$): 予算内（ラウンド数制限内）で到達したか。
  • 偵察ボーナス ($R_{recon}$): 多様な情報収集コマンドを実行したか。
  • ペナルティ ($R_{pen}$): 繰り返しコマンド、失敗したツール呼び出し、ツールを使わないラウンド、推論が不足したラウンドに対して罰則。
• 学習アルゴリズム: Prime-RL フレームワークを使用。非同期のオフポリシー更新（AIPO: Asynchronous Importance-weighted Policy Optimization）を採用し、推論コストの高いロールアウトを効率的に処理。
• 目的: 単に成功させるだけでなく、限られたラウンド数内で効率的にエクスプロイトを適用する行動方針を学習させる。

4. 実験設定と評価プロトコル

• モデル比較:
  • 局所モデル: Qwen3-4B (Base), Qwen3-4B (SFT), PrivEsc-LLM (SFT+RL)
  • API モデル: DeepSeek V3.2, Claude Opus 4.6
  • ベンチマークツール: Traitor, pwncat-cs
• 評価方法:
  • 12 の静的ベンチマークシナリオに対し、各モデルで 10 回独立した実行（合計 120 回）。
  • 各実行は最大 60 ラウンドまで制限。
  • 統計的有意性のため、ウィルソン信頼区間（95%）を報告。
• コスト評価: 推論コスト（API 利用料 vs ローカル GPU 電力・ハードウェアコスト）を、成功 1 回あたりの期待コストで正規化して比較。

5. 主要な結果

• 性能向上:
  • ベースライン (Qwen3-4B): 20 ラウンド以内の成功率は 42.5%。
  • SFT のみ: 80.8% まで向上（2 倍以上）。
  • PrivEsc-LLM (SFT+RL): 95.8% まで向上。
  • 比較: 最先端の API モデルである Claude Opus 4.6（97.5%）にほぼ匹敵する性能を、4B パラメータのローカルモデルで達成。
• ラウンド数ごとの性能:
  • 対話ラウンド数が少ない（$R=5$ や $R=10$）場合、PrivEsc-LLM は Claude Opus 4.6 を上回るか同等の性能を示す。これは、RL によって「無駄な探索」が減り、効率的にエクスプロイトへ移行できるようになったため。
  • DeepSeek V3.2 はラウンド数が増える（$R=60$）と性能が向上するが、予算制約が厳しい状況では PrivEsc-LLM に劣る。
• コスト効率:
  • 成功 1 回あたりの期待コストは、Claude Opus 4.6 に比べて100 倍以上削減（約 $0.005 vs 約 $0.62）。
  • トレーニングコスト（約 $269）を含めても、モデルを再利用すれば API 利用よりも遥かに安価。
• 一般化能力:
  • 学習データに含まれていない「Docker グループからの脱出」などのシナリオでも、ゼロショット転移として高い成功率（9/10）を達成。これはモデルが特定の解決策を暗記したのではなく、汎用的な攻撃パターンを学習したことを示唆。

6. 失敗分析と限界

• 失敗ケース:
  • Sudo GTFOBins: 正しいエクスプロイト手法（tar のチェックポイント機能）を特定できるが、コマンド引数のエラー（-Acdtrux の指定忘れなど）から回復できず、予算を使い果たすケース。
  • Docker グループ脱出: 初期のツール出力で Docker グループ所属を確認できるが、そのシグナルを無視し、パスワード推測に固執するケース。
• 限界:
  • 学習には H100 GPU 4 枚を約 29 時間使用しており、トレーニング自体は高コスト。
  • 評価は Linux 特権昇格に限定されており、他のセキュリティタスクへの一般化は今後の課題。
  • 使用したベースモデル（Qwen3-4B）に限定されている。

7. 意義と貢献

1. 信頼性のギャップの埋め合わせ: 小規模なオープンウェイトモデルが、厳格な対話制約下でも最先端のクローズド API モデルと同等の信頼性を達成できることを実証。
2. 検証可能な報酬（RLVR）の有効性: セキュリティタスクにおいて、自動検証可能な環境フィードバックを用いた強化学習が、推論効率とタスク遂行能力を劇的に向上させることを示した。
3. 再現性とデータ主権: 機密データを外部に出さずに、ローカル環境で高品質なセキュリティエージェントを構築・評価できるパイプラインを提案。
4. 方法論的貢献: 手続き的生成による学習データと、厳密なベンチマーク評価（漏洩防止、統計的検証）を組み合わせた、セキュリティ研究における堅牢な評価プロトコルの確立。

結論

この研究は、特権昇格という具体的なセキュリティタスクにおいて、「SFT による知識注入」と「RLVR による行動効率化」の組み合わせが、小規模ローカルモデルを最先端レベルに引き上げることを実証しました。これにより、機密性を保ちつつ、低コストで再現可能な自律型セキュリティエージェントの実現可能性が示されました。将来的には、このアプローチをクラッシュ再現、パッチ検証、他の攻撃シナリオへ拡張する道が開かれています。