A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition

技術要約：オフライン衛星セキュリティ計画分解のための制御された候補集合ベンチマーク

問題定式化

本論文は、衛星セキュリティ開発の特定の構成要素、すなわち高レベルのセキュリティ目的（例：テレコマンド認証のテスト）を、順序付けられた検証可能な行動計画へとマッピングする課題に取り組んでいる。機密性の高いアーティファクトがローカル環境から外部へ出せない環境では、コンパクトなローカルモデルが好まれる。しかし、分解プロンプティングやタスク特化に関する既存の研究は、これらの戦略がセキュリティ・キャンペーンの計画に対して有効であるかどうかを確立していない。

核心となる課題は、**候補集合目的分解（candidate-set objective decomposition）**タスクとして定義される。目的 $o$ と利用可能な手法の集合 $G(o)$ が与えられたとき、モデルは正しい参照手法を選択し、それらを一連のシーケンス $\sigma(o)$ へと順序付ける必要がある。

• リファレンス（参照）： 分解とは、自然言語によるアクション $t_i$、SPARTAフレームワークからの手法識別子 $\tau_i$、および作成されたチェック文 $c_i$ のトリプル $(t_i, \tau_i, c_i)$ の順序付けられたシーケンスである。
• 制約： モデルは「制御された候補集合」$G(o)$ の範囲内で動作する。本研究において、$G(o)$ は、すべての参照手法に加えて、ドメイン内のディストラクター（異なるファミリーの手法）を含むように構築された**オラクル集合（oracle set）**である。タスクは、膨大なコーパスから手法を検索したりゼロから生成したりすることではなく、正しいサブセットを選択し、順序付けることである。
• 目標： 選択（適合率/選択性）と順序付けの忠実度を測定し、モデルが適切なツールを選び出す能力と、単に候補集合全体を書き出す能力（これは高い再現率をもたらすが、低い適合率をもたらす）を区別することである。

手法

著者らは、明示的な候補集合を条件としてプランを出力するように訓練された**低ランクアダプター（LoRA）**を提案しており、分解コンポーネントを検索および検証レイヤーから分離している。

1. データセット構築 (SatSec Corpus):

   • ソース： GNSSスプーフィング、パッシブ傍受、未認証テレコマンド解析などのインシデントをカバーする、SPARTAおよび宇宙セキュリティ標準に基づいた24の作成済みケース。
   • 構成： 著者作成の「分解（decompose）」例24件と、機械的に派生した「次ステップ（next-step）」例83件を合わせ、計107例。
   • 分割： データセットは**ケース・ディスジョイント（事例非重複）**で分割されている。6つのケースが評価用に保持されており、テストケースのステップがトレーニングセットに現れないことが保証されている。
   • リーク制御： リファレンスの漏洩を防ぐため、入力プロンプトには目的と8つのシャッフルされた候補（参照手法とディストラクター）のみが含まれる。参照となるナラティブとステップシーケンスは入力から削除されている。
   • ディストラクター（妨害要素）： 候補は8つの異なる手法にパディングされる。ディストラクターは異なる手法ファミリーから抽出されており、これによりタスクが、兄弟レベルの識別ではなく、**クロスファミリー選択（cross-family selection）**であることを保証している。

2. モデルアーキテクチャと訓練：

   • ベースモデル： Qwen2.5-0.5B, 1.5B, 7B-Instruct。
   • アダプター： 固定されたベースモデルに対して、低ランクアダプター（Rank 16, $\alpha=32$）を訓練する。
   • 教師あり学習： 2つのモードを使用する：
     • フル分解 (Full Decomposition): 全体のプランの自己回帰的生成。
     • 次ステップ (Next-Step): 前のステップが与えられた際の単一の継続の監督。
   • 損失関数： 補完専用マスキング（completion-only masking）が使用される。これは、損失が生成されたトークンに対してのみ計算され、プロンプト（候補集合を含む）には計算されないことを意味する。

3. 評価プロトコル：

   • ベースライン： 候補のみを与えられた未適応モデル、スキーマプロンプトを用いたモデル、および固定のエグゼンプラーを用いた2-shotプロンプティング。
   • 指標：
     • 再現率 (Recall): 参照手法が回収された割合。
     • 適合率 (Precision/Selectivity): 出力された手法のうち、参照セットに含まれる割合（ディストラクターの混入を罰する）。
     • 順序の忠実度 (Ordering Fidelity): 一致したステップ間の前後関係の違反。
     • 候補の妥当性 (Candidate Validity): 出力された識別子が有効なSPARTAのエントリであるか。
     • チェックフィールドの存在 (Check-Field Presence): チェックフィールドの構文的な存在。
   • 安定性チェック： サンプリングノイズと訓練の分散を区別するため、5つのデコーディングシードと3つのトレーニングシード（43, 44, 45）にわたる評価を行う。0.5Bおよび1.5Bにおいて、24回のleave-one-case-out (LOCO) センサスを実施する。

主な結果

評価の結果、すべての指標およびモデルサイズにおいて、アダプター手法が明確な優位性を持つのではなく、微妙なトレードオフの関係にあることが明らかになった。

• 適合率と再現率のトレードオフ：
  • 1.5Bにおいて、アダプターは2-shotプロンプティング（0.480）よりも高い適合率（0.583）を示すが、再現率（0.660に対し0.586）では下回る。
  • 7Bにおいて、アダプターはスキーマプロンプティング（0.59）よりも高い適合率（0.67）を示すが、順序の忠実度（0.84に対し0.68）では劣る。
  • 0.5Bにおいて、アダプターは適合率（0.20に対し0.27）で2-shotプロンプティングをわずかに上回るが、再現率では遅れをとる。
• フォーマット遵守： アダプターは大幅にフォーマット遵守率が高い。1.5Bにおいて、アダプターの予測の96.7%が完全な構造化フィールドを含むのに対し、スキーマプロンプティングでは30.0%であった。これは、スコアの差の大部分が、選択の質というよりも構文的な遵守に起因していることを示唆している。
• 次ステップの正確性： 自己回帰的な次ステップの正確性は低く、特に小型モデルにおいて顕著である（0.5Bで0.08、1.5Bで0.06、7Bで0.29）。
• 安定性： 訓練の分散は無視できない。1.5Bおよび7Bにおいて、最強のベースラインに対する適合率のケース再サンプリング間隔がゼロを横切ることは、観察された利得がすべてのケースにおいて統計的に堅牢ではないことを示している。
• 転移診断： 3つの公開されたcrackmeに対する別のテストでは、「アクション・テクニック・チェック」の契約という概念自体は再利用可能であるが（事後的な正規化を伴う）、正確な契約率は低かった（0.133）。また、アダプター自体はこの転移シナリオでは評価されていない。

意義と主張

著者らは、本研究を、信頼できるスタンドアロンの分解システムや汎用的なアダプターの優位性の証拠ではなく、**制御された概念実証（proof of concept）**として明示的に位置づけている。

• 貢献： 本論文は、候補集合分解の定式化、リーク制御されたデータセット（SatSec）、および生の生成結果と監査ツールを含む再現性パッケージを提供している。
• 範囲の制限： 本研究は分解のフロントエンドを分離して調査している。検索（オラクル集合を使用しているため）、チェックのセマンティックな検証、あるいは再訓練なしでの新しい手法への汎用性は評価していない。
• 控えめな結論：
  • 結果は、普遍的な改善というよりも適合率と再現率のトレードオフを示している。
  • 観察された性能向上は、部分的にフォーマット学習（アダプターがベースラインよりも構造化されたJSONをより良く出力することを学習している）によって混同されている。
  • 小規模なコーパスとケース・ディスジョイント分割は、これら特定の24ケースを特徴付けるものであり、より広範な集団における性能を推定するものではない。
  • 次ステップの正確性の低さは、システムがまだ自律的な長期間の計画策定には準備ができていないことを示している。

本論文は、このアーティファクトが、検索および検証から候補選択を切り離してテストするための、監査可能な出発点として機能すると結論付けている。そして、信頼性やデプロイメントの準備に関するいかなる主張を行う前にも、コミュニティによるセマンティックレビュー、真に未接触の外部テストセット、現実的な検索の統合、およびデバイス上でのプロファイリングが必要であることを呼びかけている。