A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition

技术摘要：一种用于离线卫星安全计划分解的受控候选集基准测试

问题定义

本文针对卫星安全开发中的一个特定组件：将高层安全目标（例如，测试遥测授权）映射为有序且可检查的行动计划。在敏感人工制品无法离开本地环境的环境中，紧凑的本地模型更具优势。然而，现有关于分解提示（decomposition prompting）和任务特化（task specialization）的研究尚未确定这些策略是否适用于安全战役计划。

核心挑战被定义为一个候选集目标分解任务。给定一个目标 $o$ 和一组可用技术 $G(o)$，模型必须选择正确的参考技术并将其排序为序列 $\sigma(o)$。

• 参考标准： 一个分解是一个由三元组 $(t_i, \tau_i, c_i)$ 组成的有序序列，其中 $t_i$ 是自然语言动作，$\tau_i$ 是来自 SPARTA 框架的技术标识符，$c_i$ 是编写的检查语句。
• 约束条件： 模型在一个“受控候选集” $G(o)$ 内运行。在本研究中，$G(o)$ 是一个先验集合（oracle set），其构造方式包含每一个参考技术以及领域内的干扰项（来自不同家族的技术）。任务是选择并排序正确的子集，而不是从庞大的语料库中检索或从零生成技术。
• 目标： 旨在衡量选择（精确度/选择性）和排序保真度，以区分模型是具备挑选正确工具的能力，还是仅仅具备倾倒整个候选集的能力（后者会导致高召回率但低精确度）。

方法论

作者提出了一种低秩自适应（LoRA），旨在训练模型根据显式的候选集生成计划，从而将分解组件与检索及验证层分离。

1. 数据集构建 (SatSec Corpus)：

   • 来源： 24 个基于 SPARTA 和空间安全标准的编写案例，涵盖了诸如 GNSS 欺骗、被动窃听和未经身份验证的遥测分析等事件。
   • 组成： 24 个作者编写的“分解（decompose）”示例和 83 个机械生成的“下一步（next-step）”示例，总计 107 个示例。
   • 划分： 数据集采用**案例不相交（case-disjointly）**的方式进行划分。保留了 6 个案例用于评估，确保测试案例中的任何步骤都不会出现在训练集中。
   • 泄漏控制： 为防止参考信息泄漏，输入提示仅包含目标和 8 个打乱顺序的候选技术（即参考技术加上干扰项）。参考叙述和步骤序列均从输入中移除。
   • 干扰项： 候选技术被填充至 8 个不同的技术。干扰项选自不同的技术家族，以确保任务是跨家族选择，而非同级辨析。

2. 模型架构与训练：

   • 基座模型： Qwen2.5-0.5B, 1.5B, 和 7B-Instruct。
   • 适配器： 在冻结的基座模型上训练一个低秩自适应器（Rank 16, $\alpha=32$）。
   • 监督模式： 使用两种模式：
     • 全量分解 (Full Decomposition)： 自回归生成整个计划。
     • 下一步 (Next-Step)： 给定前序步骤后，监督单个后续步骤。
   • 损失函数： 使用仅完成（completion-only）掩码，这意味着损失仅在生成的 token 上计算，而不包括提示部分（包含候选集）。

3. 评估协议：

   • 基线模型： 仅含候选技术的未适配模型、基于 Schema 提示的模型，以及带有固定示例的两步提示（two-shot prompting）模型。
   • 指标：
     • 召回率 (Recall)： 恢复出的参考技术的比例。
     • 精确度 (Precision/Selectivity)： 生成的技术中属于参考集的比例（惩罚对干扰项的包含）。
     • 排序保真度 (Ordering Fidelity)： 已匹配步骤之间的先后顺序违规情况。
     • 候选有效性 (Candidate Validity)： 生成的标识符是否为有效的 SPARTA 条目。
     • 检查字段存在性 (Check-Field Presence)： 检查字段的语法存在情况。
   • 稳定性检查： 在五个解码种子和三个训练种子（42, 43, 44）上进行评估，以区分采样噪声与训练方差。在 0.5B 和 1.5B 模型上执行了 24 折留一案例（LOCO）普查。

关键结果

评估揭示了在所有指标和模型规模下，并非所有情况都表现出适配器方法的绝对优越性，而是存在细微的权衡。

• 精确度与召回率的权衡：
  • 在 1.5B 模型下，适配器的精确度（0.583）高于两步提示（0.480），但召回率（0.586 vs. 0.660）较低。
  • 在 7B 模型下，适配器的精确度（0.67）高于 Schema 提示（0.59），但排序保真度（0.68 vs. 0.84）较低。
  • 在 0.5B 模型下，适配器在精确度上略优于两步提示（0.27 vs. 0.20），但在召回率方面落后。
• 格式合规性： 适配器的格式合规性显著更高。在 1.5B 模型下，96.7% 的适配器预测包含完整的结构化字段，而 Schema 提示仅为 30.0%。这表明得分差异的很大一部分源于语法遵循能力，而非语义选择质量。
• 下一步准确率： 自回归下一步准确率较低，尤其是对于较小的模型（0.5B 为 0.08，1.5B 为 0.06，7B 为 0.29）。
• 稳定性： 训练方差不可忽视。在 1.5B 和 7B 模型上，相对于最强基线的精确度案例重采样间隔穿过了零点，表明观察到的增益在所有案例中并不具备统计学上的稳健性。
• 迁移诊断： 对三个公开 Crackme 的单独测试显示，虽然“动作-技术-检查”契约的概念可以复用（通过事后归一化），但精确契约率较低（0.133），且适配器本身并未在这一迁移场景中进行评估。

意义与主张

作者明确将这项工作定位为受控的概念验证，而非可靠的独立分解系统或通用的适配器优势证明。

• 贡献： 本文提供了一个候选集分解的公式化定义、一个受控泄漏的数据集 (SatSec)，以及一个包含原始生成内容和审计工具的可复现性包。
• 范围限制： 本研究隔离了分解的前端。它并未评估检索（因为使用了先验集合）、检查内容的语义验证，也未评估向无需重新训练的新技术的泛化能力。
• 审慎结论：
  • 结果显示存在精确度与召回率的权衡，而非普遍的性能提升。
  • 观察到的性能增益部分受格式学习的影响（适配器比基线模型更好地学习了如何输出结构化 JSON）。
  • 小型语料库和案例不相交的划分特性仅适用于这些特定的 24 个案例，并未估算其在更广泛群体中的表现。
  • 低下的下一步准确率表明该系统尚不足以进行自主的长程规划。

论文总结道，该成果作为一个可审计的起点，用于单独测试候选集选择，并将其与检索及验证过程区分开来。作者呼吁未来的工作应涉及社区语义审查、真正未接触过的外部测试集、真实的检索集成，以及在宣布可靠性或部署就绪性之前进行设备端性能剖析。