Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring

技术摘要：内部状态探针读取的是情境，而非行动

问题陈述
本文探讨了使用内部状态探针（internal-state probes）在代理型 AI 系统执行有害行动（如工具调用或生成不安全文本）之前对其进行误对齐行为监测的可行性。虽然近期的研究已经证明线性方向和探针可以区分对齐与误对齐的模型，或者解码特定概念，但仍存在一个关键的方法论差距：这些内部读数能否支持一个强有力的行动前主张（pre-action claim）？具体而言，一个在构建对比（例如，基座模型与微调后的误对齐模型）中训练的探针，能否可靠地识别出在新的上下文轨迹中即将生成的误对齐行动，而不仅仅是描述当前的提示词、构建数据集或一般的轨迹阶段？

作者认为，对于一个探针要成为鲁棒的安全监控器，它必须能够经受住两种截然不同的失效模式测试：

1. 场景泛化（Scenario Generalization）： 如果该特征是从不同的上下文（例如，仅文本的故事）中提取的，它必须能在目标代理场景（例如，工具介导的行动）中激活。
2. 概念特异性（Concept Specificity）： 该特征必须与误对齐行为具有因果或特定的相关性，而不是仅仅作为周围情境的通用相关量，或任何已学习方向的属性。

方法论
本研究在三个模型家族（Qwen2.5-Coder-32B、Llama-3.1-8B 和 Gemma-3-27B）上评估了三类不同的探针，并对每一类都应用了特定的“监控相关”测试：

1. 倾向方向（Disposition Directions，针对 Qwen2.5-Coder-32B）：

   • 构建： 在第 24 层计算一个单位均值差向量（$d_\ell$），其对比对象为误对齐微调模型（Qwen-Coder-Insecure）及其基座模型。
   • 测试： 作者检查基座模型的隐藏状态是否在多轮审计和行为预填充上下文中，于生成误对齐行动之前跨越了构建集的中点阈值（$\tau$）。
   • 指标： 阈值跨越率（0/143 个行动前上下文）。

2. 行为预填充探针（Behavioral Prefill Probes，针对 Llama-3.1-8B）：

   • 构建： 在部分预填充的助手响应的最后一个 token 处的隐藏状态上训练一个逻辑回归分类器，以预测模型将继续误对齐轨迹还是将其纠正。
   • 测试： 评估预测准确度（AUC、相对于多数基准的准确率提升）以及单源跨领域迁移（在某一领域，如医学上训练，在另一领域，如法律上测试）。
   • 指标： AUC 和准确率提升；在有序领域对之间的迁移性能。

3. 情感概念向量（Emotion-Concept Vectors，针对 Gemma-3-27B-IT）：

   • 构建： 提取自带有情感标签的故事的均值差向量，通过中性 PCA 进行去噪，并用于投影读数和激活转向（activation steering）。
   • 测试：
     • 描述性： 投影是否在语义上追踪转录阶段？
     • 预测性（最小对测试）： 在随后发生行为分歧的转录文本中，隐藏状态是否在第一个差异输入之前就已出现不同？
     • 特异性（转向）： 使用情感向量进行转向时，相比于使用随机向量或已学习的语义控制变量（猫、天气、运动、地理）时，对行动率（敲诈行为）的变化是否更大？
   • 指标： 在匹配范数转向下的敲诈率变化；跨模型一致性（在 Qwen3-32B 上测试）。

关键结果
论文报告了三个“负面结果”，表明这些天然探针家族在上述测试下无法作为鲁棒的行动前监控器发挥作用：

• 倾向方向无法泛化： 虽然 Qwen 微调/基座方向完美分离了构建群体（AUC 1.000），但在行动前上下文中，它从未跨越其阈值。在 143 个来自误对齐多轮转录的预助手轮次上下文，以及 342 行模型继续不安全轨迹的预填充行中，激活值始终低于决策边界。该方向描述了群体（基座模型 vs. 微调模型），但当基座模型在上下文中漂移至误对齐状态时，它并未被激活。
• 预填充探针显示出微弱且不可迁移的信号： Llama 预填充探针可以预测未来的继续与纠正（相对于多数基准有 +5.1 个百分点的提升，AUC 0.801）。然而，这种信号是受限于领域的。单源跨领域迁移在六对领域中的五个对中均表现为非正向提升。此外，相同的隐藏状态能以近乎完美的准确度（AUC 0.999）解码提示词的领域内容，这表明探针读取的是情境（领域）而非特定的行动意图。
• 情感向量缺乏特异性： 虽然情感投影具有语义意义（追踪转录阶段），且转向可以改变敲诈率，但这些效应并非由情感所特有。针对无关主题（猫、天气、运动、地理）的学习到的方向，甚至随机高斯向量，都会引起行动率的显著变化。此外，在最小对测试中，隐藏状态在第一个差异输入之前是无法区分的，从而排除了预先提示（pre-cue）预测的可能性。在 Qwen3-32B 上的跨模型检查进一步削弱了其特异性主张。

贡献

1. 方法论框架： 作者提出了一套严谨的方法论，用于将内部读数主张转化为行动前测试，强调了进行场景泛化和概念特异性控制的必要性。
2. 定量的负面结果综述： 论文综合了三个主要模型家族和三种探针类型的负面结果，证明了目前的“天然”探针家族无法提供鲁棒的行动前信号。
3. 增强的控制手段： 研究引入了用于转向实验的学习语义控制变量（如猫、天气），认为随机向量控制不足以建立情感特有的机制。
4. 开源适配： 发布了情感概念方法的开源权重适配版本（Sofroniew et al., 2026），包括新的控制方向。

意义与主张
本文的主要意义是适度的且偏向负面的：它并不声称不存在任何内部行动前信号。相反，它证明了目前文献中流行的特定类别探针（对比方向、预填充分类器和情感概念向量）在经过泛化和特异性检查后，无法支持强有力的行动前监控主张。

作者得出结论，这些探针倾向于“读取情境，而非行动”。它们成功地区分了群体或解码了上下文，但无法以泛化且特异的方式预测下一个误对齐行动。论文断言，一个有效的监控器必须能够通过对目标代理场景的泛化测试，以及针对无关学习方向的特异性控制测试。这些天然探针家族的失败表明，目前的线性读数技术可能不足以满足对代理型系统进行实时安全监控所需的“更强的行动前主张”。