技术摘要：逃离“一致性陷阱”

1. 问题陈述：一致性陷阱

自动化内容审核系统传统上依据与人工标注的一致性指标（如 F1 分数）进行评估。作者指出，在规则治理环境中，这种方法是失效的，因为在这些环境中，多种决策在逻辑上均可能与治理政策保持一致。在这些“灰色地带”中，人工审核员利用语境、先例和解释性规范来解决歧义，从而生成的标签反映的是特定的解决路径，而非底层的规则结构。

当模型从这些标签中学习时，它会复现这种解释路径。因此，基于一致性的指标会惩罚那些符合政策依据但与特定人工标签不同的有效决策，从而混淆了三种截然不同的失败模式：

1. 模型错误：模型违反了规则。
2. 审核员分歧：模型和人类选择了不同的有效路径。
3. 政策模糊性：规则本身定义不足。

作者将这种现象称为一致性陷阱。它导致对规则遵守情况的系统性误判，特别是当政策可辩护的结果集合为多值集合（包含多个元素）时。

2. 方法论：可辩护性框架

为解决这一问题，本文将评估形式化为基于政策的正确性，将关注点从与历史标签的一致性转向显式规则层级下的逻辑可推导性。

2.1 形式化与指标

该框架针对内容 $C$、规则层级 $R$（平台级 $R_G$ 和社区级 $R_C$）以及先例语料库 $P$，对提议的决策 $\hat{y}$（例如“移除”或“批准”）进行评估。如果存在从 $(C, R, P)$ 到 $\hat{y}$ 的有效逻辑推导，则该决策是可辩护的。

决策被分为三个等级：

• L1（稳健可辩护）：明确的规则直接且无歧义地授权该决策。
• L2（合理可辩护）：规则确实存在歧义，但该决策得到了合理的支持。
• L3（不可辩护）：没有明确规则授权该决策，或者推理过程引用了规则集中不存在概念。

引入了两个主要指标：

• 可辩护性指数 (DI)：L1 或 L2 决策所占的比例。目标：$\ge 0.90$。
• 歧义指数 (AI)：触发“反向检查”（验证相反决策是否也可推导）的决策所占比例。目标：$\le 0.15$。AI 被分解为平台级 ($A_{IG}$) 和社区级 ($A_{IC}$) 的定义不足。

2.2 审计实施

该框架采用结构化审计，使用审计模型 ($M_a$)。与评估主观质量的常规“大语言模型即法官”方法不同，$M_a$ 充当受约束的推理引擎。它接收内容、规则、先例和提议的决策，然后生成 JSON 推理轨迹：

1. 逻辑链：推理步骤。
2. 政策引用 ($\kappa$)：明确的规则参考（在判决之前确定）。
3. 先例权重 ($\omega$)：过往案例的重要性。
4. 反向检查 ($\iota$)：相反决策是否也可推导。
5. 可辩护性等级 ($\xi$)：L1、L2 或 L3。

这种顺序确保分类基于明确的治理参考，防止模型为预先确定的输出进行合理化辩解。

2.3 概率可辩护性信号 (PDS)

为了在不进行额外审计的情况下估计推理稳定性，作者引入了PDS，该信号源自审计模型的 token 对数概率。PDS 从单次前向传播中提取一个三分量向量：

1. $\lambda_\xi$（标签对数置信度）：最终可辩护性等级的对数概率。
2. $H[\kappa]$（引用跨度熵）：政策引用 token 上的香农熵。高熵表示规则选择存在不确定性。
3. $\sigma(\rho)$（反向检查对数几率）：反向检查触发的对数几率。高值表示模型不确定该决策是否不可辩护。

这些分量通过校准组合成一个标量 $S$。该框架假设 PDS 的方差主要由治理歧义驱动，而非解码噪声。

3. 主要贡献

1. 基于政策的正确性形式化：引入 DI 和 AI，将政策可辩护的决策与不可辩护的决策区分开来，超越了一致性指标。
2. 概率可辩护性信号 (PDS)：一种从审计模型对数概率中提取的零成本稳定性信号，与推理不稳定性相关。
3. 治理门控：一种操作部署机制，将自动化执行限制在满足特定 DI 和 AI 阈值的群体中，从而在降低风险的同时实现原则性的自动化覆盖。

4. 实证结果

该框架在跨多个社区的**193,000+**个 Reddit 审核决策上进行了验证，审计依据包括平台级和社区级规则。

4.1 一致性与可辩护性之间的差距

• 指标分歧：基于一致性的 F1 分数与可辩护性指数之间存在33–46.6 个百分点的差距。
• 假阴性分析：模型“假阴性”（与人工标签不一致）中的79.8–80.6%实际上是基于政策的决策（L1 或 L2）。这证实了一致性陷阱：当与特定人工解释发生分歧时，标准指标会惩罚有效的规则遵守行为。
• 根本原因：只有 19.4% 的分歧是真正的模型错误（L3）；其余均为隐性规范执行或政策模糊性。

4.2 PDS 与稳定性

• 人类对齐：PDS 与人类可辩护性评级高度相关（$\rho = 0.66, p < 10^{-4}$）。
• 歧义检测：在分歧案例中，反向检查对数几率 ($\sigma(\rho)$) 比一致案例高出 63%。
• 稳定性分析：重复采样（1,000 次复现）显示，PDS 方差由治理歧义驱动，而非采样噪声。“翻转”案例与“稳定”案例之间的不稳定性比率在温度增加十倍的情况下保持平稳（约 1.6 倍），支持了治理歧义假设。

4.3 规范定义不足实验

在 r/AskReddit 社区对 37,286 个决策进行审计，规则详细程度分为三个层级（仅标题、侧边栏、Wiki），结果显示：

• AI 降低：增加规则细节使歧义指数降低了10.8 个百分点（从 18.2% 降至 7.4%）。
• DI 稳定性：可辩护性指数保持稳定（约 97-98%），表明无论规则细节如何，这些决策都是可辩护的；发生变化的是对其可辩护性的不确定性。
• 机制：模糊的规则主要产生歧义性（L2）决策，而非不可辩护（L3）决策。

4.4 治理门控性能

配置为 DI $\ge$ 0.90 和 AI $\le$ 0.15 的治理门控实现了：

• 78.6% 的自动化覆盖率（在整个系统中）。
• 64.9% 的风险降低（将自动化部分的不可辩护决策率从 5.66% 降低至 2.72%）。
• AI 阈值被确定为约束性限制，意味着选择性由政策歧义而非推理有效性决定。

4.5 对抗鲁棒性

在“虚假基础基准”（包含 1,000 个案例，包括对抗性攻击）中：

• 检测：系统检测到了 93.5% 的行动翻转攻击和 70.1% 的幻觉基础攻击。
• 逃逸面：29.9% 的攻击成功逃逸，特别是那些利用“政策半影”（主观内容规则）的攻击。关键在于，易受这些攻击的规则正是歧义指数识别为需要澄清的规则，这为该框架的诊断能力提供了独立的佐证。

5. 意义与主张

本文主张，规则治理环境中的评估必须从与历史标签的一致性转向基于显式规则的推理有效性。

• 重构歧义：该框架将政策歧义视为一种 deliberate 设计特征（规范定义不足），而非缺陷，它保留了人类判断。这些指标量化了这种弹性，从而在可辩护性高时实现安全的自动化。
• 大语言模型作为推理审计员：这项工作将“大语言模型即法官”范式从主观质量评估扩展到基于规则的逻辑验证。通过将规则视为外部真理来源，将审计模型视为受约束的推理引擎，该系统实现了规则一致性。
• 实际部署：治理门控提供了一种原则性机制，用于在保持可审计性的同时扩展自动化规模，证明了大语言模型推理轨迹（特别是对数概率分布）可作为治理的校准不确定性信号。

作者得出结论：歧义指数、PDS 方差和对抗性逃逸面的收敛指向了一个单一的根本现象：规范定义不足。该框架提供了识别和管理这种定义不足的基础设施，而不是将其视为模型错误。