From Propositional to Perceptual Asymmetry: Extending Frictive Policy Optimization to Asymmetric Partial Information Dialogue

技术摘要：从命题不对称到感知不对称

问题陈述
协作式对话依赖于共同基础（common ground）的构建，而这一过程本质上容易产生摩擦（错位、误解和修复）。虽然摩擦力优化策略（Friction Policy Optimization, FPO）将这种摩擦重新定义为对鲁棒对齐至关重要的认识论信号，但现有的实现方式（如 FAAF）是在命题不对称（propositional asymmetry）的假设下运行的。在这种机制中，参与者共享一个感知语境（同一个场景），但产生了不同的信念。

本文指出，将 FPO 应用于感知不对称（perceptual asymmetry）时存在局限性，即参与者持有不对称的部分信息（例如不同的地图或视图）。在这种设定下，相同的表层表达根据其所依据的信息状态的不同，可能会产生不同的指称含义。核心问题在于，标准的 FPO 公式假设存在共享的感知语境，却未能考虑到“交互历史”（$h$）是参与者特有的（$h^{(i)}$）。因此，全知视角的摩擦评估可能会遗漏关键的错位，或将其误分类为噪声。

方法论
作者将 FPO 扩展到视角化公式（perspectival formulation），并通过跨语料库分析和大型语言模型（LLM）探测进行评估。

1. 理论扩展：

   • 作者将摩擦状态（frictive state）重新定义为：相对于参与者的私有信息视界 $h^{(i)}$ 而言，至少存在一个合理的响应使得摩擦泛函 $F^-(h^{(i)}, y) > 0$ 的配置。
   • 他们将 $F^-$ 的四种认识论失效模式（不确定性、矛盾、危险、价值冲突）分解为角色特定的诊断指标：
     • 说话者（给予者/Giver）： 主要检测价值冲突（生成欠定）和不确定性（语境内歧义）。
     • 听话者（跟随者/Follower）： 主要检测矛盾（跨视角对齐冲突）和危险（自信的错误承诺）。
   • 该公式将共同基础视为一种主动构建的过程，旨在调和感知上不一致的证据，而非将其视为一种预设前提。

2. 数据集：

   • HCRC MapTask： 主要评估目标。作者利用了两个标注层：原始的 NXT 对话行为标签，以及 GMMT（MapTask 中的对齐误解）数据集，后者提供了关于预期与解释的地标的逐视角标注。
   • OneCommon： 作为第二种跨语料库对比点，用于观察不同任务结构（点选择）中的指称不对称性。

3. 实验设计：

   • 语料库分析： 将地标差异类型（相同、词汇、存在性、多重性）与 GMMT 待定子类型及对齐轨迹进行交叉分类。
   • LLM 探测： 测试了三种指令微调后的 LLM（GPT-5, Qwen3.6, Llama-4-Scout），分别处于三种条件下：
     • 全知视角（Omniscient）： 能够访问两名参与者的地图。
     • 给予者视角（Giver Perspective）： 仅能访问给予者的地图。
     • 跟随者视角（Follower Perspective）： 仅能访问跟随者的地图。
   • 修复生产力评估： 使用“修复得分”（RepairScore）指标来确定检测到的摩擦状态是否对应于对话中随后被修复的错位。

核心贡献

1. 视角化摩擦状态： 本文形式化了一种角色特定的摩擦分解方法，即说话者承受来自语境内歧义的摩擦，而跟随者承受来自跨语境冲突的摩擦。
2. 视角受限评估的实证验证： 通过 LLM 探测，作者证明了将模型限制在单一参与者的视图中，比全知视角更能有效检测出指称性的错位。
3. 标注优化建议： 作者提出了针对对齐标注方案的两项具体改进：
   • 子类型分解： 区分待定子类型（例如，未对齐与量化型），以捕捉不同的失效模式。
   • 容纳感知对齐： 区分通过显式协商实现的对齐与通过沉默容纳实现的对齐。

结果

• 差异依赖型摩擦： 摩擦并非均匀分布；不同的差异类型会产生性质迥异的对齐失效特征。多重性差异（即地标在其中一张地图上出现多次）驱动了不成比例的误解（发生率为 12.0%，而相同地标的发生率仅为 0.2%），并表现出极高的“未对齐”待定状态率。
• 轨迹分析： 多重性链条表现出高比例的非单调状态轨迹（38.9%），即虽然实现了局部对齐，但随着后续引用重新引入歧义，全局对齐发生了衰减。这支持了 FPO 中的危险（Hazard）成分（即看似成功但实际发生沉默分歧的轨迹）。
• LLM 探测性能：
  • 视角优越性： 在所有模型中，给予者视角条件下的摩擦检测表现显著优于全知视角（F1 值差距达 +0.47 至 +0.69）。
  • 全知失效： 全知模型经常无法检测到错位，将跨地图的矛盾视为噪声，或由于存在共享实体而默认判定为“是”（已对齐）。将视野限制在单一视角可以凸显出结构相关的特定信息子集，从而提高检测能力。
  • 修复生产力： 视角化公式成功识别了测试集中所有的 13 个金标准修复事件，而全知基准模型则遗漏了其中若干。这证实了视角化信号不仅是可检测的，而且是具有修复生产力的。
• 容纳 vs. 协商： 沉默容纳（在没有摩擦移动的情况下改变解释）非常罕见（仅占已对齐 RE 的 0.2%）。主要的模式是协商式对齐，这表明参与者在解释发生变化时能有效地利用摩擦，但瓶颈在于追踪那些在整个对话链中反复出现的结构性歧义。

意义与主张
本文声称，协作式对话不仅仅是一个可以通过更大的上下文窗口或更强大的模型来解决的“共享语境问题”。相反，当智能体在私有信息下进行协作时，摩擦存在于它们的信息视界之间的差距之中。

作者认为，更多的上下文反而会掩盖信号：拥有两名参与者的视角（全知视角）会导致低估不对称知识，并忽略关键的错位。一个基于单一信息视界进行推理的“较小”的视角化模型，在检测和修复错位方面的表现优于一个“全知”的前沿模型。

这项工作确立了 FPO 的摩擦泛函只有在从每个参与者的信息视界进行评估时才是经验有效的。这挑战了智能体设计中关于“错位即覆盖度问题”的默认假设，提出有效的对齐需要从视角出发进行推理，而非同时对所有视角进行推理。论文总结道，对于多智能体系统和人机协作，必须设计能够从特定的、私有的信息状态进行推理的摩擦感知系统。