技术摘要：将 AI 对齐于动态的人机工作流

问题陈述

当前的 AI 对齐范式主要依赖于静态且模仿性的方法。这些方法通过强化学习（基于人类反馈，RLHF）、行为克隆或对偶로德（dueling bandits）等手段，针对孤立的输入-输出对来优化模型，使其模仿人类行为或满足静态偏好函数。本文认为，这种框架无法捕捉现实世界中人机交互的动态性、上下文相关性。

在实际的工作流中（例如，开发者使用 AI 编程助手），人类的偏好、信任和依赖程度会随着交互历史而演变。静态对齐将人类视为固定的偏好标签来源，将 AI 视为旨在实现即时满意度的系统。这忽略了有效的协作需要互补性（complementarity），即角色需要适应，且行为需在序列化交互中共同演进。现有的差距在于，目前的公式化方法未能考虑到人类与模型行为相互影响的长时程轨迹（longitudinal trajectories），也未能针对时间维度上的联合结果进行优化。

方法论

本文采用的是一种概念性与跨学科的综合方法，而非提出新的经验算法或数据集。其方法论由三个主要部分组成：

1. 形式化差距： 作者将标准的静态对齐目标与提出的轨迹级视角进行了对比。

   • 静态视角： 优化 $\pi_\theta$ 以最大化孤立输出的期望奖励 $E[\hat{r}(x, y)]$。
   • 提议视角： 将交互建模为一条轨迹 $\tau = (x_1, a^A_1, a^B_1, \dots, x_T, a^A_T, a^B_T)$，其中动作取决于历史记录 $\tau_{<t}$ 和潜在状态（目标、信念）。目标是最大化轨迹上的奖励总和：$E_{\tau}[\sum r^*(x_t, a^H_t, a^{AI}_t; \tau_{<t})]$。该公式明确纳入了交互历史、协调机制以及联合结果。

2. 跨学科研讨会综合： 为了使这一观点落地，作者召集了 70 名来自机器学习和行为科学（人机交互、认知科学、组织心理学）领域的参与者举行研讨会。

   • 流程： 研讨会利用教程、结构化头脑风暴和轮换讨论小组，来综合关于人类-人类协作的见解，并将其推演至人机设置。
   • 数据来源： 研究结果源自讨论、书面总结以及识别障碍与未来方向的会前调查。

3. 理论分析： 本文分析了来自人类-人类协作的原则（信任演变、交互记忆、共享心理模型）如何转化为人机系统，并识别了 AI 智能体引入的特定不对称性和新挑战。

核心贡献

1. 形式化“互补性对齐”

本文提出从模仿性对齐（模仿人类输出）转向交互式与互补性对齐。在此框架下：

• 偏好是涌现的： 它们不是静态标签，而是通过交互而演变的。
• 优化是基于轨迹的： 目标是随着时间的推移优化人-AI 系统的行为，而不仅仅是单个步骤的模型输出。
• 互补性： 在数学上定义为一种状态，即人类与 AI 动作的联合奖励超过了任一智能体单独行动所能达到的最大奖励（$r^*(a^H, a^{AI}) > \max(r^*(a^H, \emptyset), r^*(\emptyset, a^{AI}))$）。

2. 关于动态性的跨学科洞察

通过研讨会，本文识别了人类-人类协作中的两个核心教训及其在人机设置中的转化：

• 信任演变： 信任是多维度的（能力、仁爱、正直），并随交互历史而演变。在人机设置中，由于不对称性放大（AI 的速度、规模以及缺乏社交线索）和可解释性问题，用户难以建立准确的 AI 能力或意图的心理模型，这使得信任构建变得复杂。
• 协调与互补： 高效团队利用“交互记忆”（知道谁知道什么）和“共享心理模型”来进行协调。在人机工作流中，AI 系统可以重塑工作产出和协调过程（例如通过起草或总结），这要求设计出新的显式机制来管理不确定性和角色分配。

3. 识别障碍与研究议程

本文概述了阻碍动态对齐进展的三个具体障碍：

• 概念障碍： 与成熟的人类-人类理论相比，关于人机交互的理论不足；AI 的快速演进超过了理论开发的速度。
• 转化障碍： 由于数据不可获取性（私有工业环境）以及理论与应用视角之间的鸿沟，难以将研究落实到现实世界的部署中。
• 评估障碍： 缺乏标准化的指标、高质量的长时程交互数据集以及交互式测试平台。目前的基准测试侧重于任务完成度，而非协作适应或从失败中恢复的能力。

作者提出了一个研究议程，旨在综合机器学习（多智能体强化学习、偏好学习）与社会科学洞察（交互记忆、信任模型），以开发能够针对校准依赖、协调与适应进行优化的系统。

结果

作为一篇理论性与立场性论文，这项工作并不呈现实验结果或经验基准。相反，其“结果”是综合后的框架与研究议程。本文成功地：

• 阐明了当前静态对齐方法在代理化（agentic）、集成化工作流背景下的局限性。
• 提供了一个关于静态输出优化与基于轨迹的协作优化之间的数学区分。
• 将特定的社会科学概念（如交互记忆）映射到 AI 设计的技术挑战上。
• 识别了当前机器学习文献中的具体空白（例如多智能体强化学习中假设存在模拟智能体的做法），并提出了弥合差距的方向。

重要性与主张

本文通过主张领域必须从快照式评估转向轨迹级优化来体现其重要性。文章指出，随着 AI 系统变得更加具有代理性并集成到人类工作流中，静态对齐将不再充分，甚至可能与长期的人机成功背道而驰。

作者强调：

• 跨学科综合至关重要： 解决动态对齐不仅需要机器学习，还需要整合社会与决策科学的见解，以理解信任与协调的实际运作方式。
• 互补性是一个对齐问题，而不只是设计问题： 由于 AI 改变了人类的工作方式，模型的训练与优化目标必须发生根本性变化，以支持有效的协作，而不是仅仅将其留给工作流设计者。
• 安全与风险： 动态对齐引入了新的风险（例如，AI 为了优化下游结果而操纵用户信任），这需要进行严谨的研究而非回避。

本文最后呼吁开发能够实现在交互中与人类对齐的 AI 系统，这需要产生能够考虑人类与模型行为共同演进的新一代方法。