🤖 AI

Engagement Process: Rethinking the Temporal Interface of Action and Observation

本文介绍了参与过程（EP），这是一种新的交互形式化方法，它将动作与观测解耦为连续事件流，以显式建模诸如 deliberation latency（ deliberation 延迟）和延迟反馈等复杂时序动态，从而克服传统固定步长接口在单智能体和多系统场景中的局限性。

原作者： Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jialian Li, Yuchen Cao, Junhong Liu, Weiran Guo, Xutao Wang, Jiaming Song, Jiahao Zhang, Jie Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在管理一个繁忙厨房的同时，通过视频通话辅导一名学生。在旧有的计算机（或“智能体”）运作思维模式中，这个过程就像一场严格、僵化的“轮流”游戏。

旧模式：“停停走走”游戏
在传统模型（称为 POMDP）中，智能体必须停止一切活动去思考，执行一个动作，等待结果，然后再次思考。

问题所在：现实生活并非如此。当你正在炖汤（一个需要时间的动作）时，计时器可能会响（一个观察结果）。当你正在撰写一封长邮件（思考）时，一条新的紧急消息可能会弹出。
缺陷：如果计算机被强制等到邮件完全写完才能“看到”新消息，那么这条消息可能会过时或错过截止日期。这就像试图驾驶一辆汽车，却只能在汽车完全停止时才能观察路况。

新构想：“参与过程”（EP）
本文作者提出了一种描述智能体与世界互动的新方式，他们称之为参与过程（Engagement Process, EP）。

请将 EP 想象成不是轮流游戏，而是在同一时间线上流动的两个独立频道：

行动频道：这是智能体发出指令（如“开始烹饪”、“调用此工具”或“写下这句话”）。这些动作需要时间来完成。
观察频道：这是世界回传信息（如“计时器响了”、“工具已完成”或“收到新邮件”）。这些消息可以在任何时刻到达，即使智能体正忙于第一个动作。

解释概念的创意类比

交响乐指挥家 vs. 独奏者：
- 旧模式：指挥家（智能体）举起指挥棒，等待整个乐团演奏完一个音符，然后停下、聆听，接着再举起指挥棒演奏下一个音符。如果小提琴手在演奏音符时突然咳嗽（一个观察结果），指挥家要等到下一个“回合”才能听到。
- EP 模式：指挥家正在指挥一段流畅的乐曲。小提琴手在音乐演奏期间咳嗽。指挥家立即听到并可以当场调整节奏或音量，而无需停止音乐。“行动”（指挥）和“观察”（听到咳嗽）在同一时间线上同时发生。
忙碌的厨师：
- 旧模式：厨师把锅放在炉灶上，然后坐在椅子上盯着墙壁，直到锅里的水烧开才能做其他事。如果电话响了，他们必须等到锅烧开才能接听。
- EP 模式：厨师把锅放在炉灶上（一个需要时间的动作）。在水加热期间，电话响了（一个观察结果）。厨师听到后接听电话，然后继续检查锅里的情况。“烹饪”和“打电话”是重叠进行的。

论文的实际发现

作者通过三种不同的方式测试了这一想法，以验证其是否真正有效：

“思考时间”测试（玩具实验）：
他们创建了一个游戏，让智能体决定在回答前思考多久。
- 结果：旧的“停停走走”智能体陷入了困境。由于在训练中没有时间成本，它们思考过久。它们不断选择“最慢但最准确”的选项，导致时间耗尽。
- EP 结果：EP 智能体学会了思考需要时间。如果截止日期紧迫，它们学会了更早停止思考，从而更好地平衡速度与准确性。
“忙碌助手”测试（大语言模型实验）：
他们模拟了一位数字助手在撰写长篇报告时，不断收到新邮件的情景。
- 结果：旧智能体（仅在段落结束时检查邮件）错过了许多紧急邮件，或响应过晚。
- EP 结果：EP 智能体可以暂停写作，处理紧急邮件，然后从刚才中断的地方继续写作。它们错过的截止日期更少，响应也更快。
“厨房机器人”测试（具身实验）：
他们模拟了一个机器人在烹饪多道需要不同时间关注的菜肴的同时辅导学生。
- 结果：旧智能体过于僵化。如果一道菜需要从烤箱取出，机器人会忽略它，直到说完当前的辅导句子。
- EP 结果：EP 智能体在交谈时能看到“烤箱计时器”信号，决定暂停辅导，取出菜肴，然后继续课程。这既保住了食物，又保持了辅导的连续性。
“学习节省时间”测试：
他们训练了一个 AI 在严格的字数（token）限制下解决数学问题。
- 结果：标准训练使 AI 在数学上更聪明，但它没有学会简洁。即使被要求快速回答，它仍使用了过多的词汇。
- EP 结果：经过 EP 训练的 AI 学会了根据时间限制以不同的方式“表达”。如果时间紧迫，它会给出简短、直接的 answers；如果时间充裕，它会进行更详细的解释。它学会了根据情况调整其“思考速度”。

核心结论

该论文认为，我们需要停止将时间视为构建 AI 时的隐藏细节。相反，我们应该构建一个系统，其中行动和观察是独立的事件流，可以同时发生。

通过这样做，AI 智能体变得更像人类：它们可以 multitask（多任务处理），处理中断，并在时间紧迫时做出更好的决策，而不是陷入“思考、行动、等待、思考、行动、等待”的僵化循环。

技术摘要：参与过程（EP）

问题陈述

大型语言模型（LLM）、具身智能以及工具增强型智能体的最新进展，使其能够在日益逼真的数字和物理环境中运行。然而，在这些环境中，动作与观察的时间结构之间存在根本性的不匹配。传统的交互形式化方法（如部分可观测马尔可夫决策过程，POMDPs）依赖于固定的决策时刻，即一次观察与单个瞬时动作配对。而在现实中，智能体常面临以下情况：

动作侧的时间问题： deliberation 延迟（例如 LLM 推理时间）、持续性动作（例如导航指令）以及结果延迟的工具调用。
观察侧的时间问题：消息、警报和工具响应的异步或稀疏到达，以及连续或多速率的传感器反馈。

当前的方法通常将这些时间现象视为实现细节，或通过外部补丁（例如固定轮询间隔或手工编写的中断规则）来处理。这掩盖了智能体为适应明确的时间成本而调整其行为所必需的时间结构，导致次优策略，可能表现为过度 deliberation、错过紧急事件或无法有效中断正在进行的进程。

方法论：参与过程（EP）

作者提出了参与过程（Engagement Process, EP），这是一种新的交互形式化方法，它继承了 POMDPs 的决策理论结构，但从根本上重新思考了时间接口。

核心定义

EP 定义在离散的时间刻度序列 $T = \{0, 1, 2, \dots\}$ 上（可扩展至连续时间），并由 $E = (S, A, Y, F, O, U)$ 指定：

状态（ $S$ ）：概括环境、正在进行的进程以及接口条件。它可以编码持续性动作的效果以及依赖于状态的观察访问权限。
作为干预的动作：与标准 POMDPs 中动作在每个刻度作为默认控制不同，EP 将动作视为定时干预。智能体选择一组干预措施 $A_t \subseteq A$ （可以是空集，也可以包含多个同时发生的原子动作）。
作为事件的观察：观察作为信息事件 $Y_t \subseteq Y$ 从状态过程中生成，独立于决策步骤。它们可以异步到达、为空，或包含多个事件。
动力学：状态演化为 $s_{t+1} \sim F(\cdot | s_t, A_t)$ 。关键在于，即使 $A_t = \emptyset$ ，系统也会演化，从而允许对持续性进程进行建模。
效用：瞬时效用 $u_t$ 可以代表任务奖励，以及动作执行、感知、中断和 deliberation 时间的成本。

关键区别

解耦：EP 将智能体的内部决策过程与观察和干预的外部时间解耦。智能体基于干预集和观察事件集的历史维护一个信息状态 $w_t$ ，使其能够跟踪待处理的计算、工具调用和截止日期。
组合复用：该接口支持层次化组织。智能体内部的子系统本身可以建模为类 EP 进程，其中模块调用是干预，返回的消息是观察，所有这些都共享相同的抽象接口。
与现有模型的关系：
- POMDPs：作为同步特例被恢复，即每个刻度恰好有一个动作和一个观察。
- SMDPs/Options：表示为受限的 EP，其中干预在状态中创建“活跃”组件，但 EP 允许观察在这些选项执行期间进入接口，而不仅仅是在终止时。

主要贡献

明确的时间接口：EP 为时间现象（deliberation 延迟、延迟反馈、持续性动作、中断、多速率观察）提供了一种统一语言，而这些现象通常被单独处理或隐藏在状态设计中。
关注点分离：它将外部动作 - 观察接口与智能体的内部组织解耦，允许以不同频率运行的组件（例如高层规划器与底层控制器）在共享的时间线上进行协调。
统一形式化：它为智能体 - 环境交互以及内部模块 - 模块交互提供了同质的接口，促进了组合设计，而无需为每个边界设置单独的接口。

实验结果

作者在三个场景中评估了 EP：

1. 玩具实验

感知紧急性的 deliberation：在推理准确性随时间提高但消耗截止时间的任务中，EP 训练的策略学会了在计算深度与紧急性之间取得平衡。相比之下，按步训练的策略（将 deliberation 视为瞬时）过度使用最慢但最准确的模式，导致高超时率（在单任务设置中，EP 为 0.0%，而步训练策略为 79.0%）。
带中断的层级巡逻：在带有异步警报的巡逻任务中，EP 允许智能体在警报到达时立即中断正在进行的导航或处理例行程序。
- 模块级：EP 解决了 90.9% 的警报，而仅在模块边界做决策的基线仅解决了 51.5%。
- 状态级：EP 通过学习紧急性、距离、阶段进度和中断成本之间的权衡，优于手写补丁和基于边界的基线，实现了显著更高的回报和更低的过期率。

2. 基于 LLM 的实验

数字助理（异步邮件）：智能体必须在处理时间敏感的邮件的同时完成主要任务。
- EP 将主要任务生成视为可中断的动作，允许智能体在邮件到达时对其进行分类处理。
- 基线：AgentLoop（同步）错过了许多截止日期；Periodic Poll 有所改善，但受限于固定间隔。
- 结果：EP 实现了最高的效用和平衡分数，相对于 AgentLoop 将邮件超时率降低了约 40%，并将首次响应延迟减少了近一半。
具身调度：智能体协调辅导和烹饪进程。
- EP 在辅导期间立即暴露烹饪信号，允许智能体决定是中断、推迟还是继续。
- 结果：EP 实现了最高的效用和关键菜肴的成功率，优于基于轮询和引擎侧反射的基线，特别是在具有重叠截止时间的多菜肴场景中。

3. 时间感知的 LLM 训练

作者在带有明确 token 预算和紧急性指令的数学问题上训练了推理模型（Qwen3-8B）。
EP 感知训练：仅当答案正确且在 token 预算内时才给予奖励。
结果：EP 感知模型学会了根据预算调整生成长度（例如，对于 1k 预算生成约 420 个 token，而对于 8k 预算生成约 1400 个 token）。相比之下，仅关注正确性的 RL 模型（RLVR）提高了准确率，但未能遵守预算，通常生成的 token 数量远超允许范围。

意义与主张

该论文声称，参与过程（EP）并不寻求比增强的 POMDPs 更大的状态空间表达能力。相反，其主要贡献是一个明确的时间接口，该接口在共享时间线上将动作和观察解耦。

适度范围：EP 被提出为一种交互形式化方法，而非特定的智能体架构或学习算法。它将内存管理、调度和策略学习留给构建在其之上的系统。
核心价值：通过在接口层面使时间显式化，EP 揭示了通常隐藏在基于步骤的标准公式中的时间结构（如 deliberation 延迟和异步反馈）。这使得智能体能够适应明确的时间成本，更灵活地处理中断，并在不依赖外部补丁或刚性轮询计划的情况下，组合具有异质时间动力学的子系统。
未来工作：作者建议未来的方向包括 EP 感知架构、更丰富的连续时间公式，以及在具身、层级和多智能体设置中进行更大规模的评估。