PEARL: Self-Evolving Assistant for Time Management with Reinforcement Learning

1. 研究背景与问题定义 (Problem)

核心问题：日历冲突解决 (Calendar Conflict Resolution)
在现代职场中，忙碌的专业人士（如 CEO、研究负责人）经常面临重叠的会议邀请。他们需要基于个人偏好（如优先级、人际关系、截止日期敏感度等）决定参加、推迟还是拒绝哪些会议。这是一个**偏好驱动（Preference-driven）**的决策过程。

现有挑战：

• 自动化困难： 现有的大语言模型（LLM）代理在处理此类任务时表现不佳。
• 长程依赖与偏好漂移： 这是一个长视界（Long-horizon）任务，代理需要从过去的决策中推断并适应不断演变的用户偏好。
• 当前 LLM 的局限性： 实验表明，现有的 LLM 代理（包括推理模型）在长程任务中错误率很高（例如 Qwen-3-30B-Think 平均错误率高达 35%），且无法随着交互轮次的增加而改进决策原则（缺乏“偏好进化”能力）。
• 人类代理的局限： 人类助理在处理大规模任务时，往往因信息稀疏导致对用户偏好的理解随时间“漂移”，无法准确反映委托人的真实意图。

核心研究问题：

我们能否信任 LLM 或语言代理来管理时间？

---

2. 基准测试：CALCONFLICTBENCH

为了系统性地研究上述问题，作者提出了 CALCONFLICTBENCH，这是首个针对长视界日历冲突解决的基准测试。

• 数据生成引擎：
  • 构建了包含不同组织角色（如 PI、CEO、工程师等）的合成组织模式。
  • 为每个角色定义了优先原则（Priority Principles）（不可直接观察，需代理推断）和冲突原因（Conflict Reasons）。
  • 生成了一年的日历数据，包含常规事件和精心设计的冲突事件（重叠时间段）。
• 评估协议：
  • 交互式设置： 冲突事件按时间顺序逐轮呈现，代理在每轮做出决策并获得反馈。
  • 指标：
    • 决策准确率 (Decision Accuracy)： 是否选择了正确的事件。
    • 最优排名距离 (ORD)： 评估代理对事件优先级的排序能力。
    • 错误减少率 (Error Reduction Rate, ERR)： 衡量代理随时间推移（从第 1 季度到第 4 季度）学习并改进决策的能力。
• 基准测试结果： 现有 LLM 在 ERR 指标上表现极差（接近 0 或负值），证明它们无法通过多轮交互有效推断和适应用户偏好。

---

3. 方法论：PEARL 框架

为了解决 LLM 在长程偏好适应上的不足，作者提出了 PEARL (Preference Evolving Agent with Reinforcement Learning)。这是一个基于强化学习（RL）的框架，旨在让代理在线推断用户偏好并长期一致地应用。

3.1 核心组件

1. 策略中心 (Strategy Hub) - 外部显式记忆：

   • 痛点： 仅靠上下文（In-context）记忆，随着交互增加，代理难以从冗长且嘈杂的历史中重新发现相同的偏好线索。
   • 方案： 引入一个外部、持久化的记忆模块 Strategy Hub。
   • 功能： 存储一组可解释的决策策略（以自然语言描述的用户偏好状态，如“优先参加高层会议”、“避免在周五下午安排内部会议”）。
   • 机制： 代理在每轮决策中，可以调用 Hub 进行查询 (List) 或 更新 (Update)。这将隐式的偏好学习压缩为显式的、可更新的紧凑状态。

2. 结构化展开 (Structured Rollout)：

   • 代理在每个决策轮次（Round）内可以进行多轮思考（Turns）。
   • 动作空间包括：
     • Hub Action：查询或更新策略中心。
     • Decision Action：接受/拒绝特定事件，并输出优先级排序和理由。
   • 一旦输出决策动作，该轮次结束，进入下一轮冲突。

3. 基于课程的学习奖励 (Curriculum-based Reward)：

   • 挑战： 长视界任务中，早期偏好不明确，直接优化决策准确率会导致高方差；后期则需要精细化排序。
   • 方案： 设计随轮次变化的奖励权重，引导代理分阶段学习。
     • 格式奖励 ($r_f$)： 确保输出语法有效。
     • 决策奖励 ($r_a$)： 决策正确性（固定权重）。
     • 排序奖励 ($r_r$)： 鼓励将正确事件排在前面（权重随轮次 $t$ 增加而增加）。
     • 交互奖励 ($r_i$)： 鼓励主动查询/更新策略中心（权重随轮次 $t$ 增加而减少）。
   • 公式： 总奖励 $R = \sum \gamma^{t-1} (\lambda_f r_f + \lambda_a r_a + \lambda_r(t) r_r + \lambda_i(t) r_i)$。

4. 训练算法：

   • 使用 GRPO (Group Relative Policy Optimization) 算法。
   • 采用轮次级优势估计 (Round-wise Advantage Estimation)：将轨迹按轮次分组，分别计算每个轮次的归一化优势，以解决非平稳奖励分布导致的训练不稳定问题。

---

4. 实验结果 (Results)

在 CALCONFLICTBENCH 上的实验结果表明 PEARL 显著优于现有方法：

• 性能提升：
  • 与最强的基线（Zero-shot + StrategyHub 或 SFT）相比，PEARL 将平均错误率降低了 55%。
  • 错误减少率 (ERR) 达到 0.76，而基线模型通常在 0 附近或为负值。这意味着 PEARL 能够随着时间推移显著改进其决策质量。
• 对比分析：
  • Zero-shot： 错误率随轮次增加而持平或上升，无法利用历史上下文。
  • SFT (监督微调)： 虽然比 Zero-shot 好，但无法像 PEARL 那样在长视界中持续进化，且无法处理累积的偏好依赖错误。
  • Zero-shot + StrategyHub (无训练)： 仅仅提供记忆模块而不进行 RL 训练，提升有限（AER 仅从 0.45 降至 0.41），证明学习更新策略比单纯拥有记忆更重要。
• 消融实验： 证明了显式记忆模块和课程奖励机制对于长程偏好适应的必要性。

---

5. 主要贡献 (Key Contributions)

1. 任务定义： 将日历冲突解决形式化为一个具有挑战性的长视界、偏好敏感决策任务。
2. 基准测试 (CALCONFLICTBENCH)： 构建了一个包含合成数据生成引擎和标准化评估协议的基准，揭示了当前 LLM 在长程偏好推断上的失败模式。
3. 方法创新 (PEARL)： 提出了一种结合外部显式记忆 (Strategy Hub) 和 课程强化学习 的框架。
   • 通过显式记忆模块解决长程上下文中的偏好遗忘和漂移问题。
   • 通过动态奖励机制引导代理从“偏好推断”平滑过渡到“偏好执行”。
4. 实证结果： 在基准测试上实现了 55% 的错误率降低，证明了 RL 在时间管理代理中的有效性。

---

6. 意义与局限性 (Significance & Limitations)

意义：

• 这项工作证明了 LLM 代理在处理需要长期记忆和动态适应的复杂现实任务时，不能仅依赖 Prompt 或 SFT，必须引入强化学习和结构化记忆。
• 为自动化时间管理提供了新的技术路径，有望减少专业人士在日程安排上浪费的时间。

局限性：

• 数据合成性： 基准测试基于规则生成的合成数据，可能无法完全捕捉现实世界中复杂的、瞬时的用户情绪（如疲劳、压力）或人际动态。
• 上下文窗口限制： 受限于当前 LLM 的上下文窗口，实验仅评估了最多 20 轮的历史，未来需要研究更高效的动态上下文选择机制。
• 评估参数覆盖： 受计算资源限制，未穷尽所有可能的评估参数组合。

总结：
PEARL 通过引入外部记忆和强化学习，成功解决了 LLM 在长程时间管理任务中“记不住偏好”和“学不会适应”的痛点，为构建真正可靠的智能日程助理奠定了重要基础。