Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

技术摘要：通过显式状态动力学控制长程行为的语言模型智能体

问题陈述
大型语言模型（LLM）智能体在长程多轮交互中经常表现出语气和人格的突发性、不协调转变。这种被称为“瞬时情感反转”的现象破坏了社交一致性和用户信任。虽然先前的研究已通过记忆机制（如检索增强记忆）或基于人格的提示词来解决这一问题，但这些方法侧重于信息存储，而非管理内部状态的时间演化。因此，智能体即使拥有广泛的上下文，仍可能表现出不连续的情感过渡。其核心问题在于缺乏惯性：人类的情感状态由于动量和对突然变化的抵抗而发生渐进式变化，而这种特性在标准的无状态 LLM 推理中是缺失的。

方法论
作者提出了一个框架，通过在外部、低维的情感状态上施加显式的动力学结构，作为一种推理时的叠加层运行，而无需修改底层 LLM 参数。

• 潜在表示： 智能体的状态由一个连续的效价-唤醒度-支配度（VAD）向量 $\mathbf{a}_t \in \mathbb{R}^3$ 表示，该向量在外部维护。分析主要集中在效价分量（$v_t$）上。
• 信号提取： 在每一轮对话中，使用固定的基于词典的情感分析器（VADER）从对话上下文中提取瞬时的、无记忆的情感信号（$\hat{\mathbf{a}}_t$）。
• 动力学机制： 研究对比了四种条件，以评估状态持久性和惯性的影响：
  1. 无状态控制： 不维持状态；$\mathbf{a}_t = \hat{\mathbf{a}}_t$。
  2. 一阶动力学： 仅具有状态持久性而无动量（$\mu=0$），建模为指数平滑：$\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$。
  3. 二阶动力学（中度惯性）： 引入情感速度（$\mathbf{u}_t$）和动量（$\mu=0.8$），以模拟阻尼物理系统。
  4. 二阶动力学（高惯性）： 强动量（$\mu=0.95$），用于测试过度持久性。
• 反馈循环： 更新后的情感状态通过结构化的自然语言提示词注入回生成上下文中，从而调节 LLM 的语气和话语风格。
• 实验方案： 实验采用固定的 25 轮对话协议，包含一个对抗阶段（第 6–13 轮）和一个调解阶段（第 14–25 轮）。针对一个 7B 参数的量化 LLM，对每种条件进行了五次独立运行（使用不同的采样种子）。

核心贡献

1. 显式状态动力学： 本文提出了一种通过将情感状态建模为受一阶和二阶更新规则控制的连续变量，而非仅仅依赖记忆检索，来调节长程智能体行为的方法。
2. 惯性作为控制机制： 研究证明，情感惯性（通过动量建模）可以通过调节来诱导时间相干性、延迟响应和滞后现象，这些特性是无状态或纯反应式模型无法实现的。
3. 推理时叠加： 该框架无需模型重训或微调，作为一个插件式子系统，可与任何预训练 LLM 兼容。

结果

• 时间结构： 无状态智能体表现出局部反应性但缺乏时间结构的行为，没有连贯的下降-恢复模式。相比之下，有状态智能体（一阶和二阶）对对抗性输入表现出延迟的情感响应。
• 恢复动力学：
  • 无状态和高惯性（$\mu=0.95$）智能体未能实现恢复（回到正向效价）于 25 轮对话周期内。
  • 一阶和中度惯性（$\mu=0.8$）智能体在调解阶段开始时（第 14 轮）始终能够恢复。
  • 恢复时机受外部驱动（对话协议）控制，而非内部动量；惯性影响的是轨迹的深度和曲率，而非恢复时机。
• 滞后与路径依赖： 情感滞后（下降与恢复轨迹之间的面积）随惯性增加而单调增加。无状态条件下的滞后为零，而高惯性条件产生了最大的滞后（AUC = 21.19），证实了二阶动力学引入了明显的路径依赖。
• 稳定性-响应性权衡： 中度惯性平衡了稳定性和响应性，实现了平滑过渡和恢复。过度的惯性（$\mu=0.95$）会导致在负向情感状态中“锁定”，尽管存在外部调解，仍无法及时恢复。

意义与主张
本文主张，引入情感惯性提供了一种系统性的机制，用于创建不仅具备能力而且具有时间相干性的智能体。通过将动力学锚定在显式的物理原理中，作者认为可以使智能体行为稳定下来，使其免受伪情绪变化的影响，同时保持对合法上下文变化的敏感性。

这项工作表明，智能体的稳定性并不完全取决于记忆容量或架构修改，而是可以通过外部的、低维的动力学子系统来实现。这种方法为控制时间特性（如持久性、滞后和滞后现象）提供了可解释的控制手段，而这些特性很难仅通过提示工程来实现。作者将此定位为现有基于记忆方法的补充，特别适用于需要持续社交参与和情感可靠性的领域，如人机交互和数字心理健康干预。

局限性
作者承认，情感提取依赖于粗糙的基于词典的估计器，且实验受限于单一对话协议。他们指出，实验观测时长是有限的，更长的交互可能会揭示不同的动力学机制，例如高惯性场景下的最终恢复。未来的工作建议探索自适应惯性和超越效价的多维分析。