💬 NLP

Know You Before You Speak: User-State Modeling for LLM Personalization in Multi-Turn Conversation

本文介绍了 PUMA，这是一个基于自由能原理的框架，它通过建模潜在用户状态并在部分可观测条件下进行决策来选择对话动作，从而增强大语言模型的个性化能力，实现了从被动记忆检索向多轮对话中主动管理用户演进的转变。

原作者： Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiani Luo, Xiaoyan Zhao, Yang Zhang, Shuyi Miao, Bingbing Xu, Stefan Konigorski, Tat-Seng Chua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一位试图戒烟的朋友交谈。你想帮助他们，但你不只想重复他们五分钟前说过的话。你希望理解他们为什么这么说，他们内心深处感受如何，以及你的下一句话应该如何措辞，才能温和地引导他们做出更健康的选择。

大多数当前的 AI 聊天机器人就像摄影师。它们对你之前说过的所有内容（你的历史）拍一张快照，然后试图找出最好的照片展示给你。它们很擅长记住事实（“你说你讨厌尼古丁的味道”），但不擅长猜测你隐藏的情绪，或者预测如果它们说了某句特定的话，你的情绪将如何变化。

你分享的这篇论文介绍了一个名为PUMA（用于行动选择的预期用户状态建模）的新系统。请把 PUMA 想象成一位老练的侦探或棋手，而不是摄影师。

以下是 PUMA 的工作原理，分解为简单的概念：

1. “隐藏状态”（侦探的直觉）

当用户说“我已经服用这种新药两周了”时，普通机器人可能只会回答“那很好”。
但 PUMA 会问：用户此刻实际上感觉如何？

他们是否担心副作用？
他们是否为自己的进步感到自豪？
他们是否在暗中考虑停用这种药物？

PUMA 假设用户内部存在一个我们无法直接看到的“隐藏状态”。这就像用户戴着一副雾蒙蒙的眼镜。PUMA 试图根据用户说了什么以及他们如何对之前的提问做出反应，来猜测眼镜背后的情况，从而驱散迷雾。

2. “世界模型”（棋手的策略）

大多数机器人只是对当前的举动做出反应。PUMA 则在下棋。它拥有一张名为世界模型的心理地图。

普通机器人：“用户说了 X，所以我会说 Y。”
PUMA：“如果我说 Y，用户可能会感到焦虑（状态 A）。如果我说 Z，他们可能会感到充满希望（状态 B）。哪条路径能带来最好的结果？”

PUMA 模拟未来。它会问：“如果我选择这种特定类型的回应，用户的隐藏状态在下一轮对话中将如何变化？”它不仅仅着眼于过去，而是着眼于对话的未来轨迹。

3. “自由能”（指南针）

这篇论文使用了一个复杂的数学概念，称为自由能原理，但你可以将其想象为引导 AI 决策的双向指南针。每当 AI 必须选择说什么时，它都会检查两个方向：

方向 A：“我很困惑，让我学习一下！”（认知价值）
如果 AI 不确定用户的状态（例如：“他们是生气还是只是累了？”），指南针就会指向提出一个能消除困惑的问题。它优先考虑了解用户。
方向 B：“让我们达成目标！”（实用价值）
如果 AI 知道用户已准备好做出改变，指南针就会指向提供建议或鼓励，以帮助他们实现目标。它优先考虑行动。

PUMA 平衡这两者。它不会无休止地提问（学习），也不会盲目地给出建议（行动）。它会根据用户此刻的需求在这两者之间切换。

4. 实验：受训中的健康教练

研究人员在特定场景下测试了 PUMA：动机性访谈用于健康领域（例如帮助人们戒烟或管理糖尿病）。

他们使用了一个“模拟器”（基于真实数据构建的假患者）来扮演用户角色。
他们将 PUMA 与其他仅记住过去事实或遵循简单规则的 AI 咨询师进行了比较。

结果：

更好的结果：PUMA 在引导“假患者”从“我不想改变”的状态过渡到“我准备好制定计划”的状态方面，表现要好得多。
更聪明的猜测：PUMA 在用户甚至尚未大声说出自己的感受之前，就能更准确地猜测用户的感受。
效率：与其他机器人相比，它用更少的对话轮次就达成了目标。

核心启示

该论文声称，为了让对话感觉真正个性化且有帮助，AI 不应仅仅是一个检索旧事实的图书馆。它需要成为一个导航员，能够：

猜测你隐藏的感受。
预测其言论将如何改变你的感受。
选择接下来的措辞，以要么更多地了解你，要么帮助你实现目标，具体取决于那一刻最需要什么。

作者将这一转变称为从“被动记忆检索”转向“主动、状态感知的决策”。简而言之：PUMA 不仅仅记住你说了什么；它理解你在对话中正在成为什么样的人。

技术摘要：PUMA——面向行动选择的前瞻性用户状态建模

问题陈述

个性化对话系统通过整合长期记忆、用户档案和检索到的交互历史来复用显式用户信息，已取得显著进展。然而，现有方法主要将个性化视为对可观察文本记录的检索或条件化问题。它们未能建模潜在用户状态（例如焦虑、参与度、行动准备度），这些状态通过交互动态演变，且仅在语言中部分表达。因此，当前系统无法有效推理特定系统行动如何影响用户状态的未来演变。这一局限性阻碍了个性化对话从被动的记忆回忆转向主动的、状态感知的决策制定，特别是在医疗咨询等高利害领域，相同的言语可能因用户隐藏的内部状况不同而需要截然不同的回应。

方法论：PUMA 框架

作者提出了PUMA（面向行动选择的前瞻性用户状态建模），这是一个基于**自由能原理（FEP）**和主动推断的框架。PUMA 将个性化对话重新定义为部分可观测性下的决策问题，其中用户被建模为一个潜在动态系统。

核心组件

用户表示：
- 用户状态（ $s_t$ ）：一个潜在变量，代表与决策相关的用户内部条件（例如动机阶段），该条件不可直接观测。
- 世界模型：一个预测模型，分解为两个组件：
  - 转移模型 $p_\theta(s_t | s_{t-1}, a_{t-1})$ ：捕捉用户状态如何随系统行动而演变。
  - 观测模型 $p_\theta(o_t | s_t)$ ：捕捉潜在状态如何生成可观测的言语。
- 语义记忆：一个两级记忆系统（短期和长期），用于存储具体内容（偏好、历史）以 grounded 响应生成，并与潜在状态追踪保持区分。
自由能最小化过程：
- 信念更新（回顾性）：接收到用户言语（ $o_t$ ）后，系统更新其对隐藏用户状态的变分信念 $q_\phi(s_t)$ 。这是通过最小化**变分自由能（ $F_t$ ）**实现的，该过程平衡了与预测状态动力学（先验）的一致性以及对当前观测的解释力（似然）。
- 世界模型优化：系统通过优化预测用户响应与观测用户响应之间的差异，持续细化转移模型和观测模型，使模型能够学习特定个体的动态特性。
- 行动选择（前瞻性）：为了选择下一个对话行动（ $a_t$ $a_{t}$ ），PUMA 最小化期望自由能（ $G_t$ ）。该目标基于候选行动的预期后果进行评估：
  - 认知价值：减少关于用户未来状态不确定性的行动（探索）。
  - 实用价值：其预测结果与期望目标一致的行动（利用）。
- 响应生成：选定的行动，结合更新后的信念和检索到的记忆，作为条件输入语言模型以生成自然语言响应。

主要贡献

潜在用户状态建模：引入了一种用户状态模型，明确捕捉潜在状态及其受行动条件制约的演变，将其与静态人设或基于记忆的表示区分开来。
基于 FEP 的公式化：首次基于自由能原理对个性化对话进行公式化，通过期望自由能统一信念更新和行动选择，从而实现对用户轨迹的前瞻性推理。
实证验证：在面向医疗咨询的基准测试（CAMI 和 AnnoMI）上进行了严格评估，结果表明，与强大的基于大语言模型（LLM）的基线相比，对用户状态动态的建模改善了信念追踪和长程对话结果。

实验结果

作者在CAMI（咨询与动机访谈）数据集和AnnoMI数据集上评估了 PUMA，并利用基于档案的客户模拟器（DynPatient）进行动态评估。

动态咨询有效性：PUMA 在阶段提升（动机阶段的改善）、准备率（达到准备阶段的客户百分比）和触发覆盖率方面显著优于基线（包括 DIIR、CoS 和标准 CAMI 咨询师）。值得注意的是，PUMA 以更少的对话轮次实现了这些结果，表明其效率更高。
响应质量：在咨询师侧质量方面（通过 MITI 全局评分衡量），PUMA 取得了与人类参考响应相当且显著高于其他自动化方法的分数，保持了协作和共情的风格。
状态估计与预测：与长提示基线相比，PUMA 在当前状态估计（Curr-Acc）和下一状态预测（Next-Acc）方面均表现出更高的准确性。
泛化性：在 AnnoMI 上的跨数据集研究表明，即使使用较小的骨干模型（Qwen3-8B），PUMA 在状态估计和预测方面也优于更大的长提示基线（Qwen3-32B），表明该框架具有鲁棒性和可迁移性。
消融研究：移除信念更新、世界模型或基于 EFE 的行动选择等组件会导致性能显著下降，证实了所有元素都有助于系统引导对话走向期望结果的能力。

意义与主张

本文主张，PUMA 代表了从被动记忆检索向基于模型的用户演变决策的转变。通过将用户视为部分可观测的动态系统并应用自由能原理，该框架使对话代理能够：

推断未明确陈述的隐藏用户状态。
推理特定干预措施（对话行动）将如何塑造用户的未来状态。
在统一标准下平衡减少不确定性（认知）的需求与实现特定咨询目标（实用）的需求。

作者得出结论，这种方法使个性化对话系统能够超越静态上下文复用，转向主动的、状态感知的交互控制，为复杂多轮交互中的长期个性化提供了原则性基础。