💬 NLP

Latent Preference Modeling for Cross-Session Personalized Tool Calling

该论文提出了包含 265 个多会话对话的 MPT 基准和一种名为 PRefine 的测试时记忆增强方法，通过生成 - 验证 - 精炼循环将用户偏好建模为动态假设，从而在显著降低 token 消耗的同时提升了跨会话个性化工具调用的准确性。

原作者： Yejin Yoon, Minseo Kim, Taeuk Kim

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yejin Yoon, Minseo Kim, Taeuk Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个让 AI 助手（Agent）在现实生活中“不够聪明”的问题：当用户说话含糊其辞时，AI 如何像老朋友一样，自动猜出用户真正想要什么？

为了让你轻松理解，我们可以把这篇论文的核心内容想象成**“如何培养一个懂你的超级管家”**。

1. 核心问题：用户总是“话只说一半”

想象一下，你有一个新来的管家（AI 助手）。

场景：你以前每次点外卖都只点“便宜”的，每次订酒店都只订“经济型”的，每次租车都只租“紧凑型”的。
新任务：今天你说：“帮我订一张去巴黎的机票。”
普通 AI 的反应：它可能会问：“请问你要经济舱、商务舱还是头等舱？”因为它只盯着你现在这句话，不知道你的习惯。
理想管家的反应：它应该直接说：“好的，已为您预订经济舱机票。”因为它记得你过去的习惯（偏好）。

论文指出的痛点：现在的 AI 大多像“健忘的实习生”，它们要么记不住过去，要么只会死板地照搬过去的某一次操作，无法从过去的一系列行为中总结出你真正的性格偏好（比如“我是个喜欢省钱的人”）。

2. 新工具：MPT（一个“性格测试”题库）

为了训练和测试 AI 能不能学会这种“读心术”，作者们制作了一个名为 MPT 的“考试卷”。

这是什么？ 这是一套包含 265 个多轮对话的模拟场景。
考什么？ 它专门考 AI 能不能从过去的对话碎片中，拼凑出用户的“隐藏人设”。
- 回忆题 (Recall)：你以前买过便宜机票，现在还要买，直接照搬。（简单）
- 推理题 (Induction)：你以前买便宜机票、住便宜酒店、坐便宜巴士。现在让你选“免费景点”，AI 需要推理出：“哦，原来他是个省钱达人。”（中等难度）
- 迁移题 (Transfer)：你以前在“吃饭”和“住店”上都省钱。现在让你选“滑雪票”，虽然以前没买过滑雪票，但 AI 需要把“省钱”这个习惯迁移过来，选个便宜的票。（高难度）

比喻：这就好比老师不直接告诉学生答案，而是给一堆过去的作业，让学生总结出“小明是个喜欢用铅笔写字的人”，然后让他预测小明下次考试会用什么笔。

3. 新方法：PREFINE（一个“自我反思”的管家）

作者不仅出了考题，还发明了一个叫 PREFINE 的新方法，教 AI 如何像人类一样“边做边学，边学边改”。

传统的 AI 做法是：把过去几千句对话全塞给现在的 AI，让它自己找规律。这就像把整个图书馆的书都堆在管家面前让他找答案，效率极低，而且容易看走眼。

PREFINE 的做法（生成 - 验证 - 修正循环）：

生成假设 (Generate)：
- AI 看着今天的对话和过去的记录，先大胆猜一个：“主人可能喜欢省钱。”
验证 (Verify)：
- 有个“考官”（Verifier）出来检查：“等等，你确定吗？主人上周刚订了个豪华酒店，这算省钱吗？你的结论太具体了，或者证据不足。”
修正 (Refine)：
- AI 根据反馈修改：“好吧，豪华酒店是例外，但其他时候确实都选便宜的。修正为：主人通常偏好高性价比，除非有特殊场合。”
存入记忆：
- 把修正后的结论（“高性价比偏好”）存进一个小本本里。

关键优势：

极简记忆：它不需要记住几千句废话，只记住“主人喜欢省钱”这一条核心规则。这就像管家只记了一张便签，而不是背下了整本日记。
适应性强：即使以后工具变了（比如从“订机票”变成了“订高铁”），只要规则是“省钱”，这个记忆依然有用。

4. 实验结果：小本本比大字典好用

实验结果显示：

普通方法：把过去所有对话都喂给 AI，AI 在简单题上还行，但遇到需要“推理”和“迁移”的难题，就经常答错。而且它太笨重了，处理起来很慢。
PREFINE 方法：
- 更准：它能准确猜出用户没明说的需求（比如自动填上“经济舱”）。
- 更省：它只用了1.24% 的内存（相当于只读了 1 页书，而别人读了 100 页），却达到了更好的效果。
- 更灵活：即使换了新的工具界面，它依然能发挥作用。

总结

这篇论文告诉我们，让 AI 变得“个性化”，不是靠死记硬背用户说过的每一句话，而是要学会从过去的行为中提炼出“性格规律”。

就像你不需要记住朋友昨天吃了什么，只需要记住“他是个素食主义者”这一条规律，下次他点菜时，你自然就知道该帮他点什么。PREFINE 就是那个能帮你提炼出这种“性格规律”，并时刻提醒 AI 去遵守的聪明管家。

这是一份关于论文《Latent Preference Modeling for Cross-Session Personalized Tool Calling》（面向跨会话个性化工具调用的潜在偏好建模）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：
基于大语言模型（LLM）的智能体（Agents）在执行复杂任务时，严重依赖外部工具（API）。然而，用户在请求中往往省略关键细节（Under-specified inputs），导致工具调用所需的参数不完整。传统的工具调用方法通常仅基于当前对话状态进行决策，忽略了用户的历史行为。

现有方法的局限性：

非检索问题，而是推理问题： 现有的个性化工具调用方法通常假设用户偏好是显式的（如用户画像、预设指令）或可以通过简单的检索（Retrieval）获得。
缺乏跨会话推理能力： 真实场景中，用户偏好是隐式的（Latent），分散在多个会话、不同领域且无序的交互历史中。智能体需要从这些嘈杂的历史数据中归纳出通用的行为约束（例如：用户总是选择“经济型”选项，无论是在订酒店、租车还是买机票时），并将其迁移到新领域。
基准缺失： 目前缺乏专门针对“跨会话隐式偏好建模”的评估基准。

任务定义：
给定过去的一系列多轮对话会话 $S$ 和累积的 API 调用列表 $A_{\le T}$ ，以及当前会话中未完全指定的查询 $q$ ，智能体需要推断出缺失的参数值。这些参数值应由潜在的用户偏好（Latent Preferences）驱动，而非仅靠当前上下文。

2. 核心贡献：MPT 基准 (Methodology & Contribution)

为了系统评估这一能力，作者提出了 MPT (Multi-Session Personalized Tool Calling) 基准。

数据构建： 基于 Schema-Guided Dialogue (SGD) 数据集，构建了 265 个多会话对话，包含 2,020 个会话和近 4 万轮对话。
三大挑战分类： MPT 将任务细分为三种难度递增的推理类型：
1. 偏好召回 (Preference Recall)： 同一领域内的直接复用（例如：之前多次订经济舱，这次继续订经济舱）。
2. 偏好归纳 (Preference Induction)： 跨领域证据聚合（例如：用户在订酒店、租车、订餐时都选择了“低价”选项，归纳出“预算敏感”的通用偏好，并应用到当前任务）。
3. 偏好迁移 (Preference Transfer)： 将已归纳的偏好迁移到无历史证据的新领域（例如：根据“预算敏感”偏好，推断新出现的“机票”任务也应选择经济舱）。
数据特点： 故意在查询中省略关键参数，强制模型依赖历史行为推理。

3. 提出方法：PREFINE (Methodology)

针对上述问题，作者提出了 PREFINE，一种轻量级的测试时（Test-time）记忆增强方法。其核心思想是将用户偏好视为可演进的假设（Evolving Hypotheses），而非静态的事实存储。

核心机制：生成 - 验证 - 精炼循环 (Generate-Verify-Refine Loop)
PREFINE 在每次新会话（Session $T+1$ ）时，通过以下步骤更新记忆：

生成 (Generate)： 基于当前对话、刚执行的 API 调用以及上一轮的记忆，生成候选的“偏好假设”（例如：“用户偏好低价选项”）。
验证 (Verify)： 一个验证模块（Verifier）根据四个标准评估候选假设：
- 证据支持 (Evidence Support)： 是否基于多次交互或一致信号？
- 抽象质量 (Abstraction Quality)： 是否超越了单次事件或槽位重述，形成了通用约束？
- 可操作性 (Actionability)： 能否有效约束未来的 API 参数选择？
- 时间一致性 (Temporal Consistency)： 是否与最新的行为模式兼容？
精炼 (Refine)： 如果假设被拒绝（如过于具体或缺乏证据），则返回生成器进行修正；如果通过，则更新为新的记忆 $M_{T+1}$ 。

关键特性：

Schema 无关性 (Schema-Agnostic)： 记忆存储的是抽象的行为约束（如“预算敏感”），而非具体的 API 槽位名称。这使得记忆在工具接口（Schema）发生变化时依然有效。
高效性： 仅使用极少量的 Token（约为全历史提示的 1.24%）来存储精炼后的偏好，而非存储冗长的原始对话。

4. 实验结果 (Results)

作者在 MPT 基准上评估了 PREFINE 与多种基线方法（包括全历史提示 Base Prompting、RAG、Mem0、LangMem）的表现，使用了 8 种不同的 LLM 作为推理模型。

性能提升：
- 偏好召回 (Recall)： 所有方法表现尚可，但 PREFINE 依然保持领先。
- 偏好归纳 (Induction) 与迁移 (Transfer)： 现有基线方法（特别是基于检索的 RAG 和全历史提示）在这些任务上表现显著下降，因为它们难以从嘈杂历史中抽象出通用规则。PREFINE 在这些困难任务上取得了显著的性能提升（F1 分数提升明显）。
- 具体数据： 在上下文无关（Context-Free）查询设置下，PREFINE 的平均 F1 分数相比基线有显著提升，特别是在偏好迁移任务中。
记忆效率：
- PREFINE 平均每个对话仅使用 23.28 个 Token，仅占全历史对话 Token 数的 1.24%。
- 随着会话积累，PREFINE 的记忆大小保持恒定（约 20-25 tokens），而全历史提示的 Token 消耗随会话线性增长。
动态 Schema 适应性：
- 在测试中引入全新的 API 领域（Schema 变更），PREFINE 依然保持高性能（例如 GPT-5 在上下文引导查询中的 P-EM 从 3.75% 提升至 47.00%），证明了其抽象记忆在跨 Schema 场景下的泛化能力。相比之下，依赖表面文本匹配的 RAG 等方法性能急剧下降。
参数生成校准：
- PREFINE 生成的 API 参数数量更接近真实值（Ground Truth），减少了多余参数的生成和必要参数的遗漏。

5. 结论与意义 (Significance)

理论意义： 论文证明了个性化工具调用本质上是一个推理与抽象问题，而非简单的检索问题。鲁棒的个性化依赖于捕捉用户选择背后的原因（Reasons），而不仅仅是选择本身。
技术贡献：
- 提出了 MPT 基准，填补了跨会话隐式偏好建模评估的空白。
- 提出了 PREFINE 框架，展示了通过“生成 - 验证 - 精炼”循环构建可解释、可演进的隐式偏好记忆的有效性。
实际应用价值：
- 低成本高效： 仅需极少的 Token 即可实现高性能，解决了长上下文带来的成本和延迟问题。
- 鲁棒性： 能够适应工具接口的动态变化，适用于现实世界中不断演进的 Agent 系统。
- 隐私与可扩展性： 存储的是抽象约束而非原始对话，有助于在保护隐私的同时实现个性化。

总结： 该论文通过 MPT 基准和 PREFINE 方法，揭示了当前 LLM Agent 在跨会话个性化任务中的短板，并提出了一种基于假设演进的轻量级记忆机制，显著提升了智能体在参数缺失情况下的工具调用准确性和泛化能力。