🤖 AI

Personalizing Large Language Model Agents with Small Policy Models

该论文引入了 FABLE，这是一种轻量级的分解策略层，它通过利用贝叶斯上下文汤普森采样（Bayesian contextual Thompson sampling）从标量反馈中学习用户特定的执行偏好，从而实现对冻结的大语言模型智能体的在线个性化，进而以无需高昂微调成本的方式提升偏好敏感行为。

原作者： Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个超级聪明、几乎无所不知的机器人交谈。这个机器人就像一座巨大的图书馆，既能阅读、写作，甚至还能使用浏览器或计算器等工具。但问题在于，这个机器人是“冻结”的。你无法重写它的脑回路，也无法改变它的个性，因为规模太大、太昂贵，或者可能因为它所属的公司不允许你触碰其代码。那么，你该如何让这个庞大且不可改变的机器人变成你的私人助手呢？

这就是 大语言模型（LLM）智能体 的谜题。这些 AI 系统不仅仅是在聊天，它们还能采取行动，比如搜索机票或查看日历。问题在于，虽然机器人很聪明，但它并不了解你特定的风格。也许你讨厌冗长的解释，只想听简短的回答；而你的朋友则喜欢详细的逐步指南。通常，要解决这个问题，你需要对机器人进行“微调”，这就像是为了教大象跳一段新舞而试图重新训练一整头大象一样。这既沉重又昂贵，而且往往是不可能的。

你即将阅读的论文通过提出这样一个问题来应对这一挑战：我们能否在不改变机器人大脑的情况下，教会一个被冻结的机器人去适应我们？ 作者提出了一个聪明的技巧：我们不需要改变机器人，而是要在机器人外部构建一个轻量级的、微小的“教练”。这个教练会观察机器人的行为，倾听你的反馈（比如点赞或踩），并学习如何引导机器人做出更符合你偏好的选择。这就像请了一位私人教练，他不需要在石像上雕刻出新的肌肉，只需告诉那座庞大且不可移动的雕像应该如何微微侧头来注视你。

问题所在：拒绝听从指挥的机器人

想象一下，你要求一个旅游代理机器人规划一次旅行。

用户 A 说：“查看我过去的行程，查询当前价格，并在预订任何东西之前询问我。”
用户 B 说：“不要看我的历史记录，直接给我最便宜的机票，不用问任何问题。”

如果机器人是冻结的，它很难学习这些差异。它可能会瞎猜。如果你试图告诉它“我讨厌提问”，你可能会把这句话写进提示词（Prompt）里，但机器人稍后可能会忘记或忽略它。如果你尝试重新训练整个机器人，那将耗资巨大。论文指出，现有的方法要么试图改变机器人（太难了），要么只是给它一套规则（太僵化了）。它们并没有真正地从你的反应中进行实时学习。

解决方案：FABLE，微小的教练

作者引入了 FABLE（用于执行的因子分解自适应带吸收层，Factorized Adaptive Bandit Layer for Execution）。把 FABLE 想象成一个智能的、微小的软件层，它位于你和那个庞大的冻结机器人之间。它不会触碰机器人的大脑；它只是决定机器人应该如何为你服务。

以下是 FABLE 的工作原理，我们用一些有趣的类比来说明：

因子分解菜单（拆解成分）：
当机器人决定做什么时，它实际上是在同时做出三个独立的决策：
- 记忆（Memory）： 我应该查看你过去的聊天记录吗？
- 工具（Tools）： 我应该使用搜索引擎，还是直接靠猜？
- 风格（Style）： 我应该是直接的、话痨的，还是需要请求澄清？
一种“扁平化”的方法会尝试学习这些选择的所有组合（例如，“记忆 + 搜索 + 话痨”是一种情况，“记忆 + 无搜索 + 直接”是另一种情况）。这就像试图背诵一家拥有 1,000 种食材的餐厅里每一道菜品的菜单一样。FABLE 更聪明。它将菜单拆解开来。它学习到你通常讨厌“话痨”风格，无论你是否在使用记忆或工具。它分别学习你偏好的“成分”，这使得学习过程变得非常快。
残差得分（“额外的”味道）：
冻结的机器人已经有了一种“默认”的行为方式。也许它默认是非常礼貌且详细的。FABLE 并不试图重新学习这种礼貌。相反，它只学习残差（Residual）——即让机器人变得“属于你”的那部分额外特质。如果机器人天生有 80% 的礼貌度，FABLE 学习的是你想要它减少 10% 的礼貌。这就像是在调味预制汤：你不需要从头开始煮汤，你只需要加入你喜欢的特定那一抹盐。
安全过滤器（保镖）：
有时候，你不能做某些事情。也许你没有权限访问你的银行账户，或者某个工具坏了。FABLE 有一个“保镖”会在做出选择之前检查规则。它会说：“好吧，今天我们不能使用银行工具，所以让我们从我们可以做的清单中进行选择。”这确保了机器人在学习的过程中永远不会尝试违反规则。
贝叶斯教练（从点赞/踩中学习）：
FABLE 使用了贝叶斯汤普森采样（Bayesian Thompson Sampling）。想象一下，教练对你的喜好有一个直觉。它尝试一个选择，你给出一个微小的信号（一个标量反馈，比如从 -1 到 1 的评分）。教练随后更新它的直觉。
- 如果你喜欢“简洁”的风格，教练就会更有信心认为你喜欢简洁的风格。
- 如果你讨厌“网页搜索”工具，教练就会学习避免使用它。
  至关重要的一点是，由于 FABLE 进行了拆解（因子分解），学习到你讨厌“网页搜索”这件事，有助于它理解你在其他语境下可能也讨厌“网页搜索”，而不仅仅是在尝试那一次的时候。

论文的研究结果

作者在名为 tau2-bench 的基准测试上测试了 FABLE，该测试模拟了四种不同世界（航空、零售、电信和银行业）中的客户服务任务。他们还测试了数学问题和购物任务。

以下是直接来自结果的结论：

它适用于偏好匹配： FABLE 在匹配用户需求方面表现出色。在测试中，与标准的冻结机器人相比，它将“个性化奖励”（用户对交互的满意度）提升了 +0.077。它在匹配特定“冗长程度”（如简洁 vs 详细）的偏好方面也做得更好，将对齐度提升了 +0.281。
它不是万能的任务解决器： 这是非常重要的一点：FABLE 并未显著提高实际任务的成功率。 仅仅因为被个性化了，机器人并没有变得更擅长预订航班或解决数学问题。事实上，任务成功率的差异如此之小，以至于作者称其为“未定论”（数字太接近，难以断定）。
“入职”带来的提升： 论文发现，给教练提供一点关于用户的初始信息（称为“入职/Onboarding”）非常有帮助。如果跳过这一步，教练的学习速度会变慢，表现也会变差。
并非“一劳永逸”： 论文明确排除了这种方法能让机器人变得擅长所有事情的可能性。它让机器人更擅长契合你的风格，但并不一定会让它在核心工作上变得更聪明。

总结

FABLE 是一种巧妙且轻量化的方式，让一个庞大且不可改变的 AI 机器人感觉像是为你量身定制的。它通过学习你的特定口味（比如你希望它多话，或者你喜欢哪些工具），而无需触碰机器人的大脑。

然而，论文对其局限性也非常诚实。它表明，虽然你可以让机器人表现得更像你的私人助理，但你不应期望它会突然变得精通于解决它原本并不擅长的难题。它是定制机器人“个性”的绝佳方式，但它并不是让机器人的“智能”或“任务成功率”发生质变的魔杖。

简而言之：FABLE 是一个完美的教练，可以教会冻结的机器人如何随着你的音乐起舞，但如果机器人本身还不会跑步，它也无法教会机器人如何跑马拉松。

技术摘要：利用小型策略模型实现大型语言模型智能体的个性化

问题定义

本文旨在解决如何为个体用户实现大型语言模型（LLM）智能体个性化，且无需修改底层宿主模型的问题。虽然 LLM 智能体可以检索记忆、调用工具并调整响应风格，但根据特定用户偏好来调整这些执行决策仍然具有挑战性。现有方法面临显著局限性：

微调（Fine-tuning）： 为每个用户调整模型参数的计算成本极高，且对于专有的黑盒系统通常是无法实现的。
提示词与记忆（Prompts and Memory）： 这些方法将用户信息暴露给智能体，但无法根据反馈来调整智能体的执行策略（例如，何时提问，何时使用工具）。
单一机制适配（Single-Mechanism Adaptation）： 最近一些仅适配单一组件（如记忆检索或工具选择）的方法，无法将单个标量反馈信号（用户对整个交互的反应）归因到执行决策的联合空间中。

核心难点在于稀疏反馈：系统仅针对所选的特定执行决策组合观察到一个标量结果，而其他决策组合的性能则是未观测到的。此外，系统必须遵守硬性约束（例如权限、安全规则），并将入职信息视为可修正的先验证据，而非固定规则。

作者将其表述为一个在线学习问题，即在受外部可行性集合约束的因子化动作空间上，针对每个用户的执行策略进行学习，且仅使用针对所选动作观测到的标量反馈。

方法论：FABLE

作者提出了 FABLE（用于执行的因子化自适应 Bandit 层），这是一个运行在潜在黑盒宿主智能体之外的轻量级策略层。FABLE 不需要访问宿主的权重、梯度或隐藏状态。

核心组件

因子化动作空间： 执行决策 $a$ 被定义为一个表示记忆模式、信息获取模式和响应行为的元组 $(m, \tau, s)$ 。FABLE 并没有在完整的联合空间（该空间呈组合爆炸式增长）上学习策略，而是使用了一个因子化特征映射 $\phi(c, a)$ 。该映射包含了每个组件的主效应及其成对交互，使得来自一个联合动作的反馈可以更新相关组件的偏好（例如，对不必要的澄清表示不满，会更新“询问澄清”的偏好，无论记忆设置如何）。
残差偏好模型： 期望反馈建模为：
$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$
其中 $\bar{b}(c, a)$ 是一个已知的、预设的默认得分减去操作成本，而 $\theta^*$ 代表用户特定的残差偏好。这种方法使系统能够保留宿主有用的通用行为，同时仅学习用户对该行为的偏差。
可修正的入职信息（Revisable Onboarding）： 入职期间提供的用户偏好被视为具有有限精度的伪观测值。它们初始化了 $\theta$ 的高斯后验分布，但并不固定策略。随着在线反馈的到来，后验分布会不断更新，允许系统修正初始假设。
受可行性约束的汤普森采样（Thompson Sampling）：
- 过滤： 在选择之前，外部过滤器会根据硬性约束（权限、工具可用性）移除不可行的动作。
- 采样： FABLE 从当前的高斯后验分布中采样一个残差参数 $\tilde{\theta}_t$ （通过校准因子 $\nu_t$ 缩放），并在可行集 $A_t$ 内选择使期望得分最大化的动作 $a_t$ 。
- 更新： 执行完成后，残差反馈被用于通过共轭更新来更新高斯后验分布。
提升规则（Promotion Rule）： 只有当随时有效的置信序列排除了零时，学习到的偏好才能作为持久规则写回宿主，这确保了只有具有统计显著性的偏好才会被提升。

理论结果

本文建立了 FABLE 在线性残差反馈模型下的可行性预言机遗憾保证（feasible-oracle regret guarantee）。

遗憾界限： 使用理论校准的高斯采样规模 $\nu_t = \sqrt{9d \log(t/\delta)}$ ，FABLE 相对于每一轮中的最佳可行动作，实现了高概率遗憾 $\tilde{O}(d^{3/2}\sqrt{n})$ 。
可辨识性： 作者阐明了当可行性约束持续排除某些动作时，哪些偏好方向是可辨识的，并指出需要比较被排除组件的偏好无法仅通过在线数据进行学习。

实验评估

FABLE 在包含可执行工具使用任务的四领域 tau2-bench 协议（航空、零售、电信、银行知识）上进行了评估。

主要发现

个性化奖励与对齐： 完整的 F 型 FABLE 策略在所有测试策略中实现了最高的观测个性化奖励和合成冗余度对齐（synthetic verbosity alignment）。与宿主基线相比，它在个性化奖励（+0.077）和对齐度（+0.281）方面均显示出显著增益，且 95% 置信区间为正。
任务成功率： FABLE 与冻结的宿主并列取得了最高的平均任务成功率。然而，其相对于宿主的提升在统计上并不显著（95% CI 包含零）。论文指出，任务成功率随领域而异（在航空领域较低，在零售领域持平，在电信和银行领域较高）。
消融研究：
- 因子化： 将 FABLE 与扁平化的完全动作 LinTS 进行比较，结果表明因子化显著提高了对齐度，支持了信息在动作组件之间的转移。
- 入职信息： 移除入职信息导致了最大的性能下降，证实了使用先验证据初始化残差坐标的价值。
- 在线适配： 将完整版 FABLE 与“冻结”版本（无在线更新）进行比较，结果显示在线适配提高了对齐度，尽管任务成功率保持相当。
其他基准测试： 在 PAHF（具身操控与在线购物）和 Math500（个性化推理）上的实验结果表现不一。在具身操控中，FABLE（完整版）的奖励（0.6214 vs 0.6470）低于 FABLE（无入职信息版），但成功率（0.078 vs 0.052）高于后者，表明不同环境下的组件相对收益有所不同。在在线购物中，FABLE（完整版）在奖励和成功率方面均优于 FABLE（无入职信息版）。在 Math500 上，FABLE（完整版）与 FABLE（无入职信息版）并列最高准确率，尽管 FBL FABLE（完整版）的对齐度低于“已知偏好”基线。

重要性与声明

本文声称 FABLE 提供了一个原则性的框架，通过将执行控制视为受约束的上下文多臂老虎机问题，实现对冻结黑盒智能体的个性化。其重要性在于：

将个性化与模型微调解耦： 它实现了无需微调宿主 LLM 的单用户适配，使其适用于专有系统。
处理稀疏联合反馈： 通过因子化动作空间并对残差偏好建模，它能高效地从评估整个交互的稀疏标量反馈中学习。
安全性与约束： 它在探索之前严格执行外部可行性约束，确保学习过程不会破坏安全性或合规性。
适度的声明： 作者明确指出，虽然 FABLE 在特定语境下提高了偏好敏感型指标（奖励和对齐），但实验并未建立在一般任务成功率或统一领域水平上的统计显著性提升。结果支持了受控的合成冗余度适配和可执行集成，但并未声称在所有指标或基准测试中具有普遍优越性；值得注意的是，PAHF 上的性能排名在不同环境和消融条件下差异显著。

这项工作证明，一个小型外部策略层可以有效地学习并适应用户偏好，从而弥合静态智能体能力与动态用户需求之间的鸿沟。