💬 NLP

DiscoverLLM: From Executing Intents to Discovering Them

DiscoverLLM 是一个新颖的框架，它通过基于认知状态的用户模拟器训练大语言模型，帮助用户发现并明确其模糊意图，从而在创意、技术和视觉任务中显著提升任务表现、缩短对话长度并提高用户满意度。

原作者： Tae Soo Kim, Yoonjoo Lee, Jaesang Yu, John Joon Young Chung, Juho Kim

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Tae Soo Kim, Yoonjoo Lee, Jaesang Yu, John Joon Young Chung, Juho Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位厨师点一道非常具体的菜肴，但你实际上还不知道自己想吃什么。你只知道你饿了，并且想要一些“好”吃的。

如果你向一位标准的 AI 厨师问：“给我做点好吃的”，它可能会猜是牛排。你尝了一口说：“嗯，不太对。”厨师问：“你想要更辣一点吗？”你说：“我不知道。”厨师又猜了一次，也许是沙拉。你说：“不，那太凉了。”这种来回互动可能会无休止地持续下去，因为厨师在等你确切知道想要什么之后才开始烹饪。

DISCOVERLLM 是一种训练 AI 厨师的新方法，旨在让它们意识到：在你看到食物之前，你可能并不知道自己想要什么。

以下是该论文如何用简单的类比来解释这一点：

1. 问题：“隐藏菜单”

通常，AI 模型假设你脑海中有一个完整的订单（一个“完全成型的意图”）。它们认为自己的任务只是提出澄清性问题，比如：“你想要热的还是凉的？”

但在现实生活中，特别是在写故事或画画等创造性任务中，你往往在看到示例之前并不知道答案。如果你还没尝过任何辣味食物，你就无法告诉厨师你想要“辣”的。你需要通过尝试来发现你喜欢辣味食物。

2. 解决方案：“品尝菜单”模拟器

研究人员构建了一个特殊的“模拟用户”（一个扮演人类的机器人）来训练 AI。这个机器人拥有一个它自己尚未知晓的、秘密的偏好菜单。

隐藏菜单：想象机器人有一个秘密的愿望清单：“我想要一首诗”、“我想要一个动物”、“我想要一只猫”、“我想要一只睡觉的猫”。
发现过程：起初，机器人只知道它想要“一首诗”。它还不知道它想要一只猫。
AI 的工作：AI 不再只是问：“你想要什么动物？”（机器人此时还无法回答），而是尝试提供不同的选项。
- AI 尝试：“这里有一首关于狗的诗歌。”
- 机器人思考：“哦，狗还可以，但也许我想要更柔和的东西。”（机器人发现它更喜欢宠物）。
- AI 尝试：“这里有一首关于睡觉的猫的诗歌。”
- 机器人思考：“是的！就是它！”（机器人现在已经发现了它真正的意图）。

3. 训练：学习如何“引导”

AI 通过奖励系统进行训练。它不仅因为给出正确答案而得分，更因为帮助用户弄清楚他们想要什么而得分。

糟糕的举动：如果 AI 在用户不知道的情况下问：“你想要猫还是狗？”，AI 不得分。用户会陷入僵局。
良好的举动：如果 AI 展示一张狗的图片，而用户说：“不，也许要小一点的”，AI 就会得分。它成功地“引导”用户发现了一种新的偏好。

该论文将这种平衡称为发散（展示多种不同选项以供探索）和收敛（一旦用户知道自己喜欢什么，就进行缩小范围）。

4. 结果：少说话，多做事

研究人员在写故事、技术文章和绘制数字图像等任务上测试了这种新 AI。

更快的发现：与旧模型相比，新 AI 帮助用户找到所需内容的时间快了约10%。
更短的对话：因为 AI 停止提出无用的问题，转而展示有帮助的示例，对话长度缩短了40%。
更满意的用户：在一项针对真实人类的调查中，人们感觉新 AI 更有帮助，并且似乎能“预见”他们的需求，即使用户自己也不确定想要什么。

大局观

把旧 AI 想象成一位服务员，它等你读完整个菜单再点菜。
把新的 DISCOVERLLM 想象成一位品尝厨师，它会端出不同菜肴的小份样品。当你品尝它们时，你会意识到：“哦，我其实喜欢辣的那个！”或者“我讨厌冷汤。”

该论文声称，通过教导 AI 成为那位品尝厨师——通过探索帮助你发现自己的偏好，而不仅仅是等待指令——我们可以让 AI 在协助创造性及开放式任务方面表现得更加出色。

技术摘要：DISCOVERLLM

问题定义

当前的大语言模型（LLM）主要被训练为执行和 eliciting 用户意图，其运作基于一个假设：用户在与模型交互之初便已具备完整（尽管有时未明确表述）的目标。然而，在开放式、创造性及定义模糊的任务（如写作、设计）中，用户起初往往缺乏清晰的意图。相反，他们通过观察和探索潜在结果来发现自身需求。现有方法，包括多轮微调与提示策略，通常假设意图是隐藏但静态的，侧重于通过澄清性问题将其显现。当用户无法回答诸如“您想要什么语调？”之类的问题时（因为他们尚未形成该偏好），这些方法便会失效。核心挑战在于训练模型，使其不仅能 eliciting 预先存在的意图，更能通过协作探索主动帮助用户发现并形成其意图。

方法论：DISCOVERLLM 框架

作者提出了DISCOVERLLM，这是一个通用的训练框架，将意图发现操作化为一个区别于意图 elicitation 的独立问题。该框架依赖于一个新颖的用户模拟器，该模拟器以潜在的分层意图结构来建模用户的认知状态。

1. 通过交互进行意图发现

该框架将意图形成形式化为一个渐进式细化过程（ $I_0 \subseteq I_1 \subseteq \dots \subseteq I_T$ ）。

潜在意图层级：用户意图被表示为树状层级结构（ $H$ ），其中节点范围从宽泛（例如“包含动物”）到具体（例如“包含一只睡在沙发上的虎斑猫”）。
发现状态：节点存在于“未发现”、“涌现”或“已发现”的状态中。用户只能表述那些处于“已发现”状态的意图。
响应驱动的进展：助手的响应（ $r_t$ $r_{t}$ ）决定了状态转换。
- 直接参与：如果响应明确询问或满足了某项意图，该节点即变为“已发现”。
- 边缘参与：如果响应提供了相关但不匹配选项（例如，当用户想要猫时建议狗），它会贡献于累积得分。超过阈值后，节点将从“未发现”推进至“涌现”或“已发现”，以此模拟用户如何通过观察自己“不想要”什么来缩小偏好范围。
表达性约束：模拟器中的用户只能表达其已发现的意图。如果某项意图仅处于“涌现”状态，用户只能提供模糊的反馈（例如“也许有些不同”），从而防止模型简单地要求用户提供其尚无法提供的具体细节。

2. 奖励计算

该框架计算每轮奖励（ $R$ ）以指导训练：

发现进展（ $R_d$ ）：衡量已发现意图数量的增加（ $|I_{t+1}| - |I_t|$ ）。这奖励模型显现潜在偏好的能力。
效率惩罚（ $R_e$ ）：对过长的响应进行惩罚，以鼓励简洁的交互。
总奖励： $R(r_t) = R_d(r_t) + R_e(r_t)$ 。该设计优先考虑发现，效率作为次要约束。

3. 训练流程

利用用户模拟器和奖励函数，该框架支持多种训练范式：

合成数据生成：模拟对话以生成高质量数据集，用于监督微调（SFT）。
偏好优化：创建成对比较（被选中的响应与被拒绝的响应），用于直接偏好优化（DPO）。
在线强化学习：使用PPO或GRPO等算法，直接基于奖励信号优化模型。

主要贡献

意图发现的形式化：本文区分了 eliciting 隐藏意图与发现未成型意图，提出了一种形式化模型，其中意图的具体化由助手对解空间的探索所驱动。
新颖的用户模拟器：一个将用户认知状态建模为意图层级的模拟器，使得计算意图发现奖励成为可能——这是标准训练设置中此前无法实现的功能。
训练框架：一个完整的流程（SFT、DPO、RL），教导大语言模型平衡发散（探索选项以探测抽象意图）与收敛（细化输出以满足具体意图）。

实验结果

该框架在三个领域进行了评估：创意写作、技术写作和SVG 绘图，使用 Llama-3.1-8B-Instruct 和 Qwen3-8B 作为基座模型。

性能提升：与最佳基线（包括提示方法和 COLLABLLM）相比，DISCOVERLLM 实现了超过**10%的意图发现率提升和11%**的意图满意度提升。
效率：在保持或提升任务性能的同时，它将对话长度减少了高达40%。
交互性：交互性得分提高了83%，表明协作更加有效。
行为分析：与倾向于纯粹收敛（修订单个草稿）的基座模型或倾向于过拟合发散（提供无尽选项）的 SFT 模型不同，DISCOVERLLM 变体展现出了一种平衡的模式，即在发散探索与收敛细化之间交替。
泛化性：该方法泛化到了未见过的领域（旅行规划、网页开发）以及不同的模拟器配置（不同的骨干大语言模型和更新规则）。
用户研究：在涉及 75 名人类参与者的研究中，与基线相比，DISCOVERLLM 产生了更高的交互满意度和写作满意度得分，并缩短了任务完成时间。参与者指出，该模型似乎能够“预判”他们的潜在意图。

意义与主张

本文主张，DISCOVERLLM 代表了以人为本的 AI 从单纯执行指令的模型向主动伙伴的转变，后者能与用户共同探索并塑造问题。通过解决用户往往通过行动而非预先规划来发现需求的认知现实，该框架使 AI 能够更有效地支持定义模糊的开放式任务。作者强调，这种方法不会损害安全对齐，并提供了一种可扩展的方法，用于训练模型在用户意图最初尚不稳定的情况下，协作完成复杂且富有创造性的工作。这项工作表明，未来的 AI 系统应被设计为促进问题空间与解空间的共同演化，而非假设用户目标是静态的。