💬 NLP

Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering

本文介绍了思维路径（Pathways of Thoughts, PoT），这是一种无需训练的推理阶段方法，通过将思考建模为一个迭代决策过程，基于推断的用户偏好来生成、聚合和重权化多样化的推理轨迹，从而增强长文本个性化问答能力，并取得了优于现有基准方法的显著性能提升。

原作者： Alireza Salemi, Cheng Li, Mingyang Zhang, Qiaozhu Mei, Zhuowan Li, Spurthi Amba Hombaiah, Weize Kong, Tao Chen, Hamed Zamani, Michael Bendersky

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alireza Salemi, Cheng Li, Mingyang Zhang, Qiaozhu Mei, Zhuowan Li, Spurthi Amba Hombaiah, Weize Kong, Tao Chen, Hamed Zamani, Michael Bendersky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文《思维路径》（Pathways of Thoughts）进行的解释。

问题所在：“一刀切”的机器人

想象你有一个非常聪明的机器人助手（大语言模型，或简称 LLM），它可以回答任何问题。然而，这个机器人有一个问题：它并不真正了解“你”。

如果你问：“写好一个故事最好的方法是什么？”，机器人可能会给你一个通用的答案。但如果你是一个热爱恐怖故事且讨厌圆满结局的特定人群，那个通用的答案对你来说毫无用处。为了解决这个问题，我们通常尝试通过喂给机器人你的历史记录来“教”它你的偏好。但本文认为，仅仅把你的历史记录倾倒进机器人的记忆里是不够的。机器人经常会被噪音干扰，忽略重要的细节，或者因为它试图只用一种方式来解决问题，从而给出一个乏味的、标准化的答案。

解决方案：“思维路径”（PoT）

作者提出了一种名为 思维路径（Pathways of Thoughts，简称 PoT） 的新方法。PoT 不是要求机器人只对你的问题回答一次，而是要求机器人先从许多不同的角度去思考这个问题，然后将这些想法中最精华的部分组合成一个完美的答案。

你可以这样理解：

1. “智库”类比

想象你是一家公司的 CEO，正面临一个难题。

传统方式： 你打电话给一名员工，请他提供一个解决方案，于是他给出了他的最佳猜测。如果他遗漏了一个细节，你得到的就会是一个糟糕的答案。
PoT 方式： 你召集了一个由 16 位不同专家组成的“智库”。
- 专家 A 说：“让我们从法律层面来看。”
- 专家 B 说：“让我们从情感层面来看。”
- 专家 C 说：“让我们看看你过去的案例，看看以前哪些做法奏效了。”
- 专家 D 说：“等等，这个问题其实表达得不清楚，我们应该要求进一步澄清。”

每位专家都采取了不同的“路径”来解决问题。有的专家可能会写一份长篇计划，有的可能只是给出一个直接的答案，还有的可能会对自己的答案进行三次修改。

2. “厨师”类比

想象你是一位正在为一位口味极其挑剔的食客（用户）准备菜肴的厨师。

传统方式： 你根据标准食谱烹饪一道菜。
PoT 方式： 你要求你的厨房团队同时烹饪 16 个不同版本 的这道菜。
- 一个版本侧重于香料。
- 一个版本侧重于口感。
- 一个版本使用了食客童年时期的食材（其个人画像）。
- 一个版本是素食改良版。

当 16 道菜都准备好后，你并不仅仅是挑选其中之一。你扮演的是主厨的角色。你品尝所有的菜肴，意识到版本 3 的香料最完美，版本 7 的口感最好，而版本 12 记住了食客的过敏源。然后，你将这 16 道菜中最精华的部分混合搭配，创造出一顿完全为那个人量身定制的完美大餐。

它是如何工作的（机制）

论文使用了一个称为**马尔可夫决策过程（MDP）**的概念来描述这一过程。简单来说，这只是一个高级说法，指的是机器人像玩游戏一样，一步步做出一系列微小的决策。

智能体与环境： 机器人同时扮演两个角色。
- 角色 1（智能体）： 它决定下一步做什么。是应该“制定计划”？是应该“进行推理”？是应该“个性化定制”？还是应该“请求澄清”？
- 角色 2（环境）： 它实际执行动作。如果它决定“进行推理”，它就会写下推理过程。如果它决定“个性化定制”，它就会查看你过去的问题以寻找线索。
多条路径： 机器人将这个游戏重复 16 次（或你选择的路径数量）。每次，它可能会采取略微不同的路线。一条路径可能非常逻辑严密；另一条路径可能非常有创意。
混合： 最后，机器人查看它从这 16 条路径中生成的所有答案。它使用一个特殊的“混合”步骤来组合它们。它会问自己：“这些答案中的哪些部分最符合用户的特定需求？”并将它们融合在一起。

研究发现

研究人员在名为 LaMP-QA 的基准测试上进行了测试，该测试涉及回答关于艺术、生活方式和文化等领域的长篇、个性化问题。

更好的答案： “思维路径”方法明显优于标准方法。它将答案质量平均提高了约 10.8%。
人类偏好： 当人类对答案进行侧向对比时，他们在 66% 的情况下更倾向于选择 PoT 生成的答案。他们觉得这些答案确实更好地理解了用户。
无需额外训练： 最棒的一点是，这不需要重新训练机器人。你只需改变询问它思考的方式，就可以在任何现有的智能机器人（LLM）上使用这种方法。

总结

思维路径（Pathways of Thoughts） 就像是在告诉一个聪明的机器人：“不要只给我一个答案。请从 16 个不同的角度思考这个问题，并利用我的个人历史来引导你。然后，把所有这些不同想法中的精华部分混合在一起，给我一个完美的、个性化的答案。”

它将单一的线性思维过程转变为多方向的探索，确保最终结果不仅准确，而且真正属于“你”。

技术摘要：长文本个性化问答中的思维路径 (Pathways of Thoughts)

问题定义

本文探讨了个性化问答 (Personalized QA) 的挑战，特别是在长文本内容生成的背景下。虽然个性化在搜索和推荐领域已有深入研究，但在问答领域仍处于探索阶段，这主要是由于两个核心难点：

从噪声上下文中推理： 用户偏好通常是隐性的，必须从冗长、多噪且非结构化的用户画像（例如，过去的提问和叙述）中进行推断。
与用户预期对齐： 一个事实准确的回答如果不能符合用户的特定背景、学习风格或偏好，仍可能无法满足用户需求。

目前的方法通常依赖于使用用户数据对大语言模型 (LLM) 进行微调。然而，由于许多 LLM 是参数冻结的黑盒模型，且微调需要大量的计算资源和针对每个用户的个人数据，这种方式往往难以实现。因此，作者将重点放在了推理阶段策略上，旨在无需额外模型训练的情况下提升个性化水平。

方法论：思维路径 (Pathways of Thoughts, PoT)

作者提出了 思维路径 (PoT)，这是一种适用于任何 LLM 的通用推理阶段方法。PoT 将思考过程建模为一个迭代决策过程，允许模型在生成最终回答之前探索多条推理轨迹。

1. 将思考建模为马尔可夫决策过程 (MDP)

PoT 将回答的生成形式化为一个 MDP，其中 LLM 既是智能体 (Agent) 也是环境 (Environment)：

状态 ( $S$ )： 状态由用户的提问、用户画像以及目前为止生成的动作序列和输出内容的拼接而成。
动作 ( $A$ )： 智能体在每一步从一组预定义的认知操作中进行选择。这些操作包括：
- 规划 (Planning)： 生成解决问题的逐步计划。
- 推理 (Reasoning)： 对问题的特定方面进行逐步思考。
- 个性化/个性化处理 (Personalization/Personalizing)： 检查是否需要进行个性化处理，并提取相关的用户上下文。
- 澄清 (Clarifying)： 识别问题中的歧义。
- 总结 (Summarizing)： 整合现有信息。
- 回答/修订/完成 (Answering/Revising/Finalizing)： 生成、完善或结束回答。
转移 (Transition)： LLM 执行选定的动作，通过新的输出更新状态。该循环持续进行，直到选择“完成”动作或达到最大步数限制 ( $T$ )。

2. 多向思维

为了避免收敛到单一且可能并非最优的推理路径，PoT 生成 $N$ 条不同的思维路径。通过以下两种机制实现路径的多样性：

初始状态改变： 随机选择用户画像的子集，为规划阶段创建不同的初始上下文。
规划动作变化： 在执行“规划”动作时使用较高的采样温度，从而从相同的初始状态生成多样化的策略大纲。

3. 回答聚合

一旦 $N$ 条路径产生了 $N$ 个候选回答 ( $R_{PoT}$ )，系统会将它们聚合为一个最终回答 ( $\hat{y}_u$ )。论文对比了两种聚合策略：

Best-of-N： LLM 根据提取的用户偏好，从候选回答中选择表现最好的那一个。
Mixture-of-N： LLM 通过结合所有候选回答的优点来合成一个新的回答。这种方法模仿了人类解决问题的过程，即整合多元视角。论文指出，Mixture-of-N 是处理开放式文本生成的更优方法。

聚合过程由一个中间步骤引导，即 LLM 提取用户画像中的重要方面 ( $I_u$ )，以确保最终输出符合特定的用户需求。

核心贡献

推理阶段个性化： 本文引入了一种无需微调即可增强个性化能力的方法，使其适用于黑盒或资源受限的 LLM。
基于 MDP 的推理框架： 它将马尔可夫决策过程应用于自由文本生成，将 LLM 视为决策者和认知操作的执行者。
多向探索： 通过探索多条推理轨迹并进行聚合，该方法能够捕捉到单一推理路径可能遗漏的互补优势。
全面的评估： 该方法在 LaMP-QA 基准测试上进行了严格测试，涵盖了三个不同领域：艺术与娱乐、生活方式与个人成长、以及社会与文化。

实验结果

实验使用 Gemini 1.5 Pro 和 GPT-4o-mini 作为骨干模型进行。

性能提升： PoT 在所有类别中均一致优于竞争基线。
- 与表现最好的基线（结合 CoT 的上下文内个性化及 Best-of-32）相比，PoT 平均实现了 10.8% 的相对提升。
- 与单次推理基线相比，Po两展现了 7.2% 的相对提升。
- 通过 t 检验，结果具有统计学显著性 ( $p < 0.05$ )。
消融研究：
- 路径长度： 随着动作数量增加，性能在达到 8 步 ( $T=8$ ) 之前持续提升；超过此限制后，由于“过度思考”导致性能下降。
- 路径数量： 增加路径数量 ( $N$ ) 会提升性能，但随着 $N$ 变得很大，收益递减。
- 聚合方式： Mixture-of-N 始终优于 Best-of-N，证实了合成多样化回答比选择单一胜出者能产生更高质量的内容。
泛化性： 该方法在不同的骨干 LLM（Gemini 1.5 Pro 和 GPT-4o-mini）上均表现出有效性，在 GPT-4o-mini 上实现了 9.4% 的相对提升。
人工评估： 在与最强基线（结合 CoT 的上下文内个性化及 Best-of-32）进行的侧向对比实验中，人类标注者在 66% 的案例中更倾向于 PoT，而基线仅为 19%，平局为 15%。

意义与主张

论文声称，思维路径 (Pathways of Thoughts) 代表了个性化问答领域的重大进展，因为它使模型能够在推理过程中动态地“思考”用户偏好。作者认为，仅仅将用户上下文作为输入补充是不够的；相反，模型必须针对噪声和隐性数据进行推理，以推导出偏好。

通过将思考视为一个多向过程，PoT 允许模型探索多样化的策略（例如，决定是进行澄清、修订还是个性化处理），并将它们结合成一个连贯且符合用户需求的回答。作者将其定位为现实场景中的实用解决方案，在这些场景下微调是无法实现的，从而提供了一种可扩展的方式来提高信息寻求系统的参与度和满意度。这项工作表明，该框架可以推广到除问答之外的其他长文本生成任务，尽管目前的研究专门针对个性化问答。