💬 NLP

Extracting and Following Paths for Robust Relational Reasoning with Large Language Models

本文提出了名为“思维路径”（PoT）的新框架，通过图提取、路径识别和推理三个关键阶段，无需微调即可显著提升大语言模型在复杂关系推理任务中的准确率与鲁棒性。

原作者： Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 PoT (Path-of-Thoughts，思维路径) 的新方法，旨在帮助大型语言模型（LLM）更聪明、更稳健地解决复杂的关系推理问题。

为了让你轻松理解，我们可以把这个问题想象成**“在迷宫中找路”**。

1. 核心问题：大模型为什么会迷路？

想象一下，你让一个博学多才的导游（大语言模型）给你讲一个复杂的故事：

“小明站在小红后面，小红站在小刚左边，小刚站在小强前面……请问小明和小强是什么位置关系？”

虽然导游脑子里有海量的知识，但当故事变得很长、关系很绕时，他容易犯两个错误：

记不住细节：就像在迷宫里走久了，忘了刚才经过的路口。
被无关信息干扰：故事里可能夹杂着“今天天气很好”或者“小强喜欢穿红衣服”这种废话，导游容易被带偏，导致推理错误。

以前的方法（比如“思维链”CoT）就像是让导游一边走一边自言自语：“小明在小红后面……等等，小红左边是谁？哦，是小刚……"。如果导游在第一步说错了，后面所有的路都会走错，这叫“多米诺骨牌效应”。

2. 新方案 PoT：先画地图，再找路

PoT 的核心思想是：不要急着回答，先画一张“关系地图”，然后只走那条最关键的“小路”。

它把解题过程分成了三个简单的步骤，我们可以用**“寻宝游戏”**来打比方：

第一步：提取地图 (Graph Extraction) —— 把故事变成“寻宝图”

传统做法：导游直接读故事，试图在脑子里构建关系。
PoT 做法：导游先当一次“绘图员”。他快速扫描故事，把所有的人和物（节点）以及他们之间的关系（连线）提取出来，画成一张清晰的关系图。
- 比喻：就像把一段乱糟糟的口头描述，变成了一张清晰的地铁线路图。不管故事里有多少废话，地图上只保留“谁在谁旁边”这种关键信息。

第二步：锁定路径 (Path Identification) —— 只走那条“最短捷径”

传统做法：导游试图把整张地图都过一遍，容易在无关的岔路口迷路。
PoT 做法：当你问“小明和小强有什么关系”时，PoT 会拿着放大镜，在刚才画好的地图上，只找出连接“小明”和“小强”的那几条线。
- 比喻：就像在复杂的地铁网中，直接筛选出从 A 站到 B 站的所有可行路线，把其他无关的站点全部屏蔽掉。
- 关键优势：即使地图画得有一点点小瑕疵（比如某条线画歪了），只要有一条路是通的，我们就能找到答案。这大大降低了出错的概率。

第三步：独立推理 (Reasoning) —— 每条路单独走一遍

传统做法：一条路走到底，错了就全错。
PoT 做法：PoT 会分别沿着找到的每一条路径进行推理。
- 比喻：就像派了三个探险队，分别走三条不同的路去终点。如果其中一条路因为地图的小错误走不通，另外两条路可能依然能带你到达终点。最后，只要有一条路给出了合理的答案，我们就成功了。

3. 为什么这个方法很厉害？

抗干扰能力强：就像在嘈杂的房间里，如果你只盯着目标说话，就不会被周围的噪音影响。PoT 通过“只关注关键路径”，让大模型忽略了无关的废话。
容错率高：即使第一步画地图时稍微有点小错误（比如把“左”看成了“右”），只要还有其他路径能推导出正确答案，系统就能自我修正，不会像以前那样“一步错，步步错”。
不需要重新训练：这个方法不需要给大模型“补课”（微调），只需要用巧妙的“提示词”（Prompt）指挥它按这个步骤做就行。

4. 实验结果：真的有效吗？

研究人员在四个不同的“迷宫”（数据集）上测试了这种方法，包括亲属关系推理（比如：A 是 B 的舅舅，B 是 C 的爸爸，那 A 和 C 是什么关系？）和空间位置推理（比如：谁在谁的前面/后面）。

成绩：PoT 的表现比目前最先进的方法（基线）提高了 21.3%。
鲁棒性：即使在输入的故事里有矛盾或模糊不清的地方，PoT 也能像经验丰富的老侦探一样，通过多条路径交叉验证，找到最可能的真相。

总结

简单来说，PoT 就是给大语言模型装了一个“导航仪”和“过滤器”。

以前，大模型是**“死记硬背硬算”，容易在复杂的故事里晕头转向；
现在，PoT 让它学会“先画地图，再选路，多路验证”**。

这就好比以前是让人闭着眼睛在迷宫里乱撞，现在则是先睁开眼画出地图，挑出几条可能的路，每条路都走一遍，确保一定能找到出口。这不仅让大模型变得更聪明，也让它变得更“皮实”，不容易被带偏。

论文技术总结：基于思维路径（Path-of-Thoughts）的鲁棒关系推理框架

1. 研究背景与问题定义

大型语言模型（LLM）虽然在自然语言理解方面表现出色，但在处理复杂的多跳关系推理任务（如亲属关系推断、空间位置推理）时往往表现不佳。现有的方法存在以下局限性：

纯提示方法（如 CoT）：容易受到无关上下文的干扰，且在大模型中线性思维链可能已内化，外部强制拆解未必有效。
神经符号方法（Neuro-symbolic）：通常需要将自然语言转换为特定的符号语言（如逻辑规则），这依赖于高度定制化的翻译模块，对 LLM 的提取错误非常敏感（脆弱性），且难以处理输入中的歧义或冲突信息。
通用性不足：许多方法假设查询实体已知，无法从问题中自动提取查询对象。

核心问题：如何构建一个既不需要微调、又能有效处理 LLM 提取错误和输入歧义，且具备高鲁棒性的关系推理框架？

2. 方法论：Path-of-Thoughts (PoT)

作者提出了 Path-of-Thoughts (PoT) 框架，将关系推理任务分解为三个关键阶段：图提取（Graph Extraction）、路径识别（Path Identification） 和 推理（Reasoning）。

2.1 图提取 (Graph Extraction)

目标：将非结构化的文本故事转换为结构化的关系图 $G=(N, E)$ 。
过程：利用单次 LLM 调用，从上下文中提取关键实体（节点 $N$ ）、关系（边 $E$ ）及其属性（如性别、年龄等）。
创新点：
- 设计了结构化的提示词（Structured Prompts），包含分区标记、语法分隔符、预定义类别和任务分解策略，以提高提取的准确性。
- 能够同时从问题中提取查询实体（ $n_{src}, n_{tar}$ ），无需数据集预先标注。
- 输出为三元组集合（例如：(A, father, B)），构建出类似“认知地图”的图结构。

2.2 路径识别 (Path Identification)

目标：在构建的图中，识别出连接查询实体（源节点和目标节点）的所有相关推理路径。
机制：使用深度优先搜索（DFS）算法在图中查找所有连接 $n_{src}$ 和 $n_{tar}$ 的路径。
鲁棒性设计：
- 允许存在多条独立路径。如果 LLM 在提取阶段出现错误（如关系翻转）或故事本身存在歧义，不同的路径可能会推导出不同的答案。
- 通过并行处理多条路径，系统可以缓解单一提取错误导致的级联失效（Cascading Errors）。

2.3 推理 (Reasoning)

目标：基于识别出的路径推断最终答案。
双模式支持：
1. LLM 推理器：将提取出的特定路径（而非整个原始故事）输入 LLM 进行推理。这减少了无关上下文的干扰。
2. 符号推理器：将路径转换为逻辑事实（如 ASP 语言），使用外部求解器（如 CLINGO）进行演绎推理。
优势：利用图的组合性质，即使部分路径包含错误信息，其他正确路径仍可能得出正确结论，从而提高了对噪声的抵抗力。

3. 关键贡献

高效提取框架：提出了一种基于提示的方法，能在单次 LLM 调用中高效地提取图结构和查询实体，无需微调。
路径识别机制：创新性地引入了路径识别阶段，能够识别涉及查询实体的多条独立推理路径，从而推断所有可能的答案，显著提升了系统的鲁棒性。
首个基于子图识别的增强方法：据作者所知，这是首个通过在推理前识别与查询相关的子图来增强关系推理任务的工作。
广泛的基准测试：在亲属关系（CLUTRR, 中文亲属）和空间推理（StepGame, SPARTUN）四个数据集上进行了验证。

4. 实验结果

作者在四个数据集上评估了 PoT，对比了 Zero-shot、Few-shot、CoT、CoT-SC 以及神经符号基线（LLM-ASP）。

性能提升：
- PoT 在大多数场景下显著优于基线方法。在 StepGame 数据集上，PoT-LLM 相比最佳基线（CoT-SC）提升了 21.3% 的准确率。
- 在复杂推理（多跳数 $k$ 增加）场景下，PoT 的优势更加明显，表明其能有效处理长推理链。
- 在使用推理专用模型（如 GPT-o1-mini, Claude-3.7-sonnet, GPT-5）时，PoT 依然保持领先或持平，证明了框架的兼容性。
鲁棒性验证：
- 在合成噪声实验（模拟 LLM 提取错误或歧义）中，带有路径识别（P.I.）的符号推理器表现稳健，而去除 P.I. 的模型在噪声增加时性能急剧下降。
- 路径识别模块能有效引导 LLM 聚焦于正确的推理链，减少无关路径的干扰。
计算成本：
- 尽管需要两次 LLM 调用（提取 + 推理），但由于推理阶段仅处理提取出的短路径而非全文，PoT-LLM 的延迟和 Token 消耗与 CoT 相当，甚至更低（特别是 PoT-Symbolic 模式）。

5. 意义与局限性

意义：

范式转变：PoT 展示了将“认知地图”（图结构）引入 LLM 推理的有效性，证明了显式的路径识别比隐式的思维链更能抵抗噪声。
神经符号融合：提供了一种灵活的神经符号范式，既保留了 LLM 的语言理解能力，又利用符号推理或结构化路径增强了逻辑严密性。
通用性：无需针对特定任务编写复杂的符号规则（对于 PoT-LLM 模式），适用于多种关系推理领域。

局限性：

适用范围：目前仅针对可分解为关系链的任务，非关系推理任务的通用性未经验证。
数据质量：实验受限于数据集质量（如 CLUTRR 中存在标注错误）。
符号规则构建：PoT-Symbolic 模式仍需人工构建领域特定的符号规则，工作量较大。
延迟：PoT-LLM 模式相比直接推理略有延迟，但在可接受范围内。

总结：PoT 通过“提取 - 路径识别 - 推理”的三步走策略，成功解决了 LLM 在复杂关系推理中的脆弱性问题，为构建更鲁棒的神经符号推理系统提供了新的思路。