💬 NLP

Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs

该论文提出了 RALP 方法，通过贝叶斯优化学习基于大语言模型的思维链提示，在无需梯度的情况下仅需少量样本即可有效预测知识图谱中的实体、关系及字面量，显著超越了传统嵌入模型的性能并提升了泛化能力。

原作者： Alkid Baci, Luke Friedrichs, Caglar Demir, N'Dah Jean Kouagou, Axel-Cyrille Ngonga Ngomo

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Alkid Baci, Luke Friedrichs, Caglar Demir, N'Dah Jean Kouagou, Axel-Cyrille Ngonga Ngomo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RALP 的新方法，它试图解决知识图谱（Knowledge Graph）中一个非常头疼的问题：如何预测那些从未见过的信息？

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“从死记硬背到灵活推理”的进化**。

1. 背景：旧方法的困境（死记硬背的学生）

想象一下，传统的知识图谱模型（比如 KGE 模型）就像一个死记硬背的学生。

它是怎么学的？ 它把世界上所有的“人”、“地点”、“关系”都变成了一串看不懂的数字代码（向量）。比如，“北京”是 [0.1, 0.5, 0.9]，“中国”是 [0.2, 0.6, 0.8]。
它的强项： 如果考试题目是它背过的（比如“北京 - 位于 - 中国”），它答得飞快且准确。
它的弱点： 一旦遇到它没背过的“新学生”（新实体）或者“新题目”（新关系），它就懵了。更糟糕的是，如果题目涉及具体的数字（比如“加蓬的 GDP 是多少”）或者复杂的逻辑（比如“既是父亲又是医生的人”），它完全不会算，因为它只会算数字代码，不懂人类语言。

2. 新方法：RALP（会讲故事的侦探）

这篇论文提出的 RALP 方法，换了一个思路。它不再让模型去背数字代码，而是直接利用大语言模型（LLM）的“讲故事”能力。

我们可以把 RALP 想象成一个聪明的侦探，它手里没有数字代码，只有一张**“推理便签”（Prompt）**。

核心创新：把“预测”变成“写故事”
以前的模型是：输入数字 -> 输出概率。
RALP 是：输入问题 -> 让 AI 侦探写一段推理过程（思维链，CoT） -> 根据推理过程给出答案和信心评分。

比喻：
如果问“哥斯达黎加在哪里？”，旧模型是查表；而 RALP 会像侦探一样思考：“哥斯达黎加是中美洲国家，它北边是尼加拉瓜，南边是巴拿马……所以它肯定在中美洲。”然后它输出：“位于中美洲，信心 100%。”

3. 它是如何“学习”的？（不用背书的优化器）

通常，让 AI 变聪明需要给它看成千上万道题，还要用复杂的数学方法（梯度下降）去调整它的“大脑参数”。但 RALP 很特别：

少样本学习（Few-shot）： 它只需要看不到 30 个例子就能学会怎么推理。
无梯度优化（MIPRO）： 它不需要修改 AI 的底层代码。它像一个**“提示词调音师”**，通过一种叫 MIPRO 的算法，不断尝试修改那张“推理便签”上的措辞。
- 试错过程： 调音师写一句提示词 -> 让 AI 做题 -> 对吗？不对 -> 改改措辞（比如把“请回答”改成“请像地理专家一样推理”）-> 再试。
- 最终，它找到了一句**“完美咒语”**，能让 AI 在极少见的情况下也能做出最准确的预测。

4. RALP 的三大超能力

A. 见所未见（泛化能力）

如果知识图谱里出现了一个从未见过的国家或关系，旧模型直接报错。但 RALP 因为用的是语言模型，它懂人类语言。只要你能用文字描述出来，它就能根据常识进行推理。

比喻： 就像侦探即使没见过某个嫌疑人，只要知道他是“住在热带雨林里的独居者”，就能猜出他可能穿什么衣服、吃什么食物。

B. 搞定数字（数值预测）

旧模型很难预测具体的数字（比如“加蓬的人均 GDP 是 7225 美元”）。RALP 却能通过上下文推理：

推理过程： “加蓬的总 GDP 是 146 亿，人口是 200 万。把总数除以人数……再参考邻国的数据……所以人均 GDP 应该在 1000 到 15000 之间，最可能是 7225。”
它不仅能给出一个数字，还能给出一个**“置信区间”**（比如：我有 90% 的把握答案在 1000 到 15000 之间）。

C. 逻辑大师（OWL 推理）

面对复杂的逻辑题（比如“找出所有‘既是父亲又是医生’的人”），RALP 能像逻辑学家一样拆解问题，利用思维链一步步推导，准确率非常高（在测试中达到了 88% 以上的相似度）。

5. 它的局限性（侦探的烦恼）

虽然 RALP 很厉害，但也有几个小缺点：

依赖“人话”： 如果输入给侦探的是一串乱码（比如 ID 号 Q12345）而不是名字（“加蓬”），它就晕了。必须先把 ID 翻译成人类能懂的文字。
数据噪音： 如果上下文里混入了一个极端的异常值（比如某个国家通货膨胀率是 16000%，而其他都是 5%），侦探可能会被带偏，算错范围。
速度问题： 让大侦探写推理故事，比直接查表要慢，而且需要更多的算力。

总结

这篇论文的核心贡献是把“知识图谱预测”从“数学题”变成了“阅读理解题”。

过去： 我们试图教机器背数字公式，遇到新题就死机。
现在（RALP）： 我们教机器如何思考（通过优化提示词）。只要给机器足够的上下文和正确的“思考指令”，它就能像人类专家一样，灵活地处理新实体、新关系和复杂的数值逻辑。

这就像是从**“死记硬背的计算器”进化到了“会思考的百科全书”**，让 AI 在处理动态、复杂的世界知识时，变得更加灵活和强大。

论文技术总结：基于思维链提示的知识图谱实体、关系及字面量预测 (RALP)

1. 研究背景与问题定义

核心问题：传统的知识图谱嵌入（Knowledge Graph Embedding, KGE）模型（如 TransE, DistMult 等）虽然在链接预测任务上表现良好，但存在显著局限性：

无法处理未见实体/关系：KGE 依赖静态向量表示，难以泛化到训练集中未出现的实体或关系（零样本/少样本场景）。
字面量推理困难：传统模型难以处理数值型（如 GDP、人口）或描述性文本等字面量（Literals）的推理。
动态适应性差：在异构且动态变化的知识图谱中，重新训练嵌入模型成本高昂。

研究目标：利用预训练大语言模型（LLM）的泛化能力和提示学习（Prompt Learning）优势，将链接预测重构为一个提示优化问题。提出一种无需梯度更新、基于字符串参数的评分函数，以实现对未见实体、关系及字面量的推理。

2. 方法论 (Methodology)

2.1 核心思想：从向量参数到字符串参数

传统 KGE 使用连续向量参数 $\Theta$ 定义评分函数 $\phi_\Theta(h, r, t)$ 。
本文提出 RALP (Reasoning with Automated Learning Prompts)，将评分函数重构为字符串参数化形式 $\phi_{\beta \le c}$ ：

$\beta$ ：一个由最多 $c$ 个词元（tokens）组成的思维链（Chain-of-Thought, CoT）提示字符串。
机制：该提示作为输入提供给 LLM，LLM 根据提示中的上下文和推理逻辑，输出三元组 $(h, r, t)$ 为真的概率或置信度。

2.2 优化算法：MIPRO (无梯度提示优化)

由于 LLM 的提示是离散的字符串，无法使用传统的梯度下降法进行优化。作者采用 MIPRO 算法（基于贝叶斯优化的提示优化框架）：

搜索空间：所有可能的提示字符串组合。
优化目标：最大化验证集上的性能指标（如交叉熵损失或 MRR），而非最小化训练集的梯度。
流程：
1. 初始化：基于少量示例（Few-shot）构建初始提示。
2. 贝叶斯优化循环：
  - 根据历史评估结果更新概率模型。
  - 选择最有希望的候选提示 $\beta_t$ 。
  - 在验证集上评估该提示的性能 $Q(\beta_t)$ 。
  - 更新最佳提示 $\beta^*$ 。
优势：仅需少于 30 个训练样本即可找到高效提示，且完全无需访问 LLM 内部梯度。

2.3 三大任务扩展

链接预测 (Link Prediction)：
- 预测缺失的实体（头/尾）或关系。
- 利用 RALP 生成的置信度，可以增强训练数据（Algorithm 1），将高置信度的缺失三元组加入训练集，提升传统 KGE 模型的性能。
数值字面量预测 (Numerical Literal Prediction)：
- 针对数值属性（如 GDP、人口），构建包含主体上下文和关系模式的上下文子集。
- LLM 进行推理，输出点预测值（Point Prediction）及置信区间（Interval Range），无需回归层或分箱处理。
OWL 实例检索 (OWL Instance Retrieval)：
- 处理复杂的类表达式（如 $\exists hasChild.Female$ ）。
- 将 OWL 表达式转换为自然语言描述（Manchster 语法），利用 LLM 的逻辑推理能力识别符合该概念的所有实例。

3. 关键贡献 (Key Contributions)

范式转变：首次提出将知识图谱链接预测从“连续向量参数化”转变为“字符串参数化（CoT 提示）”的问题，利用 LLM 直接进行推理。
少样本与零样本能力：通过 MIPRO 算法，仅需极少量样本（<30 个）即可优化出高质量提示，有效解决了未见实体和关系的泛化问题。
字面量推理突破：首次利用基于提示的 LLM 直接进行数值链接预测，实现了端到端的数值推理和不确定性估计（置信区间），无需额外的回归模块。
数据增强机制：提出利用 RALP 预测高置信度的缺失三元组来增强传统 KGE 模型的训练数据，显著提升了基线模型的性能。
开源实现：发布了完整的训练、评估及推理管道代码。

4. 实验结果 (Results)

4.1 传递式链接预测 (Transductive Link Prediction)

数据集：Countries-S1/S2/S3。
表现：RALP†（经 MIPRO 优化的版本）在 Countries-S1 上达到了 1.000 MRR 和 Hits@1，超越了所有现有的 KGE 模型（如 DistMult, ComplEx 等）。
数据增强效果：将 RALP 预测的高置信度三元组加入训练集后，传统模型（如 DistMult-RALP）的 MRR 显著提升（例如在 S1 上从 0.783 提升至 0.990）。

4.2 数值字面量预测

数据集：LitWD1K（包含数值属性）。
表现：
- 预测均值（ $\hat{y}_{avg}$ ）与真实均值（ $y_{avg}$ ）高度接近。
- 区间覆盖率 (ICR)：所有属性的 ICR 均超过 75%，表明置信区间校准良好。
- 案例：在预测加蓬的人均 GDP 时，模型通过推理得出区间 [1000, 15000]，真实值 7413 落在该区间内。

4.3 OWL 实例检索

数据集：Father 数据集（包含 130 个 ALCQHI 逻辑表达式）。
表现：
- 在原子概念（Atomic）上达到 100% 的 Jaccard 相似度。
- 在复杂表达式（如合取、析取、否定）上表现优异（Jaccard > 0.88）。
- 语法影响：使用 Manchester 语法 配合完整 IRI 的输入配置，性能显著优于传统的描述逻辑（DL）语法配置。

5. 意义与局限性

5.1 意义

灵活性与通用性：证明了基于提示的 LLM 推理是嵌入方法的有力替代方案，特别适用于动态、异构且包含大量字面量的知识图谱。
可解释性：CoT 提示提供了推理过程的自然语言解释，增强了模型的可信度。
零样本潜力：无需针对新实体或新关系重新训练模型，只需调整提示即可适应。

5.2 局限性

上下文限制：受限于 LLM 的 Token 数量，处理大规模图谱时需要设计高效的采样算法。
异常值敏感：在数值预测中，输入上下文中的极端异常值（Outliers）可能扭曲预测区间。
依赖语义标签：要求实体和关系使用人类可读的标签（而非 QID 或 URI），否则 LLM 推理能力下降。
计算资源：依赖大型预训练模型，推理时间和资源消耗较高。

总结

RALP 框架通过结合大语言模型的推理能力和自动提示优化技术，成功解决了传统知识图谱模型在处理未见实体、关系及字面量时的瓶颈。它不仅在新颖的推理任务上取得了 SOTA 性能，还为传统 KGE 模型提供了有效的数据增强手段，为构建更灵活、可解释且适应动态变化的知识图谱系统开辟了新路径。