💬 NLP

REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs

REAP 系统基于一个未经微调的 24B 参数 Mistral 模型构建，通过采用结构化思维链推理、特定关系的查询以及基于推理的空集门控机制，将参数化知识提取并解析为有效的 JSON 数组，从而在 AKBC Shared Task 2026 中实现了 0.62 的 macro-F1 分数。

原作者： Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个朋友，他读过世界上几乎所有的书，并记住了惊人的事实，从法国的首都是什么到特定星系中有多少颗恒星。这个朋友就是一个“大语言模型”（LLM）。通常，当你问他一个简单的问题，比如“谁获得了诺贝尔奖？”，他会给出一个快速的回答。但如果让你列出每一个曾经获得过该奖项的人，或者准确告诉你是哪些国家与一个微小的岛国接壤呢？突然间，这项任务变得困难得多。这位朋友可能会忘记几个名字，编造一个虚假的获奖者，或者在搞不清一个岛屿是否真的有邻居时感到困惑。

这就是“知识库构建”面临的挑战。科学家们希望将这些巨大的、充满事实的大脑转化为计算机可以可靠使用的组织化数据库。棘手之处在于，这位朋友（AI）并没有可以查阅的图书馆；他必须完全依赖于大脑内部的东西（他的“参数”）。如果答案是“没有人”，朋友需要知道应该说“为空”而不是瞎猜。如果答案是一个长列表，他们需要确保每一个项目都准确无误，一个都不掉队。这篇论文探讨了如何向这些 AI 朋友提出正确的问题，以获得完美、有序的列表，而不让他们产生幻觉或陷入混乱。

REAP 系统：AI 记忆的侦探指南

认识一下 REAP（关系感知提取与解析）。不要把 REAP 仅仅看作一个提问者，而要把它看作一个聪明的侦探团队，正在与一位非常聪明但有时有点丢三落四的证人（AI 模型）合作。目标是什么？是从证人的记忆中构建出一个完美、有序的事实列表，而不让其信口开河。

研究人员发现，如果你只是问 AI，“列出与 X 接壤的所有国家”，它可能会感到不知所措、遗漏一些，或者不小心发明一个不存在的边界。这就像要求一名学生一口气背诵一整章教科书；他们可能会磕绊。相反，REAP 将这项工作分解为两个截然不同的阶段，就像一个两步走的面试过程。

第一阶段：侦探的审讯（推理）
在第一阶段，REAP 不仅仅是索要答案。它要求 AI 在开口说话之前先进行思考。根据问题的类型，侦探会使用特殊的策略：

针对边界： 与其问“谁与此接壤？”，不如告诉 AI 扮演一名地理专家，并向四个方向（北、南、东、西）扫描地图，以确保不会遗漏任何小的邻国。
针对奖项： 如果 AI 需要列出获奖者，它不会直接猜测。它会将时间拆解成年代，询问：“谁在 1970 年代获奖？谁在 1980 年代获奖？”这确保了 AI 不会跳过整个时代。
“空集”闸门： 这是一个至关重要的安全网。有时答案是“没有人”（比如尚未去世的在世之人，或不是上市公司的私人公司）。REAP 教会 AI 识别属性不存在的情况，并自信地说“列表为空”，而不是编造一个虚假的名字。

第二阶段：抄录员的清理（解析）
一旦 AI 完成了它的思考并生成了一个凌乱的事实列表，第二阶段就会介入。这个阶段的角色是负责清理笔记的抄录员。系统使用严格的规则来抓取答案，并将其完美地格式化为 JSON 列表（一种标准的计算机格式）。如果 AI 搞混了，写成了一段话而不是一个列表，抄录员会尝试修复它。如果无法修复，系统会尝试用更简单的提示词再次提问。

研究发现

研究人员使用了一个名为 Mistral-Small-24B-Instruct-2501 的特定 AI 模型来测试该系统，该模型拥有约 240 亿个“脑细胞”（参数）。他们遵循着严格的规则：不得在互联网上查找信息，不得修改 AI 的大脑（不进行微调），并且使用的模型参数不超过 320 亿。

结果非常令人鼓舞。在一组困难的问题测试集中，REAP 系统实现了 0.62 的 macro-F1 分数。为了让你理解，这显著优于组织者的基准系统（得分为 0.30），也优于使用 Llama 或 Gemma 等其他流行 AI 模型并采用相同方法的结果。

该系统在特定类型的问题上表现最为出色：

国家边界： 它获得了 0.95 的分数，这意味着它在列出邻国方面几乎达到了完美。
证券交易所： 它在寻找公司交易地点方面得分为 0.73。
面积： 它在计算地理区域大小方面得分为 0.77。

然而，该系统并非在所有领域都完美。它在场馆容量方面表现稍弱（得分为 0.23），经常会将一个小型的当地体育场与一个名字相似的著名体育场混淆。研究人员认为这是因为 AI 的内部记忆在处理非常具体的数字或罕见的“长尾”事实时并不总是足够精确。

这意味着什么（以及不意味着什么）

论文指出，从 AI 获取更好答案的关键不仅在于拥有更大的大脑，还在于以正确的方式提出正确的问题。通过强制 AI 进行“逐步思考”（使用思维链推理）并为不同类型的事实提供特定的策略，该系统可以提取出更准确的信息。

不过，作者也谨慎地指出，这并不是万灵药。该系统完全依赖于 AI 已经记忆的内容。如果 AI 不知道某个非常罕见实体（如一个小岛或一个次要奖项）的事实，系统无法凭空创造它。此外，由于 AI 是在特定的计算机芯片（TPUs）上运行，结果中存在极小的随机性，但这种随机性小到不会改变整体结论。

简而言之，REAP 表明，只要有一点结构化的引导和足够的耐心，我们就能从这些 AI 朋友那里诱导出更加可靠的事实，将他们混乱的记忆转化为整齐、可用的列表。

技术摘要：REAP —— 用于闭置式知识库构建的关系感知启发与解析

问题定义

本文针对 AKBC 2026 共享任务展开研究，该任务的核心在于如何在严格限制条件下，利用大语言模型（LLM）构建知识库。核心挑战在于闭置式知识库构建（Closed-Book Knowledge Base Construction, KBC）：系统必须在没有检索增强生成（RAG）或外部知识的情况下运行，且使用的模型参数量不得超过 320 亿，且不得进行微调。

不同于通常假设单一正确答案的事实探测，本任务需要处理主语-关系对 $(s, r)$ 的**变基数（variable cardinality）**问题。输出必须是一个有效的 JSON 数组，代表：

空集 ( $\emptyset$ )： 例如，没有陆地边界的国家（岛国）或在世的人。
单值对象： 例如，逝世者的死亡城市。
多值对象： 例如，一家公司所有挂牌交易的证券交易所或所有获奖者。

其难点在于如何同时实现潜在的长列表事实召回、处理精确的定量数值，并遵循严格的 JSON 模式，同时避免幻觉实体或遗漏有效答案。

方法论：REAP 系统

作者提出了 REAP（Relation-Aware Elicitation and Parsing，关系感知启发与解析），这是一个旨在将事实启发与答案序列化解耦的两阶段流水线。

1. 架构概述

第一阶段（生成与推理）： LLM 根据特定关系生成证据或推理链。如果输出无法解析，系统会采用重试机制或回退提示词。
第二阶段（解析与提取）： 系统将最终答案提取为 JSON 数组。这主要通过确定性正则表达式解析（处理约 80% 的记录）来确保格式合规。LLM 提取仅作为处理复杂输出时的备选方案。

2. 特定关系的提示词设计

REAP 对六个目标关系采用了专门的策略，而非通用的提示词：

awardWonBy（按年代的多轮处理）： 为了提高对拥有数百名获奖者的奖项的召回率，系统使用了六个不同的提示词：一次通用轮次和五次辅助轮次，分别覆盖特定年代（成立至 1970 年代、1980 年代至 1990 年代、2000 年代至 2010 年代、2020 年代以后，以及针对非西方/知名度较低获奖者的轮次）。
countryLandBordersCountry（四向扫描）： 模型扮演地理专家的角色，显式地扫描主体的东、西、南、北边界，以捕捉小型邻国和离散领土，同时明确排除海域边界。
companyTradesAtStockExchange（四步检查）： 包括一个“严格公开检查”（空集门控），用于识别私有公司或子公司，若实体未上市则返回空集。
hasArea 与 hasCapacity： 使用多步思维链（CoT）推理来消除实体歧义（例如，区分特定场馆与其同名的城市级场所）、归一化单位（转换为 $km^2$ ）并根据合理范围验证数值。
personHasCityOfDeath： 一个五步推理过程，首先检查主体是否在世（触发空集），然后再解决名称歧义并检索死亡城市。

3. 关键组件

基于推理的空集门控（Empty-Set Gate）： 受选择性预测启发，系统使用 CoT 来显式决定是否存在答案。如果证据不足或属性不适用（例如，在世的人），模型会输出 FINAL_ANSWER: [] 而不是幻觉出一个数值。
混合解析： 系统优先使用确定性正则提取而非 LLM 生成来完成最终的 JSON 格式，以最大限度减少模式违规。
后处理： 包括鲁棒的数组提取、数值归一化（去除千分位分隔符）以及噪声过滤（去除“Dr.”或“Sir”等头衔及括号内的限定词）。

实验设置

评估模型： Gemma-2-9B-it、Llama-3.1-8B-Instruct，以及 Mistral-Small-24B-Instruct-2501（选定为主要模型）。
硬件： 使用 vLLM 服务端的 TPU v5e-8。
数据： 由任务组织者提供的训练集、验证集和测试集，涵盖了所有三种基数情况（0, 1, N）。
指标： Macro-F1、Micro-F1、精确率（Precision）和召回率（Recall）。定量关系使用 5% 的相对容差。

结果

验证集与测试集的表现

零样本基准（Zero-Shot Baseline）： 在没有 REAP 流水线的情况下，模型的表现非常吃力（Macro-F1 $\approx$ 0.38–0.43），凸显了同时进行事实召回与格式遵循的难度。
REAP 流水线的影响： 两阶段流水线显著提升了所有模型的性能。
- Mistral-24B 取得了最佳效果，在验证集上从 0.43（零样本）提升至 0.65。
- 在官方测试集上，Mistral-24B 系统实现了 0.62 的整体 Macro-F1。
特定关系表现：
- 最强： countryLandBordersCountry (F1 = 0.95)、companyTradesAtStockExchange (F1 = 0.73) 和 hasArea (F1 = 0.77)。
- 最弱： hasCapacity (F1 = 0.23)，其中同名场馆的混淆以及严格的容差阈值导致了误差。
对比： 该系统比组织者的基准模型（Qwen3.5-9B, F1 = 0.30）性能提升了一倍以上，并超越了 Llama-3.1-8B 和 Gemma-2-9B 的流水线。

消融实验

研究证实了每个组件的必要性：

移除任务分解（多轮查询）： 导致 Macro-F1 下降 0.06，且在多值关系上的召回率严重下降。
移除空集门控： 由于在无法回答的实体上产生幻觉，导致 Macro-F1 下降 0.08。
完全移除 CoT 推理： 导致最大的跌幅（0.22），使性能降至零样本水平，证明了结构化推理是成功的核心驱动力。

意义与主张

论文声称，结构化推理对于在闭置式 KBC 环境下可靠地启发参数化知识至关重要。核心结论包括：

解耦是有效的： 将“思考”（启发）与“格式化”（解析）分离，能显著减少幻觉和模式违规。
关系感知至关重要： 通用提示词在处理变基数任务时会失败；需要专门的策略（如地理扫描、年代轮次）来最大化召回率。
模型容量限制： 虽然推理提示词有所帮助，但 9B 和 24B 模型之间存在明显的性能差距，这表明较大的模型能从结构化流水线中获益更多，尤其是在处理长尾实体时。
参数化知识的局限性： 系统承认，即使使用先进的提示词，对于极罕见实体的知识仍然是不完整的，且定量精度受限于模型的内部表示。

作者总结道，REAP 展示了一条在无需微调或外部检索的情况下，从 LLM 构建知识库的可行路径，前提是系统必须采用严密的、特定于关系的推理和确定性解析。