📄 other

A Biomedical Benchmark and Modular RAG Framework for Text2Cypher

本文介绍了 bio2C，这是一个包含 2,500 个经人工校验的自然语言-Cypher 对的符合 FAIR 标准的基准测试，以及一个模块化检索增强生成框架，该框架通过利用检索到的示例而非基于模式的提示，显著提高了生物医学知识图谱的 Text2Cypher 准确率。

原作者： Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一座宏大而繁忙的图书馆，每一本书、每一位作者和每一个角色都由隐形的线索相互连接。这不仅仅是一座普通的图书馆，它是生命本身的图书馆，保存着我们基因、疾病和药物的秘密。科学家们称之为“生物医学知识图谱”。它就像一张巨大的、活生生的地图，其中一个“基因”节点可能与一个“疾病”节点相连，而该节点又与一个“药物”节点相连。问题在于，这座图书馆没有一位能说你所用语言的友好图书管理员。要提出诸如“哪些药物可能对这种特定疾病有效？”之类的问题，你必须使用一种被称为“Cypher”的秘密代码语言。这就像是试图通过编写计算机程序而不是直接说“我要一份意大利腊肠比萨”来订购比萨一样。大多数医生和研究人员并不会说这种代码，因此他们无法轻松地探索这座图书馆的宝藏。

于是，故事中的英雄登场了：大语言模型（LLM）。你可能知道它们是那些可以写故事或回答常识问题的超级智能 AI 聊天机器人。科学家们一直试图教这些 AI 充当翻译官，将我们的自然语言问题转化为这座图书馆能理解的秘密 Cypher 代码。这被称为“Text2Cypher”。但问题在于，要在医学领域教 AI 做这件事，就像是尝试用一本破损的说明书教狗下国际象棋。我们缺乏足够的优质示例，而且我们用来检查 AI 工作成果的测试往往过于简单，或者是由计算机生成的，忽略了现实中复杂且混乱的医疗问题。如果没有一份好的地图和公正的测试，我们就无法确定 AI 究竟是在真正学习，还是仅仅在瞎猜。

本论文引入了一份全新的、高质量的地图和一个严谨的测试场来解决这个问题。研究人员创建了 bio2C，这是一个由 2,500 对精心手工制作的自然语言问题及其正确 Cypher 答案组成的基准测试集。不同于以往依赖计算机生成模板的尝试，这些问题是根据科学家的真实思维方式编写的，涵盖了从简单的查找任务到涉及基因、疾病和生物过程的复杂多步调查。研究人员将这些问题分为五个难度等级，从寻找单个项目到在图中进行三步跳转并执行高级计算。

为了观察不同的 AI 策略效果如何，团队构建了一个模块化框架来测试各种“提示”（prompting）技术。他们比较了三种主要方法：

仅架构（Schema-only）： 只给 AI 提供图书馆结构的蓝图，但不提供任何示例。
检索增强生成（RAG）： 给 AI 提供来自 bio2C 集合中一些相似的问题和答案示例，以便其学习。
混合模式（Hybrid）： 将蓝图与示例结合起来，有时甚至向 AI 展示这些示例查询的结果。

他们使用既有强大的商业 AI 模型（如 GPT-4），也有开源模型（如 LLaMA），并分别在经过额外训练（微调）和未经过微调的情况下测试了这些方法。

结果清晰且令人惊讶。论文发现，仅仅向 AI 展示数据库结构的蓝图是不够的。相反，最有效的策略是检索具有代表性的示例。当 AI 被展示了相似的、现实世界的问答示例（Relying on RAG）时，其表现显著优于仅拥有结构蓝图的情况。事实上，对于表现最好的配置，这种方法比标准的基于架构的方法在生成查询的准确率上提高了 31.6 个百分点。

有趣的是，论文指出，对于经过微调（专门针对 bio2C 数据进行训练）的模型，展示相似的示例非常有帮助，以至于它们甚至不需要结构蓝图就能发挥出巅峰水平。然而，对于未经微调的模型，将蓝图与示例相结合（S+RAG）效果最好。研究还表明，这种方法在处理复杂的、多步骤的问题（如 3 跳查询）时表现尤为出色，因为示例能帮助 AI 比静态的数据库描述更好地理解问题的“形状”。

研究人员还在另一个较小的数据库上测试了他们的系统，并使用了由一位从未见过其训练数据的独立生物学家编写的问题。系统表现良好，这表明这些改进不仅仅是靠死记硬背测试题的技巧，而是真正有助于 AI 理解如何在现实世界的复杂生物医学数据中进行导航。论文总结道，拥有一个高质量、多样化且由人工策划的基准测试，比单纯拥有大量的示例更为重要；而向 AI 展示正确类型的示例，是解锁其将人类好奇心转化为机器可读答案能力的关键。

技术摘要：用于 Text2Cypher 的生物医学基准测试与模块化 RAG 框架

问题陈述

生物医学知识图谱（bioKGs）对于整合诸如基因组相互作用和药物-靶点关系等异构数据至关重要。虽然属性图数据库（如 Neo4j）通过 Cypher 语言提供了高效的存储和查询能力，但编写 Cypher 查询对技术专业知识的要求限制了其在领域专家中的可访问性。尽管大语言模型（LLMs）在将自然语言（NL）问题转化为 Cypher（Text2Cypher）方面展现出潜力，但生物医学领域的进展受到缺乏代表性基准测试和可复现评估框架的阻碍。现有的基准测试通常是基于模板生成的，缺乏查询复杂性的多样性，或包含的策划数据不足以支持稳健的训练与评估。此外，当前的 Text2Cypher 方法难以应对属性图带来的特定挑战，即需要推断图遍历、关系方向以及复杂的构建（例如，变长路径、聚合），这些与 Text2SQL 或 Text2SPARQL 任务显著不同。

研究方法

bio2C 基准测试

作者引入了 bio2C，这是一个符合 FAIR 原则的生物医学基准测试，包含 2,500 个人工策划的 NL-Cypher 对。与以往注重数量的资源不同，bio2C 专注于代表性和标注质量。

源数据： 该基准测试基于 RNA-KG 的视图，RNA-KG 是一个大型生物医学知识图谱，包含约 99,000 个节点和 160 万个关系，涉及 miRNA、基因、疾病、表型和基因本体论（Gene Ontology）注释。
结构： 2,500 个配对被组织为五个复杂度等级（每级 500 个配对）：
1. 节点（Node）： 带有逻辑条件的单节点检索。
2. 1 跳（1-hop）： 关于节点对之间关系的查询。
3. 2 跳（2-hop）： 涉及三个节点和两个关系的遍历。
4. 3 跳（3-hop）： 涉及四个节点和三个关系的深层遍历。
5. 高级（Advanced）： 利用复杂 Cypher 构建（WITH, REDUCE, CASE, 聚合, 排序）的查询。
策划过程： 每个实例的开发过程是：首先识别图模式，然后实现语法正确且具有生物学相关性的 Cypher 查询，最后制定反映真实生物医学信息需求（而非模板生成表达式）的 NL 问题。所有查询均针对 RNA-KG 视图进行了验证，以确保语义正确性。

模块化 RAG 框架

为了系统地评估检索增强策略，作者设计了一个由六种提示配置组成的模块化框架。这些流水线增量地结合了三种上下文信息源：

图模式（Graph Schema, $G_S$ ）： 属性图模式描述（使用增强模式范式）。
检索到的示例（Retrieved Examples）： 从 bio2C 向量数据库中检索到的语义相似的 NL-Cypher 对（RAG）。
执行输出（Execution Outputs）： 执行检索到的 Cypher 查询的结果（ $R(Q_C)$ ）。

六种评估的流水线分别为：

Vanilla（基础版）： 仅 NL 问题。
Schema（模式版）： NL 问题 + Schema。
RAG（检索增强版）： NL 问题 + 检索到的示例。
RAG+O： NL 问题 + 检索到的示例 + 执行输出。
S+RAG： Schema + 检索到的示例。
S+RAG+O： Schema + 检索到的示例 + 执行输出。

实验设置

该框架使用专有模型（GPT-4o, GPT-4o-mini）和开源模型（LLaMA-3.1-8B）及其在 bio2C 上微调（FT）后的对应模型进行评估。性能衡量指标包括：

Jaro-Winkler (JW)： 语法相似度。
Jaccard (Jac)： 执行输出的语义相似度。
覆盖率 (Coverage, Cov)： 生成的查询返回的真值结果比例（执行准确度）。
通过率 (Pass)： 当覆盖率等于 1 时的指示函数（完全语义覆盖）。

关键结果

RAG 流水线的性能

检索 vs. Schema： 在所有模型和指标中，检索代表性的 NL-Cypher 示例（RAG）的表现始终优于仅使用模式的提示（Schema-only）。
微调 vs. 提示工程： 虽然微调后的模型通常实现了更高的准确度，但丰富的提示工程配置（特别是 S+RAG+O）显著缩小了基座模型与微调模型之间的性能差距。例如，配备 S+RAG+O 的 GPT-4o 达到了 76.9% 的覆盖率和 83.1% 的通过率，超过了在 Vanilla 提示下的微调后 GPT-4o（76.1% 和 80.0%）。
最佳配置： 整体表现最好的配置是 GPT-4oFT 配合 RAG，其 Pass 分数达到了 89.3%。值得注意的是，对于微调模型，仅 RAG 流水线通常就优于结合了 Schema 和示例的组合，这表明微调模型可以直接从示例中推断出 Schema 约束。
执行输出的影响： 包含执行输出（RAG+O, S+RAG+O）带来了额外的收益，特别是对于基座模型，通过提供关于预期结果的语义引导。

泛化性与鲁棒性

盲测验证： 在由一名分子生物学家独立提出的 50 个问题上进行测试时，GPT-4oFT 配合 RAG 流水线实现了 73.4% 的覆盖率和 70% 的通过率，证明了其对真实世界用户查询的泛化能力。
跨数据集评估： 框架在 MedT2C（一个基于 Hetionet 的数据集）上进行了测试。尽管 MedT2C 的 Schema 较简单且示例较少，但趋势保持一致：带有检索示例的流水线优于 Vanilla 和 Schema-only 方法。最佳配置（GPT-4oFT 配合 S+RAG）达到了 88.8% 的覆盖率。
查询类别影响： 性能随查询复杂度而变化。Node 和 3-hop 查询产生了最高的 Pass 分数（92%），而 1-hop 和 Advanced 查询较低（78%）。分析表明，RAG 对于结构丰富的多跳查询特别有效，因为检索到的示例通常与目标查询共享子结构；而 1-hop 查询经常检索到不符合要求的示例，从而导致性能下降。

错误分析

表现最佳的设置（GPT-4oFT 配合 RAG）消除了所有的编译时错误（CE），并将逻辑错误（LE）相比 Vanilla 提示减少了 91.4%。剩余的错误主要集中在 Advanced 和 1-hop 类别中，通常是由于幻觉或对复杂聚合的误解所致。

重要性与贡献

本文声称对生物医学 Text2Cypher 领域有两个主要贡献：

bio2C 基准测试： 第一个专门为 Text2Cypher 设计的符合 FAIR 标准的生物医学基准测试，提供了对真实生物医学知识图谱 Schema 和渐进式复杂 Cypher 构建的系统性覆盖。作者认为，基准测试的质量和多样性比单纯的数量更重要，因为人工策划显著提高了模型性能和覆盖率，优于自动生成的数据集。
模块化 RAG 框架： 一个可复现的评估框架，能够隔离 Schema 信息、检索示例和执行输出各自的贡献。该框架为未来的研究建立了强大的基准线，并证明了精心策划的检索示例能显著提升生物医学知识图谱中的 Cypher 生成能力，往往优于基于 Schema 的提示策略。

研究结论指出，高质量、经过策划的基准测试和具有代表性的检索示例，对于开发可靠的 Text2Cypher 系统至关重要，能够使领域专家无需深厚的专业技术背景即可查询复杂的生物医学知识图谱。该基准测试、源代码及评估后的流水线均已公开。