技术摘要：知识图谱驱动神经科学领域的专家级推理

问题陈述

当前的大语言模型（LLM）通过在海量、异构的 Web 规模语料库上进行自上而下的预训练，在数学和编程等结构化领域实现了接近专家水平的性能。然而，这种方法往往难以获得神经科学等专门科学领域所需的深层、公理式理解。自上而下的训练依赖于表面层面的模式匹配和分布式的文本统计，当模型尝试复杂的多跳逻辑推导时，这经常导致幻觉和“奖励黑客”行为（即依赖表面相关性而非稳健推理）。此外，从非结构化文本中提取知识图谱（KG）的传统方法难以扩展，而提示生成式 LLM 进行提取往往会引入本体论不一致性，使得生成的图谱无法用于高风险的科学推理。

本研究解决的核心挑战是：如何在不依赖大规模、含噪的 Web 语料库或昂贵的推理轨迹人工标注的情况下，在紧凑的语言模型中诱导专家级的组合推理能力。

方法论

作者提出了一种端到端、自下而上的神经符号流水线，直接从单一权威教科书（Kandel 等人著的《神经科学原理》）中的领域特定原语合成训练任务。该方法分为两个 distinct 阶段：图谱蒸馏和课程学习。

1. 图谱蒸馏与扩展

• 种子 KG 提取：作者将教科书 PDF 解析为结构化文本单元。一个开放权重的 LLM（Qwen3-14B）基于包含 40 种神经科学特定关系类型的封闭词汇表，提取类型化实体和有向关系三元组。
• 双 LLM 验证：为确保事实保真度并消除幻觉，每个提取的三元组都经过“双 LLM 验证”策略。两个不同的开放权重 LLM（gpt-oss-20b 和 Mistral-Nemo-12B）独立根据教科书上下文验证三元组的准确性。仅当两个模型达成共识时，该三元组才会被保留。
• GraphMERT 扩展：为了将图谱扩展到显式陈述的事实之外，作者采用了 GraphMERT，这是一种高效的仅编码器架构。GraphMERT 在种子 KG 拓扑结构上进行训练，通过预测掩码关系来推断隐含的、机制性的推导。这些新关系经过同样的双 LLM 验证，最终形成一个包含 9,187 个节点和 19,755 个三元组的稠密 KG。

2. 课程生成

对验证后的 KG 进行遍历，生成分层的多项选择题（MCQ）课程，并配对思维链（CoT）推理轨迹。

• 路径剪枝：为避免组合爆炸和无信息路径，作者应用了中心节点移除、关系过滤（降低弱边权重）和传递冗余剪枝。
• 问答合成：该流水线生成的题目范围从 1 跳（原子事实）到 5 跳（复杂因果链）。最终课程包含约 1.4 万个 1 跳题目、3 万个 2 跳题目，以及用于 3 至 5 跳推理的评估集。

3. 训练流水线

训练在 140 亿参数模型（Qwen3-14B）上遵循两阶段过程：

• 监督微调（SFT）：模型在 1 跳和 2 跳问答题目（包括推理轨迹）上进行微调，使其扎根于领域公理，并使其与结构化的 <thought>/<answer> 格式对齐。
• 基于路径奖励的强化学习（RL）：使用组相对策略优化（GRPO），模型在 2 跳提示上进一步微调。关键在于，奖励信号直接源自 KG 拓扑结构，而非人类偏好。
  • 奖励函数：$R(O_i) = R_{correct}(O_i) + R_{path}(O_i)$。
  • $R_{correct}$：基于最终答案的二元奖励（+1.0/-1.0）。
  • $R_{path}$：一种密集的过程奖励，衡量模型生成的推理轨迹与真实 KG 路径之间的重叠。该奖励在答案正确性上是门控的（如果答案错误则奖励为零），并包含对令牌重复的惩罚。
  • 这种方法激励模型学习可验证的、逐步的推理路径，而无需对推理轨迹进行人工标注。

主要贡献

1. 可扩展的 KG 提取：将 GraphMERT 蒸馏方法适应于新的科学领域，从单一教科书中提取高度可靠的神经科学 KG，并通过双 LLM 共识过滤器进行验证。
2. 自下而上的课程：构建了一个完全基于可验证 KG 路径的综合问答课程（从 1 跳到 5 跳），摆脱了自上而下的预训练模式。
3. 路径奖励 RL：证明了当 140 亿参数模型使用 KG 衍生的隐式奖励在 2 跳路径上进行微调时，能够将组合推理泛化到 3 至 5 跳查询，在特定领域超越了前沿通用模型。

实验结果

该研究在 3 至 5 跳问题的测试集上评估了模型，将 140 亿参数的专用模型与基础 Qwen3-14B、仅 SFT 变体以及前沿专有模型（Gemini 3.1 Pro）进行了比较。

• 性能：最终的 SFT+RL 模型在 3 至 5 跳任务中实现了**89.5%**的平均准确率。这优于基础模型（78.1%）和仅 SFT 模型（87.3%）。
• 与前沿模型的比较：140 亿参数的专用模型在所有跳数深度上始终优于 Gemini 3.1 Pro（平均 84.8%）。随着复杂度的增加，性能差距扩大：3 跳时高出 3.8%，4 跳时高出 4.7%，5 跳时高出 5.8%。
• 组合泛化：SFT+RL 模型表现出每跳1.35 个百分点的归一化退化率（$\delta$），与基础模型（2.40）相比，误差累积减少了 44%；与 Gemini 3.1 Pro（2.35）相比，减少了 43%。这表明模型学会了有效地链接公理步骤，即使在 RL 阶段（仅使用 2 跳提示）未明确训练的推理深度（3-5 跳）上也能保持稳定。
• 定性分析：模型生成的推理轨迹被证明忠实地遍历了底层 KG 路径，展示了基于保留功能能力的结构化干扰项消除，这是专家临床推理的标志性特征。

意义与主张

该论文主张，领域特定的超级智能——即人工系统在狭窄学科中超越最佳人类专家——可以通过自下而上的神经符号课程在紧凑模型（140 亿参数）中涌现，而无需依赖大规模、异构的 Web 规模语料库。

作者认为：

1. 结构优于规模：在特定领域 KG 的验证拓扑结构中的显式 grounding 充当了“组合桥梁”，使较小的模型能够在专门推理任务中超越万亿参数级别的通用模型。
2. 过程优于结果：使用 KG 路径作为隐式奖励模型提供了密集的、可验证的过程监督。这减轻了“奖励黑客”现象，并迫使模型学习稳健的、逐步的推理，而非表面相关性。
3. 专家系统的可行性：神经科学中的深层、机制性理解可以仅利用单一权威教科书中包含的信息来诱导，这挑战了大规模预训练对于专门科学推理的必要性。

该研究得出结论：虽然推理时的扩展技术对通用模型有效，但它们无法凭空创造出训练期间未内化的领域知识。因此，结构化的、基于 KG 的课程是实现紧凑模型专家级推理的充分条件。