技術的概要：神経科学における知識グラフ駆動の専門家レベル推論

問題定義

現在の大規模言語モデル（LLM）は、数学やプログラミングといった構造化された領域において、大規模で多様なウェブ規模のコーパスを用いたトップダウン型事前学習を通じて、専門家レベルに近い性能を達成している。しかし、このアプローチは、神経科学のような専門的な科学分野に必要な、深層的かつ公理的な理解を獲得するにはしばしば失敗する。トップダウン型学習は、表面レベルのパターンマッチングと分布的なテキスト統計に依存しており、モデルが複雑な多段論理推論を試みる際、幻覚や「報酬ハッキング」（堅牢な推論ではなく表面的な相関に依存すること）を引き起こす傾向がある。さらに、非構造化テキストから知識グラフ（KG）を抽出する従来の手法はスケーリングが困難であり、生成型 LLM を抽出に用いると、存在論的不整合が生じやすく、その結果得られるグラフは高リスクな科学推論には不適切となる。

ここで扱われる中心的な課題は、大規模でノイズの多いウェブコーパスや、推論痕跡に対する高価な人間によるループ内注釈に依存することなく、コンパクトな言語モデルに専門家レベルの構成的推論を誘発する方法である。

手法

著者らは、単一の権威ある教科書（Kandel らによる『Principles of Neural Science』）に見られるドメイン固有のプリミティブから直接トレーニングタスクを合成する、エンドツーエンドのボトムアップ型ニューロシンボリックパイプラインを提案する。この手法は、グラフ蒸留とカリキュラム学習の 2 つの明確な段階で動作する。

1. グラフ蒸留と拡張

• シード KG 抽出: 著者らは教科書の PDF を構造化されたテキスト単位に解析する。オープンウェイトの LLM（Qwen3-14B）が、40 種類の神経科学固有の関係タイプからなる閉じた語彙に基づき、タイプ付けされたエンティティと有向関係トリプルを抽出する。
• デュアル LLM 検証: 事実の忠実性を確保し、幻覚を排除するため、抽出された各トリプルは「2 つの LLM による検証」戦略を経る。2 つの異なるオープンウェイト LLM（gpt-oss-20b および Mistral-Nemo-12B）が、教科書の文脈に対してトリプルの正確性を独立して検証する。トリプルは、両方のモデルが合意した場合にのみ保持される。
• GraphMERT による拡張: 明示的に述べられた事実を超えてグラフを拡張するため、著者らは効率的なエンコーダのみのアーキテクチャである GraphMERT を採用する。シード KG のトポロジー上でトレーニングされた GraphMERT は、マスクされた関係を予測することで、暗黙的な機械論的導出を推論する。これらの新しい関係も同様にデュアル LLM 検証を受け、9,187 ノードと 19,755 トリプルからなる高密度な KG が生成される。

2. カリキュラム生成

検証済みの KG を走査し、多肢選択問題（MCQ）と思考の連鎖（CoT）推論痕跡をペアにした階層化されたカリキュラムを生成する。

• パス剪定: 組み合わせ爆発と情報量の少ないパスを回避するため、著者らはハブノードの除去、関係のフィルタリング（弱いエッジの重み低下）、および推移的冗長性の剪定を適用する。
• QA 合成: パイプラインは、1 ホップ（原子的事実）から 5 ホップ（複雑な因果連鎖）までの項目を生成する。最終的なカリキュラムには、約 14,000 件の 1 ホップ項目、30,000 件の 2 ホップ項目、および 3 ホップから 5 ホップの推論用の評価セットが含まれる。

3. トレーニングパイプライン

トレーニングは、140 億パラメータのモデル（Qwen3-14B）上で 2 段階のプロセスに従って行われる。

• 教師あり微調整（SFT）: モデルを 1 ホップおよび 2 ホップの QA 項目（推論痕跡を含む）で微調整し、ドメインの公理に根ざさせ、構造化された <thought>/<answer> 形式に適合させる。
• パス派生報酬を用いた強化学習（RL）: グループ相対方策最適化（GRPO）を用いて、モデルを 2 ホップのプロンプトでさらに微調整する。重要なのは、報酬信号が人間の好みではなく、直接 KG トポロジーから導出される点である。
  • 報酬関数: $R(O_i) = R_{correct}(O_i) + R_{path}(O_i)$。
  • $R_{correct}$: 最終回答に基づく二値報酬（+1.0/-1.0）。
  • $R_{path}$: モデルが生成した推論痕跡と真の KG パスとの重なりを測定する密なプロセス報酬。この報酬は回答の正誤にゲートされ（回答が誤っている場合は報酬ゼロ）、トークンの繰り返しに対するペナルティを含む。
  • このアプローチは、推論経路の人間による注釈を必要とせず、モデルに検証可能なステップバイステップの推論パスを学習させることを促進する。

主要な貢献

1. スケーラブルな KG 抽出: 新たな科学分野への GraphMERT 蒸留アプローチの適応。単一の教科書から極めて信頼性の高い神経科学 KG を抽出し、デュアル LLM 合意フィルタを通じて検証する。
2. ボトムアップ型カリキュラム: 検証可能な KG パスに完全に根ざした包括的な QA カリキュラム（1 ホップから 5 ホップ）の構築。トップダウン型事前学習からの脱却。
3. パス報酬付き RL: 2 ホップパスを用いて KG 派生の暗黙的報酬で微調整された 140 億パラメータモデルが、3 ホップから 5 ホップのクエリに対して構成的推論を一般化し、特定分野において最先端の汎用モデルを上回ることを実証。

実験結果

本研究は、3 ホップから 5 ホップの質問からなるテストセットでモデルを評価し、140 億パラメータの専門モデルを、ベースの Qwen3-14B、SFT のみのバリアント、および最先端の専有モデル（Gemini 3.1 Pro）と比較した。

• 性能: 最終的な SFT+RL モデルは、3 ホップから 5 ホップのタスク全体で平均精度 89.5% を達成した。これはベースモデル（78.1%）および SFT のみのモデル（87.3%）を上回った。
• 最先端モデルとの比較: 140 億パラメータの専門モデルは、すべてのホップ深度において Gemini 3.1 Pro（平均 84.8%）を一貫して上回った。性能差は複雑さが増すにつれて拡大した。3 ホップで +3.8%、4 ホップで +4.7%、5 ホップで +5.8% の差であった。
• 構成的一般化: SFT+RL モデルは、ホップあたり 1.35 パーセントポイント の正規化された劣化率（$\delta$）を示した。これはベースモデル（2.40）と比較して誤り蓄積が 44% 減少、Gemini 3.1 Pro（2.35）と比較して 43% 減少した。これは、モデルが公理的なステップを効果的に連鎖させ、RL 段階（2 ホッププロンプトのみを使用）で明示的にトレーニングされていなかった推論深度（3〜5 ホップ）においても安定性を維持することを示している。
• 定性的分析: モデルによって生成された推論痕跡は、基盤となる KG パスを忠実に走査することが示された。これは、保存された機能的な能力に基づいて、専門家の臨床推論の印である邪魔な要素を構造的に排除するものである。

意義と主張

本論文は、ドメイン固有の超知能（狭い分野において人工システムが最高の人間専門家を上回る状態）が、大規模で多様なウェブ規模のコーパスに依存することなく、ボトムアップ型のニューロシンボリックカリキュラムを通じてコンパクトなモデル（140 億パラメータ）で出現し得ることを実証すると主張する。

著者らは以下を論じる。

1. 規模より構造: ドメイン固有の KG の検証済みトポロジーへの明示的な根拠付けは「構成的架け橋」として機能し、より小さなモデルが専門的な推論タスクにおいて、数兆パラメータの汎用モデルを上回ることを可能にする。
2. 結果よりプロセス: KG パスを暗黙的報酬モデルとして使用することは、密で検証可能なプロセス監視を提供する。これにより「報酬ハッキング」を緩和し、モデルに表面的な相関ではなく、堅牢なステップバイステップの推論を学習させる。
3. 専門システムの実現可能性: 神経科学における深層的かつ機械論的な理解は、単一の権威ある教科書に含まれる情報のみを用いて誘発可能であり、専門的な科学推論に対する大規模事前学習の必要性に疑問を呈する。

本研究は、推論時のスケーリング技術が汎用モデルには有効であるが、トレーニング中に内部化されていないドメイン知識を生み出すことはできないと結論づける。したがって、構造化された KG に根ざしたカリキュラムは、コンパクトなモデルで専門家レベルの推論を達成するための十分条件である。