技術要約: PEARL – 科学的推論グラフ抽出のための監査可能な修復（Auditable Repair for Scientific Reasoning Graph Extraction）

問題提起

科学的推論グラフ抽出（SRGE）は、科学文献から、観察、証拠、中間的な主張、および論文レベルの結論間の構造化されたリンクを復元することを目的としている。大規模言語モデル（LLM）は、意味的に有用なノードとエッジを持つグラフのような説明を生成できるが、その生の出力は、信頼性の高い科学的ワークフローに求められる厳格な基準を満たさないことが多い。一般的な失敗モードには、不正な構文（例：無効なDOT形式）、エッジラベルのドリフト、ルートの向きの誤り、エンドポイントの欠落、およびソースアンカーの脆弱性などが含まれる。

現在のアプローチはジレンマに直面している。解析、修復、および評価が混同されている場合、パイプラインは救済可能なグラフ素材を破棄してしまうか、あるいは元のモデルの出力を反映しなくなるようなグラフを密かに再生成してしまう可能性がある。生のLLMレスポンスを、信頼されたアーティファクトとしてではなく、修復のための条件付き構造素材として扱うフレームワークが不足しており、これにより、意味的な妥当性が一致した判定フィードバックおよび再評価と結び付けられることが保証されていない。

手法: PEARLフレームワーク

PEARL（Peircean Extraction via Abstraction and Repair Layer）は、ノイズの多いLLMグラフレスポンスを、監査可能で意味的に妥当な推論グラフに変換するために設計された、トレーニングフリーのフレームワークである。これは、構造的な許容性と意味的な妥当性を、段階的なパイプラインを通じて分離する。

1. ソース参照型グラフ契約

PEARLは、以下の要素を持つ有向推論グラフ $\mathcal{G}=(p, \mathcal{V}, \mathcal{E}, r)$ を定義する：

• ノードは、ローカル識別子、自然言語テキスト、およびソース論文の特定の文章、視点、または意見を指し示すソース参照タプル $(x, y, z)$ を含む。
• エッジは、閉じたパースリーアン（Peircean）分類体系 $\{ded-rule, ded-case, ind-common, ind-case, abd-phen, abd-know\}$ を用いて型付けされる。
• 制約として、閉じたエッジラベル、既知のエンドポイント、自己ループの禁止、および単一の終端ルートを要求する。「推論ユニット」は、整合性のあるパターンを形成する有効なパースリー・エッジを持つターゲットノードとして定義される。

2. 許容度を考慮した構造的具現化（ステージ1）

パイプラインは、生のレスポンスからグラフ状の領域を抽出し、厳密なDOTパースを試みる。パースに失敗した場合、対応するノードとエッジがレスポンスの表面に存在することを条件として、DOTに似た形状、緩いデリミタ、および明示的なXML/plistフィールドを受け入れる、構文耐性のあるリカバリパスを呼び出す。極めて重要な点は、このステージでは、欠落している科学的ノードを捏造したり、省略されたエッジを合成したり、部分的に指定された主張を補完したりはしないことである。出力は、ストレージ用の足場（例：エンジニアリング集約ルート）と評価用のビューを分離した、標準的なグラフ表現へと正規化される。

3. 決定論的スキーマ修復

意味的な判断の前に、PEARLはスキーマの破損に対処するために決定論的な修復を適用する：

• エッジラベルの別名を、閉じたパースリー分類体系へと正規化する。
• 要素の重複排除、および無効なエンドポイントや自己ループの削除を行う。
• 固定された優先順位ルールに基づき、ルートの向きを修復する。
• すべての操作を監査メタデータとして記録する。
  もし構造的制約を満たすためにサポートされていない推論が必要な場合、パイプラインは、それを意味的な修正として扱うのではなく、型付きの失敗として記録する。

4. ジャッジフィードバックによる意味的修復（ステージ2）

このステージは、リリースされたソースグラフおよび一致する論文の証拠に基づいて動作する：

• 評価: システムはソース評価を実行し、コンテンツ接地性（CG）および推論エッジ精度（REA）を取得するとともに、推論ユニットに関するローカルな判定結果を得る。
• 投票ガイド付き修復: 多数決で正しいとされた推論アンカーがグラフのバックボーンとして保持される。拒絶されたユニット（エッジの型、推論ステップ、またはルート）は、一致するローカルな判定フィードバックに基づいて修復される。
• 再評価: 修復されたグラフは、同一のプロトコル下で再評価される。変更されていない、以前に受け入れられた推論のみがクリーンな投票を保持し、すべての修復されたコンポーネントは再度判定されなければならない。

5. 最終ゲートおよびプロベナンス監査

候補は、CG = 1.0 かつ REA = 1.0 という最終ゲートを満たす場合にのみ厳格に受理される。

• このゲートに失敗したサンプルには、破棄されるのではなく、型付きの残留ラベルが付与される。
• プロベナンス（由来）は、ソース論文に対するトークンF1およびノード・トゥ・スパン包含スコアを用いて別途監査される。
• MiniCheckは、ソース接地性の診断のための外部補完として使用されるが、厳格な受理ゲートではない。

主要な貢献

1. トレーニングフリーの具現化フレームワーク: PEARLは、微調整を行うことなく、異種混合のLLMグラフレスポンスを閉じたパースリー・スキーマの下で監査可能なアーティファクトに変換する手法を定義する。
2. ジャッジフィードバックによる修復メカニズム: 拒絶されたローカルな推論ステップ、エッジの型、および終端ルートを、ログに記録されたローカル操作を介して修正し、かつ再評価を行うことで、制御されていない全グラフの再生成を回避する、意味的な正しさのための修復プロセスを導入する。
3. 実証的検証: 本フレームワークは、5つの異なるLLMアーカイブにおけるARCHEベンチマーク上で評価され、厳格な意味的妥当性と、リサーチエージェントのワークフローに適したグラフ出力のリリースにおいて大幅な改善を示した。

実験結果

評価は、ARCHEベンチマークから350行（5モデル $\times$ 論文70件ずつ）を用いて行われ、Claude Sonnet 4.5、Gemini 3.1 Pro Preview、GPT-5.2、Grok 4.1 Thinking、およびQwen3.5-397B-A17Bを対象とした。

• 厳格ゲート通過率: LLMのベースラインは 0/350 の通過を実現した。PEARLはこれを 300/350 まで改善した。
• 指標の改善:
  • 平均コンテンツ接地性（CG）は 0.827 から 0.896 に向上した。
  • 平均推論エッジ精度（REA）は 0.339 から 0.906 へと大幅に向上した。
• モデル性能: GPT-5.2が最高の性能を示し、70行中68行で厳格ゲートに到達し、最終的なREAは1.000に達した。他のモデルも様々な程度の改善を示したが、いずれもゼロのベースライン通過数から、少なくとも53回の通過へと移行した。
• 残留分析: 通過できなかった50行のうち、主な原因は信頼できる修復アンカーの不在（31行）であり、次いで最終的なメトリックゲートの失敗（13行）であった。これは、ボトルネックが修復メカニズム自体よりも、上流のソース・リンクのリカバリにあることが多いことを示している。
• アブレーション研究: ルート構築または反復的フィードバックを除去すると、通過率が著しく低下した（例：「ルートのみ」は、フルPEARLの300/350に対し、102/350の通過となった）。これは、ローカルな推論エラーが上方へ伝播し、ルートの修復だけでは解決できないことを裏付けている。

意義と主張

本論文は、PE、監査可能な推論トレースを必要とするリサーチエージェントやAIサイエンティストのワークフローに対して、PEARLが不可欠な「信頼性レイヤー」を提供すると主張している。生のLLM出力を信頼されたアーティファクトではなく、修復のための条件付き素材として扱うことで、PEARLは以下を保証する：

• グラフ出力は、単に構文的に解析可能であるだけでなく、厳格なゲートに従って意味的に妥当であること。
• 修復プロセスは、構造的な正規化と意味的な修正を区別する監査証跡を保持すること。
• パイプラインが、元のモデルの出力を反映しなくなるようなグラフを生成してしまう「サイレント再生成」の問題を防ぐこと。

著者らは、PEARLがLLM生成の推論グラフの有用性を大幅に向上させる一方で、現在はARCHEのパースリー・スキーマおよびテキストのみのアーカイブに限定されていることを強調している。新しいスキーマやマルチモーダルな証拠への移植には、バリデータおよび証拠チェックの改訂が必要となる。結論として、グラフ状のLLM出力は、実用的な科学的抽出ワークフローに安全に統合される前に、監査された修復を必要とする。