技術概要：Compass 専門家の指導による LLM エージェントを通じたグローバル海洋鉛データ統合のナビゲーション

問題定義

海洋鉛（Pb）およびその同位体は、海洋循環と人為的汚染の歴史を理解するための重要なトレーサーである。しかし、高品質の現地観測はコストが高く、データが希薄であり、歴史的データの大半は学術論文の非構造化テキスト、表、図の中に埋もれている。これにより、重要なデータセットがグローバル規模の統合分析から遮断される「データサイロ」問題が生じている。

既存の解決策は、主に以下の 2 つの限界に直面している：

1. 手動キュレーション：GEOTRACES のようなプログラムは高品質なデータ忠実性を保証するが、科学的文献の指数関数的成長に対しては労働集約的であり、拡張性が低い。
2. 自動抽出：汎用大規模言語モデル（LLM）やドメイン固有のファインチューニングモデルは、高リスクな科学的文脈において失敗することが多い。汎用 LLM はドメイン固有の論理的制約を欠いており、幻覚（ハルシネーション）や科学的に無効な出力（例：同位体表記の誤解や単位の換算ミス）につながる。一方、ファインチューニングモデルは、複雑な多段階ワークフローに必要な指示追従能力が低下することが多い。

核心的な課題は、汎用的な言語理解と海洋地球化学に必要な厳密な論理的制約の間のギャップを埋めることで、スケーラビリティと科学的厳密性の両方を達成することである。

手法：Compass フレームワーク

これらの課題に対処するため、著者らはCompassを提案する。これは、専門家による指導適応アプローチを具現化する LLM エージェントフレームワークである。ブラックボックス型のファインチューニングや非構造化の検索拡張生成（RAG）に依存するのではなく、Compass は知識木を介してドメイン専門知識をエージェントのワークフローに直接統合する。

1. 知識木の設計

海洋科学者との共設計により、知識木（$T$）は、ノードが特定のタスクまたはサブタスクを表す階層構造として定義される。各ノードは、4 次元の知識セット（$K$）に関連付けられている：

• 背景知識（$BK$）：ドメイン概念と用語。
• 論理的制約（$LC$）：有効な実行経路を定義する明示的なルールと条件依存関係。
• 運用ガイドライン（$OG$）：手順と出力形式の仕様。
• 検証基準（$VC$）：出力の正確性を検証するための品質指標と物理的制約チェック。

この構造は、エージェントが「何を」知るべきかだけでなく、「どのように」推論し、出力を検証すべきかを符号化しており、ワークフローの解釈可能性と科学的信頼性を保証する。

2. エージェントアーキテクチャ

Compass は、複雑なデータ統合タスクを 3 段階の階層的パイプラインに分解する：

• 収集フェーズ：論文分類コンポーネントがリポジトリ（例：Semantic Scholar, AceMap）から候補論文を検索し、知識木によって導かれた LLM を用いて、対象となる海洋 Pb データを含む論文を特定する。
• 抽出フェーズ：表分類コンポーネントが PDF 解析ツール（MinerU）を利用して表形式の内容を抽出する。その後、LLM が文脈情報（キャプション、説明）を用いて表を分析し、対象となるデータ表を分類・フィルタリングする。
• 集約フェーズ：3 つのコンポーネントが統合を処理する：
  • データ関連付け：論文内の関連要素をリンクする（例：脚注からの座標と Pb 測定値のマッチング）。
  • 異種ソース融合：異質な表ヘッダーを統一スキーマに正規化する。
  • データ標準化：LLM によって生成された変換関数を用いて、値を一貫した単位に変換する。

3. 検証メカニズム

Compass は、知識木の検証基準に基づいた多層検証戦略を採用する：

• 自動化された物理的制約チェック：抽出されたすべてのレコードは、値範囲の検証、単位換算の相互検証、地理的外れ値のフィルタリングを受ける。失敗が発生した場合、ロールバック機構が特定のサブタスクの再処理をトリガーし、エラーの伝播を防ぐ。
• 専門家による手動検証：層化無作為抽出されたサンプルを海洋科学者がレビューし、エンドツーエンドの精度を評価する。

主要な貢献

1. Compass フレームワーク：複雑な科学的ワークフローを階層的に分解し、異種学術ソースから微細なデータ（テキストと表）を正確に抽出・統合することを可能にする、知識木強化型の LLM エージェントの開発。
2. 専門家による指導適応：共設計された知識木を介して構造化された専門知識を注入することが、高コストなファインチューニングを必要とせずに、汎用 LLM と高リスクな科学ドメインの間のギャップを効果的に埋め得ることを示した実証。
3. 最大規模の統合海洋 Pb データベース：23 万を超えるオープンアクセス論文全体に Compass を展開し、以前は統合されていなかった 3,751 件の Pb レコードを回復させ、これまでにない最大規模の統合海洋 Pb データベースを確立したこと。

結果と性能

著者らは、10 カテゴリにわたる 337 の表からなるベンチマークデータセットを用いて、Compass を汎用 LLM（例：GPT-4o, Gemini-2.5-pro）およびドメイン固有のファインチューニングモデル（例：K2, OceanGPT）と比較評価した。

• ベンチマーク性能：Compass（Qwen2.5-32B をバックボーンとして使用）は、すべてのタスクで最高スコアを達成した。
  • 論文分類：96.0% の精度。
  • 表分類：94.7% の精度。
  • エンドツーエンド抽出：F1 スコア 0.465 を達成し、GPT-4o（0.373）および Gemini-2.5-pro（0.404）を上回った。
  • ファインチューニングモデルとの比較：OceanGPT などのドメイン固有モデルは低性能（F1: 0.009）であり、ファインチューニングのみでは多段階統合に必要な指示追従能力が低下することを浮き彫りにした。
• アブレーション研究：木構造の論理を除去すると F1 スコアは 0.402 に低下し、知識ノードを除去すると 0.381 に低下した。自動化された検証ロールバック機構を有効化すると、F1 スコアはさらに 0.619 に向上した。
• 展開規模：Compass は 23 万件の論文を処理し、110 件の関連論文を特定して 3,751 件の新規レコードを抽出した。
• データ品質：
  • 自動化チェックは、値範囲および地理的境界チェックで 100% の合格率、単位換算で 95% の合格率を達成した。
  • 22 論文（946 データポイント）のサブセットに対する専門家による手動検証により、92% の精度（95% 信頼区間：±1.7%）が確認された。
  • 誤差の主な原因は、意味的な混同（例：雨水サンプルを海水として誤分類）およびデータ関連付けの誤りであった。

意義と影響

著者らは、この研究が汎用 LLM と厳密な科学ドメインの間のギャップを埋めるための専門家指導型エージェントの実用性を示していると主張する。

• データ拡大：統合により、既存の GEOTRACES データセットに 16,455 件の新規レコードが追加され（86% の増加）、東シナ海、アラビア海、南極海などの未調査地域のカバレッジが大幅に拡大した。
• 科学的有用性：充実したデータセットは、全球 Pb 在庫推定、安定同位体比による発生源の特定、および鉛入りガソリンの世界的な段階的廃止に対する海洋の反応の調査を支援する。
• 効率性：このパイプラインには約 52 GPU 時間が必要であり、手動キュレーションと比較して 4 桁以上効率性が向上している。
• オープンサイエンス：著者らは、オープンな科学的アクセスと再現性を促進するため、インタラクティブな可視化プラットフォーム（JingWei）とコードベースを公開した。

本論文は、図の抽出や上流の PDF 解析依存性に関する限界が存在するものの、モジュール設計により将来の拡張が可能であると結論付けている。この研究は、地球科学におけるスケーラブルなデータ発見のための、ドメイン固有モデルのトレーニングに代わる実用的かつ低コストな代替手段を確立している。