論文「EVE: A Domain-Specific LLM Framework for Earth Intelligence」の技術的サマリー

本論文は、地球観測（EO）および地球科学分野に特化した大規模言語モデル（LLM）の開発・展開に向けた、オープンソースかつエンドツーエンドのフレームワーク「Earth Virtual Expert（EVE）」を提案しています。一般目的の LLM では対応が困難な専門性の高い知識の断片化や、意思決定者への信頼性の高い洞察提供という課題に対し、ドメイン適応、検索拡張生成（RAG）、ハルシネーション検出を統合したシステムを構築しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と課題（Problem）

地球観測および地球科学の研究は膨大な高価値知識を生み出していますが、以下の課題が存在します。

• 知識の断片化: 多様なソース（学術論文、機関レポート、百科事典など）や形式に知識が分散しており、実務家や意思決定者がアクセス・統合することが困難です。
• 専門性の壁: 情報を理解するには深い専門知識が必要であり、学際的な課題への対応が制限されています。
• 信頼性の欠如: 従来のシステムは情報を検索するだけで、異種ソースからの情報を解釈・推論して透明性のある科学的洞察を提供することができず、意思決定との間に「信頼のギャップ」が生じています。
• 一般モデルの限界: 既存の汎用 LLM は、地球科学特有の専門用語や厳密な事実性（Factuality）の保証において不十分であり、ハルシネーション（嘘の生成）のリスクが高いです。

2. 手法とシステム構成（Methodology）

EVE は、ドメイン特化型 LLM「EVE-Instruct」を中核とし、RAG パイプラインとハルシネーション検出機能を統合したモジュール型システムです。

2.1 データコーパスの構築

• ソース: 22 の信頼できる出版機関（MDPI, Copernicus, Wiley 等）から 172 のソースをスクレイピング。
• 規模: 合計 53 億トークン（オープンアクセス 42 億、Wiley 提携分 11 億）。
• 前処理: Trafilatura（HTML）と Nougat（PDF/OCR）を用いたテキスト抽出、重複除去、OCR ノイズの修正、LaTeX 構文の修復、個人情報（著者名・メール）の匿名化を実施。
• 公開: ライセンス条件を考慮し、オープンアクセス部分の 28 億トークンを公開。

2.2 モデル微調整（Fine-tuning）

• ベースモデル: Mistral Small 3.2（24B パラメータ、128k コンテキスト）。
• 戦略: 完全パラメータ微調整（LoRA）を採用。
  • データ合成: 107 億トークンの合成指令データセットを生成。
    • Long-form Text: 専門テキストと一般ドメインの再帰データ（Replay data）を混合。
    • Instruction-formatted Text: 文脈あり/なし QA、多段推論 QA、自己参照プロンプトなど多様なタスクを生成。
  • 学習の工夫: 事実性の獲得と指示追従能力の維持のトレードオフを解決するため、指令形式データと長文テキストを交互に学習。一般ドメインのデータ（Replay data）を混入して「破滅的忘却（Catastrophic Forgetting）」を防ぎ、汎用性を維持。
  • アライメント: オンライン直接選好最適化（ODPO）を用いて、フォーマットやスタイルの整合性を向上。

2.3 検索拡張生成（RAG）とハルシネーション検出

• 知識ベース（KB）: 約 36.5 万ドキュメントを Qdrant に格納（バイナリ量子化による高速化）。
• 検索パイプライン:
  1. クエリ書き換え（EVE-Instruct による文脈考慮）。
  2. 埋め込み類似度検索（Qwen3-Embedding-4B 使用）。
  3. 再ランク付け（Qwen3-Reranker-4B 使用）。
• ハルシネーション検出パイプライン:
  1. 生成された回答の事実確認（Fact-checking）を行い、ハルシネーションラベルを付与。
  2. 疑わしい場合は、新たな文書を検索し、回答の修正・再生成を行う。
  3. 元の回答と修正回答を比較し、事実性と証拠に基づいて最も信頼性の高い回答を選択。

2.4 評価ベンチマーク

• 地球観測・地球科学分野初の体系的な評価ベンチマークを構築（5,693 サンプル）。
• タスク: 多肢選択問題（MCQA）、オープンエンド QA、ハルシネーション検出、事実性評価。

3. 主要な貢献（Key Contributions）

1. EVE-Instruct: 地球知能（Earth Intelligence）に特化した 24B パラメータの LLM。
2. 大規模データセット: 28 億トークンの専門コーパスと、107 億トークンの合成指令データセットの公開。
3. 初の評価ベンチマーク: 地球観測・地球科学分野における手動作成の評価セット（MCQA, QA, 事実性など）。
4. 実用システム: RAG とハルシネーション検出を統合し、GUI/API 経由で提供されるプロダクションシステム。
5. オープンソース: モデル、データ、コードのすべてを Hugging Face と GitHub で公開。

4. 結果（Results）

• ドメイン性能: EVE-Instruct は、同サイズ（〜24B）のモデル（Llama4, Qwen3, Gemma3 等）および、より大規模なモデル（GPT-4.1, Qwen3-235B 等）と比較して、ドメイン固有のベンチマーク（MCQA、ハルシネーション検出、オープンエンド QA）で最高または競合する性能を示しました。
  • 特にハルシネーション検出タスクでは F1 スコアが最も高く、事実性と非事実性の識別能力が優れています。
• 汎用性の維持: ドメイン特化による汎用能力の低下は見られず、数学・推論、コーディング、ツール呼び出しなどの一般ベンチマークでもベースモデル（Mistral Small 3.2）を上回る、または同等の性能を維持しました。
• パイロット運用: 6 ヶ月間のパイロットで 350 人のユーザー（ESA 技術者、研究者など）に提供され、83.2% の対話で RAG パイプラインが有効に機能しました。

5. 意義と将来展望（Significance）

• 科学的信頼性の向上: 地球科学分野において、LLM が単なる情報検索ではなく、根拠に基づいた推論と事実性の高い回答を提供できることを実証しました。
• コストと効率: 大規模モデル（100B+）に匹敵する性能を、24B という比較的コンパクトなモデルで達成し、実用的なレイテンシとコストで展開可能であることを示しました。
• オープンエコシステム: 分野特化型 LLM の開発を加速させるため、データ、コード、評価基準をオープンに提供し、研究コミュニティへの貢献を意図しています。
• 将来の拡張: 現在はテキストベースですが、将来的には衛星画像や地理空間データと統合したマルチモーダル・エージェント型プラットフォームへの拡張を計画しており、「Earth Action（地球への具体的な行動）」を支援する意思決定システムの基盤となることが期待されます。

結論:
EVE は、地球観測分野における「知識の断片化」と「信頼性の欠如」という課題に対し、ドメイン特化型 LLM と RAG、ハルシネーション検出を統合した実用的な解決策を提示しました。その高い専門性と汎用性の両立、およびオープンソースとしての公開は、地球科学分野における AI 活用の新たな基準を設けるものです。