Retrieval-Augmented Question Answering over Scientific Literature for the Electron-Ion Collider

電子イオン衝突型加速器（EIC）の実験に関連する arXiv 論文をインデックス化した社内データベースとオープンソースの LLaMA モデルを組み合わせた Retrieval Augmented Generation（RAG）システムを開発し、機密性の高い未発表データを外部に送信することなく、核物理分野の専門的な質問にコスト効果的に回答するローカル環境でのソリューションを提案しています。

要約

この論文は、**「電子イオン衝突型加速器（EIC）」という、世界中の科学者たちが協力して行っている巨大な物理学の実験プロジェクトのために、「AI による質問応答システム」**を作ったというお話です。

専門用語を避け、誰でもわかるような比喩を使って解説しますね。

🏗️ 1. 背景：膨大な「科学の図書館」と AI の悩み

EIC という実験には、世界中の 190 以上の研究所が参加しており、毎日大量の論文や報告書が生まれています。これをすべて頭に入れておくのは、人間の研究者にとって大変なことです。

そこで、AI（大規模言語モデル）に「この実験について教えて！」と聞けばいいのでは？と考えました。
しかし、普通の AI は**「自信満々に嘘をつく（ハルシネーション）」**という癖があります。まるで、何も知らないのに「実はね、こうなんだよ」と勝手に話を捏造してしまうようなものです。科学の世界では、この「嘘」は許されません。

🛠️ 2. 解決策：「RAG」という「参考文献付きの勉強会」

そこで、この論文では**「RAG（検索拡張生成）」という技術を使いました。
これをわかりやすく言うと、「試験中に教科書やノートを持ち込んで、その中から答えを探して答える」**というスタイルです。

• 普通の AI: 記憶力だけで答える（間違えやすい）。
• このシステムの AI: 質問されると、まず「EIC に関する 178 本の論文」という**「自分だけの図書館」**から関連するページを探し出し、その内容だけを頼りに答えます。

🚀 3. 仕組み：どうやって動いているの？

このシステムは、以下のようなステップで動いています。

1. 本を切り刻む（チャンキング）:
   長い論文を、パズルのピースのように小さな断片（チャンク）に切り分けます。
   • 比喩: 長い物語を、1 ページずつのカードに書き写すイメージです。
2. 索引を作る（埋め込み）:
   各カードの内容を、AI が理解できる「数字の羅列（ベクトル）」に変換して、データベースに格納します。
   • 比喩: 図書館のカード索引のように、「このカードは『加速器の仕組み』についてだ」とラベルを貼る作業です。
3. 検索と回答:
   ユーザーが質問すると、AI はその質問も同じ「数字のラベル」に変え、図書館の中で一番似ているカード（論文の断片）を 20 枚ほど選び出します。
   • 重要: 選んだカードは、**「LangSmith」**というツールを使って、元の論文のどこから来たかを必ず記録します。これなら「どこから知ったのか」が証明できるので、嘘をつきにくくなります。
4. 回答生成:
   選んだカードの内容だけを見て、**「LLaMA」**というオープンソースの AI モデルが回答を作成します。

💡 4. 工夫と工夫の結果

このシステムには、いくつかの大きな特徴があります。

• クラウド不要で、自宅サーバーで動く:
  以前のシステムは、高価な有料の AI や、外部のクラウドを使っていたのですが、今回は**「安価で、データが外に出ない（セキュリティが高い）」**ように、自社のサーバーで完結させました。
  • メリット: 未公開の重要な研究データが、外部に漏れる心配がありません。
• 「LLaMA 3.2」を選んだ理由:
  実験では、より賢い「LLaMA 3.3」も試しましたが、答えを生成するまでの時間が**「10 倍も遅く」**なってしまいました。
  • 比喩: 3.3 は「天才だが、考えすぎて返事が遅い教授」、3.2 は「そこそこ賢くて、すぐに返事をくれる助手」のようなものです。チャットボットとしては、「3.2」の方が実用的だとわかりました。
• 紙のサイズ（チャンクサイズ）の工夫:
  論文を切り分けるサイズを「120 文字」と「180 文字」で試しました。
  • 結果: 「180 文字」の方が、文脈が途切れず、より正確な答えが得られました。 短いと「文脈が切れて意味がわからない」ことがあったからです。

📊 5. 評価：どれくらい上手い？

作ったシステムを、専門家が見た「正解のリスト」と比べて評価しました。

• 良い点: 答えが「どの論文から来たか」を正確に示せる（信頼性が高い）。
• 課題: 非常に複雑な科学的事実については、まだ完璧な答えが出せないこともあります（AI の能力限界）。

🌟 まとめ：この研究の意義

この論文は、**「科学者のための、安全で安価で、嘘をつかない AI 助手」**の設計図を示したものです。

将来は、PowerPoint やホワイトペーパーなども読み込めるようにし、さらに賢くしていく予定です。これにより、新しい研究者もベテラン研究者も、膨大な論文の海に溺れることなく、必要な知識をすぐに引き出せるようになるでしょう。

一言で言うと：

「科学の海で迷子にならないよう、『出典付き』で『安全』に答えをくれる、賢い図書館係の AIを作りましたよ！」

技術概要

電子イオン衝突型加速器（EIC）向け科学文献の検索拡張生成（RAG）による質問応答システムの技術的概要

本論文は、電子イオン衝突型加速器（EIC）実験に関連する専門的な科学文献に基づき、大規模言語モデル（LLM）を用いた信頼性の高い質問応答（Q&A）システムを構築するための研究を報告しています。特に、コスト効率とデータプライバシーを重視した、ローカルデプロイ可能なオープンソースベースの Retrieval-Augmented Generation（RAG）システムの設計、実装、および評価に焦点を当てています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

• ハルシネーション（幻覚）の問題: 既存の最先端 LLM は、インターネット上の膨大なデータで学習されていますが、専門的な科学分野において、流暢で自信満々であっても事実と異なる回答（ハルシネーション）を生成する傾向があります。
• EIC 実験の複雑さ: EIC は 190 以上の国際機関が参加する大規模プロジェクトであり、理論、シミュレーション、検出器設計、ハードウェア仕様など、多岐にわたる膨大な学術論文、技術設計報告、会議資料が生成されています。新規研究者やベテラン研究者がこれらの情報から迅速に重要な知見を抽出することは困難です。
• 既存システムの制約: 先行研究（AI4EIC）では、プロプライエタリなモデル（OpenAI GPT-4.5 など）とクラウドホスト型の外部知識ベースを使用していました。これには、コストの高さ、データプライバシーの懸念（未公開の科学データを外部に送信するリスク）、および運用の独立性の欠如という課題がありました。

2. 手法とシステムアーキテクチャ

本研究では、以下の 5 つの主要ステップからなる RAG パイプラインを構築しました。

1. 知識ベースの構築:
   • arXiv から収集した EIC 関連の論文 178 編を基に、社内データベースを構築しました。
   • 各論文のメタデータ（arXiv ID、著者、出版年など）をテキストチャンクに付加し、文脈の正確性と追跡可能性を向上させています。
2. チャンキング（文分割）:
   • LangChain の RecursiveCharacterTextSplitter を使用し、文書を 120 文字および 180 文字の「チャンク」に分割しました。
   • 連続するチャンク間に 20 文字のオーバーラップを持たせることで、意味の連続性を保ち、人工的な断片化を防ぎました。
3. 埋め込み生成:
   • MixedbreadAI が提供するオープンソースモデル mxbai-embed-large（1024 次元）を使用し、ローカル環境でテキストをベクトル化しました。API 依存を排除し、プライバシーを確保しています。
4. 検索とインデックス化:
   • 埋め込みベクトルを保存するために、FAISS、Pinecone、LanceDB、ChromaDB を比較検討し、ローカルデプロイによるプライバシー保護と LangChain へのシームレスな統合を理由に ChromaDB を選択しました。
   • ユーザーのクエリをベクトル化し、類似度検索（Cosine Similarity）および最大境界関連性（MMR）の 2 つの戦略を用いて、最も関連性の高いドキュメントを抽出します。
5. 回答生成と追跡:
   • 上位 20 件のチャンクをプロンプトに統合し、オンプレミスでデプロイされた LLaMA 3.2 または LLaMA 3.3 モデルに渡して回答を生成します。
   • 生成された回答の根拠を特定し、元の arXiv 論文への引用を可能にするため、観測プラットフォーム LangSmith を活用してパイプラインの全ステップをトレースしています。

3. 主要な貢献

• コスト効率とデータ主権の確保: 高価なプロプライエタリモデルやクラウドサービスに依存せず、オープンソースモデル（LLaMA）とローカルインフラのみで動作する RAG システムを実証しました。これにより、未公開の科学データを外部に送信することなく、データプライバシーを維持できます。
• 引用メカニズムの透明性: LangSmith を通じて、生成された回答がどの arXiv 論文のどの部分に基づいているかを明確に追跡・可視化し、科学的な信頼性を高めました。
• 専門分野への適応: 核物理学という極めて専門的な分野において、オープンソースモデルを用いた RAG の有効性を検証し、新規研究者のオンボーディングや既存研究者の情報検索を支援する実用的なツールを提供しました。

4. 結果と評価

システムは、RAGAS フレームワークを用いた 6 つの指標（文脈エンティティリコール、文脈精度、文脈リコール、回答関連性、回答正確性、忠実度）と、レイテンシ測定によって評価されました。

• レイテンシ（応答時間）:
  • 検索: チャンクサイズ（120/180 文字）や類似度指標（Cosine/MMR）による有意な差は見られず、検索レイテンシは約 0.11〜0.12 秒で安定していました。
  • 生成: モデル選択がレイテンシに大きな影響を与えました。LLaMA 3.2 は中央値 10〜20 秒で安定しており、LLaMA 3.3 は計算コストが高く、レイテンシが大幅に増加し、外れ値も多発したため、本研究では LLaMA 3.2 を採用しました。
• 性能評価（RAGAS）:
  • 文脈リコール: 180 文字のチャンクサイズでスコアが 1.0 に近く、高い性能を示しました。大きなチャンクが文脈の整合性を保つのに有効であることを示唆しています。
  • 忠実度（Faithfulness）: 180 文字のチャンクでは、多くのケースで 0.9 以上のスコアを達成し、ハルシネーションが抑制されていました。
  • 回答正確性（Answer Correctness）: 全体的にスコアは低めでした。これは、EIC 実験特有の複雑な事実関係と、軽量な LLaMA 3.2 モデルの限界によるものと考えられます。
  • 類似度指標: Cosine Similarity と MMR の間に明確な優位性の差は認められませんでした。

5. 意義と今後の展望

• 科学的協働の促進: 大規模な国際科学プロジェクトにおいて、AI による情報アクセスを容易にし、研究者の生産性を向上させる実用的なソリューションを提供しました。
• オープンソース・ローカルデプロイのモデルケース: 計算リソースが限られた環境や、データ機密性が重要な科学分野において、RAG システムを構築するための有効なアプローチを示しました。
• 今後の課題:
  • 知識ベースの拡張（PowerPoint プレゼンテーション、ウィキ、ホワイトペーパー、技術報告書などの異種データの統合）。
  • パイプラインのオーケストレーションを LangGraph フレームワークへ移行し、より複雑なワークフローを管理できるようにする。
  • 計算リソースの制約を克服し、より高性能なモデルの導入を検討する。

本論文は、専門的な科学分野において、ハルシネーションを抑制し、透明性とプライバシーを確保した AI 支援システムの構築可能性を証明する重要なステップとなっています。