🤖 AI

MPR-CiteG: Enhancing RAG with Multi-Portfolio Retrieval and Citation-Grounded Generation

本論文は、検索効率を向上させ、明示的なソースへの帰属を通じて事実の一貫性を確保することで、ハルシネーションを抑制し、ScienceON AIチャレンジで第2位を獲得した、マルチポートフォリオ検索（Multi-Portfolio Retrieval）と引用に基づく生成（Citation-Grounded Generation）を組み合わせた二成分フレームワークであるMPR-CiteGを紹介するものである。

原著者： Hyewon Lee, Minkyung Song, Junghyun Oh, Seunghoon Han, Sungsu Lim

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyewon Lee, Minkyung Song, Junghyun Oh, Seunghoon Han, Sungsu Lim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

例えば、踊ることができるロボットの作り方のような、非常に複雑なトピックについて学校のレポートを書こうとしている場面を想像してみてください。あなたの手元には膨大な数の図書室の本がありますが、それらはバラバラに混ざっており、中には異なる言語で書かれたものもあります。もし、ただ超スマートなAIに自分の記憶だけでレポートを書かせたら、本当らしく聞こえるけれど実は間違っている、もっともらしい嘘をついてしまうかもしれません。これは「ハルシネーション（幻覚）」と呼ばれ、信頼できる答えが必要なときには大きな問題となります。これを解決するために、科学者たちは**Retrieval-Augmented Generation（RAG：検索拡張生成）**というトリックを使います。RAGを、AIに書く前に読むための「カンニングペーパー（実際の文書）」を与えるものだと考えてください。しかし、ここに落とし穴があります。もしAIが間違ったカンニングペーパーを選んでしまったり、情報の出典となるページを正確に示さずにレポートを書いたりすれば、その答えは依然として役に立ちません。目標は、単に賢いだけでなく、常に情報源を引用する慎重な研究者としてのAIを構築することです。

これこそが、MPR-CiteGフレームワークが行っていることです。このプロジェクトの開発者たち（彼らは主要なAIチャレンジで第2位に入賞しました）は、AIの回答が正確かつ誠実であることを保証するために、二部構成のシステムを構築しました。まず、彼らは**Multi-Portfolio Retriever（MPR：マルチ・ポートフォリオ・リトリーバー）**を作成しました。ライブラリに対して単純な質問を一つ投げるのではなく、MPRはそれぞれ独自の戦略を持つ4人の異なる探偵チームのように機能します。ある探偵は関連するアイデアを見つけるために質問を拡張し、別の探偵は同じことを表現する異なる言い回しを捉えるために類義語を探し、3人目の探偵は広範な検索と特定の検索のバランスを取り、そして4人目の探偵は国際的な研究を見つけるために質問を他の言語に翻訳します。彼らは皆、手がかりを掘り起こし、それらの発見を組み合わせ、その後、厳格な編集者（リランカー）が使用するための最も優れた50個の文書を選び出します。

最適な文書が集められると、**Citation-Grounded Generation（CiteG：引用に基づいた生成）**と呼ばれるシステムの第二部が引き継ぎます。これは「推測することを拒む書き手」です。この書き手は、上位10個の文書を読み、明快で流暢な回答を書きます。しかし、ここが魔法の部分です。特定の事実を述べるすべての文章に対して、その文章は即座に、どのソース文書から来たのかを示す小さなタグを付けます。もし文章が単なる一般的なつなぎ言葉であれば、タグは付きません。これにより、あなたは回答を読みながら、「なるほど、この事実はソースAから来ていて、これはソースBから来ているのだな」と瞬時に理解することができます。チームはこのシステムを科学的な質問のデータセットでテストし、彼らのシステムが作り話（捏造された事実）を避ける上で非常に効果的であることを発見しました。彼らは、特定の種類のAIモデル（Qwen-2.5-14B）を使用するのが最適であること、そして、リトリーバル・チームの中に4つすべての「探偵」の戦略があることが、正しい情報を得るために極めて重要であることを明らかにしました。このシステムは非常に優れていますが、著者らは、思考のプロセスを何度も繰り返す必要がある非常に複雑な質問には時として苦戦する場合があると認めており、将来のバージョンではさらにダイナミックなものが必要になる可能性を示唆しています。結局のところ、MPR-CiteGは、単に喋るだけでなく、自分が何を話しているのかを実際に理解し、それを証明できるAIをどのように構築するかを示しているのです。

技術要約：MPR-CiteG：マルチポートフォリオ検索と引用に基づく生成によるRAGの強化

1. 問題提起

大規模言語モデル（LLM）は、内部知識のみに依存する場合、特に最新かつ事実に基づいた回答を提供する上で固有の限界に直面します。Retrieval-Augmented Generation（RAG）は、外部のエビデンスを活用することでこの問題に対処しますが、既存のアプローチには主に2つの非効率性が存在します。

非効率な検索: クエリに特化した手法は、検索コストや、限られた計算予算下での異種リトリーバーの調整といった実用的な制約を見落としがちです。
ソース検証の欠如: 引用指向のアプローチは忠実性を向上させますが、多くの場合、厳格なレイテンシ制約があるパブリックAPI環境や、スニペットレベルのグラウンディングを必要とする環境には適さない、リソース集約的なマルチステージ・パイプラインに依存しています。

ScienceON AI Challengeは、固定されたGPU予算内でパブリック検索結果から回答を生成することをベンチマークとしており、参加者には検索の効率性と、エビデンスに基づいた回答の生成とのバランスを取ることが求められます。

2. メソドロジー：MPR-CiteGフレームワーク

著者らは、制約をパフォーマンスの向上へと転換するために設計されたデュアルコンポーネント・システムであるMPR-CiteGを提案しています。このフレームワークは、効率的かつ多様な情報収集のための**Multi-Portfolio Retriever (MPR)と、事実の一貫性と属性付与を実現するCitation-Grounded Generation (CiteG)**モジュールで構成されています。

2. 1. Multi-Portfolio Retriever (MPR)

MPRは、単一のユーザークエリを4つの並列な**Query Portfolios（クエリ・ポートフォリオ）**へと拡張し、それらを統合および再ランク付けすることで、語彙のミスマッチ問題と予算制約に対処します。

クエリ拡張: LLM（Qwen2.5-14B-Instruct）を使用し、システムは以下の2つのキーワードセットを抽出します。
- Primary Keywords（主要キーワード）: セマンティックなアンカーとして機能する、類義語を含む5つの用語。
- Expanded Keywords（拡張キーワード）: ドメイン固有の用語やパラフレーズを用いて検索範囲を広げる3つの追加用語。
4つのQuery Portfolios: これらのキーワードは、ブール演算を用いて4つの異なる戦略へと組み合わされます。
- Q (Query-expansion): 主要キーワードを拡張概念とOR/ANDロジックで組み合わせることで、リコール（再現率）を最大化します。
- S (Synonym-robust): 類義語や接頭辞ベースのワイルドカードを取り入れ、ノイズとなる用語（例：「特許」）を除去することで、適合率を高めます。
- F (Focus-balanced): 上位の主要キーワードをORロジックでグループ化し、残りのキーワードとANDで組み合わせることで、広がりと選択性のバランスを取ります。
- G (Global-translation): NLLB-200モデルを用いてクエリを翻訳（韓国語 $\leftrightarrow$ 英語）することで、クロスリンガルな網羅性に対処します。
候補の集約と再ランク付け: すべてのポートフォリオからの結果をマージし、管理番号またはタイトルに基づいて重複を排除した後、Cross-Encoder（BGE-Reranker-v2-m3）を用いて再ランク付けします。これにより、初期プール（約270項目）を生成に最適な上位50件のドキュメントへと絞り込み、高精度なコンテキストを確保します。

2. 2. Citation-Grounded Generation (CiteG)

CiteGモジュールは、可読性と事実の責任を担保するために、Qwen2.5-14B-Instruct LLMを用いた2段階のパイプラインを利用します。

ドキュメント条件付き回答生成:
- モデルは、検索された上位10件のドキュメントのみに基づき、ドラフト回答を生成します。
- プロンプトにより、科学的な執筆スタイル（タイトル、導入、本論、結論）を強制し、提供されたソースのみを使用するようにモデルを制約します。
- 出力は、明示的な引用を含まない、流暢で意味的に忠実なナラティブ（記述）となります。
文レベルの引用グラウンディング:
- ドラフトを文ごとに分割します。
- 各文について、候補となるドキュメントと照合し、支持するソースを選択します。
- ルール: 事実に関する主張には引用を含める必要がありますが、一般的な記述や遷移のための文章には引用を省略できます。
- マーカー割り当て: 引用はインクリメンタルに割り当てられ、可読性を維持するために、同じドキュメントを参照する複数の文に対してマーカーを再利用します。
- シリアライズ: 最終的な出力には、インラインマーカー（例：「[1]」）を含むナラティブと、マーカーをソースリンクに紐付ける構造化された引用ブロックが含まれます。

3. 主な結果

本フレームワークは、BLEU、METEOR、検索精度（引用文とソースのタイトル/抄録間のコサイン類似度）、および実行時間を用いてScienceON AI Challengeのデータセットで評価されました。

LLMバックボーンの比較: 様々なモデル（Llama3.1やKONI-Llama3.1のバリアントを含む）の中で、Qwen2.5-14Bが最高の総合パフォーマンス（最終スコア: 0.5415）を達成しました。これは、より小型のモデルや韓国語適応モデルと比較して、優れた多言語堅牢性と引用の質を示しています。
アブレーション研究 (Query Portfolios):
- フル構成（Q+S+F+G）がすべての指標において最良の結果をもたらしました。
- Q (Query-expansion) ブロックの削除が最も大幅なパフォーマンス低下を引き起こし、セマンティック拡張の決定的な役割を浮き彫りにしました。
- S (Synonym-robust) ブロックの削除は、品質への影響は最小限でしたが、実行時間を改善しました。これは、リコール向上のための僅かな利得とレイテンシの間のトレードオフを示唆しています。
ケーススタディ:
- 成功事例: 糖尿病検出に関するクエリにおいて、システムは複数の引用から情報を合成することに成功しました。検証可能な事実（引用あり）と一般的な記述（引用なし）を明確に区別しており、ハルシネーションを効果的に回避していました。
- 失敗事例: システムは複雑で多面的なクエリ（例：HMM/NNの統合戦略）に対して苦戦しました。静的なTop-10のエビデンスプールとキーワードのバイアスにより、すべての構造的要件に対処することができませんでした。

4. 意義と主張

本論文は、MPR-CiteGが以下の点を通じて、信頼できるLLMの構築に向けた重要な一歩であると主張しています。

ハルシネーションの軽減: すべての事実に関する主張を検索されたエビデンスに厳格に接地させ、一般的な記述と引用された事実を明示的に分離することで実現します。
効率の最適化: 固定されたGPU予算とパブリックAPIという制約を、精度を犠牲にすることなくリコールを最大化する構造化されたマルチポートフォリオ検索戦略へと変換することで実現します。
検証可能性の確保: CiteGモジュールを通じて、透明なエビデンスの連鎖を提供し、ユーザーがすべての主張を特定のソースドキュメントまで追跡できるようにします。

著者らは、静的なパイプラインは標準的なクエリには良好に機能するものの、ドキュメントプールのバイアスなしに複雑で多面的な情報ニーズに対処するためには、将来的に動的なメカニズム（例：推論と検索のインターリービング）へと進化する必要があると結論付けています。本フレームワークはScienceON AI Challengeにおいて第2位を獲得し、検索の効率性と引用に基づいた生成のバランスを取る上での有効性を証明しました。