Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track

TREC 2025 RAG トラックは、MS MARCO V2.1 コーパスを用い、複雑な推論を要する長文ナラティブクエリへの対応や、透明性・事実性のある回答生成を評価対象として、信頼性の高い検索拡張生成システムの開発を促進するものです。

要約

TREC 2025 RAG トラック：AI の「検索と回答」大会の解説

こんにちは！今回は、2025 年に開催された「TREC RAG トラック」という、AI 研究の大きな大会について、難しい専門用語を使わずに、わかりやすくお話しします。

この大会は、**「AI に『検索』と『文章作成』を同時にやらせて、本当に賢い答えを出せるか？」**という競争です。

---

1. 今年のテーマ：「キーワード」から「物語」へ

これまでの AI 検索は、**「サッカー 選手 給料」**のように、短いキーワードを打ち込んで、関連する記事をリストアップする感じでした。まるで辞書で単語を引くようなものです。

しかし、今年の大会（TREC 2025）では、ルールがガラッと変わりました。
参加者たちは、**「スポーツが社会に与える影響について、選手の給料、多様性、ビジネス面、そして最新のトレーニング技術がどう人々を動かしているか、詳しく知りたい」という、まるで「友人に長文のメールで相談しているような」**複雑な質問（ナラティブ）に答えなければなりません。

• 昔の AI： 「はい、サッカー選手の給料に関する記事が 10 件あります」
• 今年の AI： 「はい、スポーツは社会に大きな影響を与えています。特に選手の給料格差は問題で、女性や学生選手は不公平な扱いを受けています。また、ビジネス面ではスポンサーが優先されがちですが、最近では健康や多様性を重視する動きも出てきています……」

このように、**「深い思考」と「複数の証拠を組み合わせた説明」**ができるかが問われています。

2. 参加者の挑戦：「図書館の司書」から「探偵」へ

参加した AI システムたちは、**「探偵」**のような役割を担います。

1. 証拠集め（検索）： 膨大な文書（MS MARCO というデータベース）の中から、質問に関連する「断片（パズルのピース）」を見つけ出します。
2. 推理と執筆（生成）： 見つかったピースをつなぎ合わせ、論理的で、かつ**「どこからその情報を持ってきたか（出典）」を明記した**文章を作ります。

ここでの重要なルールは**「嘘をつかないこと」と「出典をちゃんと示すこと」**です。AI が勝手に「たぶんこうだろう」と推測して嘘の情報を混ぜてはいけません。すべての主張には、必ず裏付けとなる文書への「引用（脚注）」が必要です。

3. 審査の仕組み：「3 段階のチェック」

この大会の審査は、ただ「答えが正しいか」だけを見るのではなく、非常に細かく、3 つのステップでチェックされます。

ステップ①：「答えの網羅性」チェック

質問が「スポーツの社会影響」についてなら、その中に「給料」「多様性」「ビジネス」「トレーニング」など、いくつかの**「小さなテーマ（サブナラティブ）」が含まれています。
審査員（人間と AI の両方）は、「この答えは、すべての小さなテーマを網羅しているか？」**をチェックします。

• 例： 「給料」については詳しく書いてあるが、「多様性」については一言も触れていないなら、減点されます。

ステップ②：「出典の正当性」チェック

AI が書いた文章の**「1 文 1 文」**について、それが引用された文書に本当に書かれているか確認します。

• フルサポート： 文書にすべて書かれている（OK！）
• パーシャルサポート： 一部は合っているが、別の部分は文書にない（少し減点）
• サポートなし： 文書とは全く関係ない嘘をついている（大減点！）

これは、**「引用した本を開いて、本当にそのページに書いてあるか？」**を厳しくチェックする作業です。

ステップ③：「人間と AI の一致度」チェック

審査員（人間）と、自動審査 AI が同じ答えを評価したとき、**「二人の意見がどれだけ一致しているか」**を測ります。
もし自動審査 AI が「これは素晴らしい！」と言ったのに、人間が「全然ダメだ」と言ったら、自動審査 AI の精度を上げる必要があります。

4. 大会の結果と意義

今年は 150 以上のチームが参加し、多くの新しいアイデアが生まれました。

• 成功例： 複数の文書をうまく読み込み、バランスの取れた、出典が明確な「探偵レポート」のような答えを出せたチーム。
• 課題： 長い質問のすべてを網羅するのが難しかったり、出典と内容が少しズレてしまったりするケースも見られました。

5. まとめ：なぜこれが重要なのか？

この大会は、単なる「検索エンジン」の競争ではありません。
**「AI が、私たちが抱える複雑な悩み（医療、法律、社会問題など）に対して、根拠を示しながら、信頼できる答えを返せるようになるか」**という、未来の AI 社会への挑戦です。

まるで、**「信頼できる図書館の司書」が、あなたの複雑な質問に対して、「この本と、あの本のこのページを参考にしました。だから、答えはこうです」**と、出典を明示しながら丁寧に説明してくれる状態を目指すものです。

TREC 2025 は、そんな**「信頼できる AI」**を作るための、重要な一歩となりました。

技術概要

TREC 2025 検索拡張生成（RAG）トラック技術概要

本論文は、TREC 2025 検索拡張生成（RAG）トラックの概要、タスク設定、評価手法、および結果を詳述したものです。2024 年の初回トラックの基盤の上に立ち、複雑で現実的な情報ニーズに対応する「検索と生成の統合システム」の研究をさらに推し進めることを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

従来の検索システムや初期の RAG システムは、短いキーワードクエリに対する回答生成に焦点が当てられていました。しかし、現実世界の情報探索は、より深く、多面的な文脈を必要とする「深い検索（Deep Search）」シナリオが増えています。

• 課題: 単一の文書や短いクエリでは解決できない、複雑で多層的な情報ニーズへの対応。
• 変化: 2024 年の短いキーワードクエリから、2025 年では**「長文の多文書ナラティブ（物語形式）クエリ」**へ移行しました。これにより、推論、証拠の統合、透明性のある引用（アトリビューション）が不可欠なタスクへと進化しました。
• 目標: 事実性に基づき、透明性が高く、文脈を考慮した信頼性の高い RAG システムの開発を促進すること。

2. 手法とタスク設定

トラックは MS MARCO V2.1 コーパス（セグメント化および重複排除済み）を使用し、4 つの相互に関連するタスクで構成されています。

2.1 主要タスク

1. 検索（Retrieval, R）: 与えられたナラティブに対して、MS MARCO V2.1 から上位 100 セグメントを返すタスク。
2. 拡張生成（Augmented Generation, AG）: 検索結果（トップ k セグメント）が固定されており、それらに基づいて 400 語以内の回答を生成し、文書レベルの引用を付与するタスク。
3. 検索拡張生成（RAG）: 検索から生成までのエンドツーエンドのパイプラインを構築するタスク。
4. 関連性判断（Relevance Judgment, RJ）: 今年の新規タスク。 個々の文書がナラティブのどの程度をカバーするかを評価するタスク。

2.2 ナラティブ生成プロセス

人間の手作業によるナラティブ作成は困難であるため、以下のような半自動プロセスを採用しました（図 1 参照）：

1. クエリクラスタリング: 関連する検索クエリ群をクラスタリング。
2. ナラティブ生成: クラスタを基に、LLM（GPT-4.1 など）を用いて多文書のナラティブを生成。
3. サブナラティブ分解: 生成されたナラティブを、LLM を用いて「原子かつ網羅的なサブナラティブ（1-12 語）」に分解。これらは「Vital（必須）」と「Okay（望ましい）」に分類されます。

2.3 評価フレームワーク（多層的評価）

信頼性と深さを確保するため、以下の 4 段階の評価フローを採用しました。

1. 関連性評価（Relevance Assessment）:

   • 文書がナラティブのどの「サブナラティブ」をカバーしているかを評価。
   • スコア 0（無関係）〜4（完璧な網羅）の 5 段階評価。
   • 評価には人間のアセッサーと、GPT-4.1 や Gemini 2.5 Pro などの LLM エンサンブルによる自動評価の両方が行われました。

2. 回答評価（Response Evaluation）:

   • ナゲット生成と割り当て: 関連文書から重要な情報単位（ナゲット）を抽出し、システム回答との整合性を確認。
   • サブナラティブマッピング: ナゲットがどのサブナラティブに対応するかをマッピングし、回答の網羅性を測定（Strict Vital Recall など）。

3. サポート評価（Support Evaluation）:

   • 生成された回答の各文が、引用された文書によって事実的に裏付けられているかを検証。
   • Full Support（完全に裏付け）、Partial Support（一部裏付け）、No Support（裏付けなし）の 3 段階。
   • 指標：加重精度（Weighted Precision）と加重再現率（Weighted Recall）。

4. 合意分析（Agreement Analysis）:

   • 自動評価と人間評価の一致度を Cohen's κ などで測定。

3. 主要な結果

2025 年トラックには、150 件以上の提出があり、12 グループから検索タスク、16 グループから RAG タスク、9 グループから AG タスクの提出がありました。

3.1 検索タスク（Retrieval）

• 評価結果: 自動評価（LLM エンサンブル）と人間評価の相関は、ランレベル（システム全体）では非常に高く（Kendall's τ が高い）、自動評価が人間評価の良い代理指標となり得ることが示されました。
• 傾向: 評価カットオフ（nDCG@100 など）が広くなるほど、自動評価と人間評価の一致度が高まりました。

3.2 AG および RAG タスク

• 性能: 人間によるナゲット修正と手動割り当て（Post-Edit + ManualAssign）を基準とした場合、最上位のシステムは Strict Vital Score で約 0.50、サブナラティブカバレッジで約 0.80 を達成しました。
• 自動化の影響: 完全自動化（AutoNuggetizer + 自動アサイン）でも、人間評価との相関は比較的高く保たれていましたが、ナゲットの割り当て（Assignment）プロセスが結果の順序に大きな影響を与えることが示されました。
• サポート評価: GPT-OSS 120B による自動サポート評価は、人間評価と高い相関を示し、文レベルの事実検証においても信頼できる代理指標となりました。

3.3 関連性判断（RJ）タスク

• 自動化された関連性判断の精度は依然として課題であり、人間との合意率（Agreement Fraction）は 0.30〜0.34 程度にとどまりました。これは、複雑なナラティブに対する自動判断が人間レベルに達するにはまだ時間がかかることを示唆しています。

4. 主要な貢献

1. ナラティブ型クエリの導入: 従来のキーワード検索から、推論と多文書統合を必要とする「長文ナラティブ」への転換を確立し、RAG 研究の新たな基準を設けました。
2. 多層的評価フレームワークの確立: 検索精度だけでなく、「回答の網羅性（Nugget/Sub-narrative）」と「事実的根拠（Support/Attribution）」を厳密に評価する包括的な手法を提案しました。
3. 自動評価の妥当性検証: 大規模言語モデル（LLM）を用いた自動評価が、人間評価と高い相関を持つことを実証し、将来的な大規模な評価コスト削減の可能性を示しました。
4. 半自動ナラティブ生成パイプライン: 人間の手作業を補完し、高品質で多様なナラティブとサブナラティブを生成するプロセスを確立しました。

5. 意義と将来展望

TREC 2025 RAGトラックは、AI システムが複雑な現実世界の問いに対して、単なる情報の羅列ではなく、**「証拠に基づき、透明性を持って推論する」**能力の重要性を浮き彫りにしました。

• 信頼性の向上: 引用と事実検証を重視する評価基準は、ハルシネーション（幻覚）の少ない信頼できる AI 開発を促します。
• 研究の方向性: 今後の研究は、単なる検索精度の向上だけでなく、多角的な情報源からの推論、文脈理解、そして生成内容の責任あるアトリビューションに焦点を当てるべきであることを示唆しています。
• 実用化への道: このトラックで培われた技術と評価基準は、医療、法務、ニュース要約など、正確性と信頼性が極めて重要な分野での RAG システムの実装に直結するものです。

総じて、本トラックは RAG 技術が「検索」から「推論と生成」へと成熟する過程における重要なマイルストーンであり、信頼性の高い AI 情報検索システムの未来像を提示しました。