💬 NLP

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

QuCo-RAG は、Infini-gram を通じて客観的な事前学習コーパス統計（エンティティ頻度と共起）によって不確実性を定量化することによりハルシネーションを軽減するモデル非依存の動的検索拡張生成フレームワークを導入し、信頼性の低い内部モデル信号に依存することなく多様なモデルおよびベンチマークで顕著な性能向上を達成する。

原著者： Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、教養のある友人（AI）がいると想像してください。その友人は物語を語ることも、質問に答えることも大好きです。しかし、時折、その友人は少し自信過剰になり、事実を捏造し始めます。例えば、実際には映画を一度も監督したことがない人物が、ある映画を監督したと主張するような場合です。これを「ハルシネーション（幻覚）」と呼びます。

長らく、研究者たちはこの問題を解決するため、AI に「あなたは確信していますか？」と問いかける試みを続けてきました。AI は自らの脳（内部信号）を点検し、「はい、99% 確信しています！」と答えます。しかし、問題は AI が自らの確信度を正しく判断するのが苦手だということです。完全な嘘であっても、99% 確信していると主張してしまうのです。

QuCo-RAG の登場：図書館から来た「事実検証者」

この論文の著者である QuCo-RAG は、AI が確信しているかどうかを問うことをやめることにしました。代わりに、AI が文章を完成させる前に、その事実を膨大で客観的なデータライブラリ（事前学習コーパス）と照合するシステムを構築しました。

次のように考えてみてください：

従来の方法（内部信号）： AI に「これを知っていますか？」と尋ねます。AI は「とても確信しています！」と答えます（たとえそれが間違っていたとしても）。
QuCo-RAG の方法（コーパス統計）： AI に「この事実はライブラリに存在しますか？」と尋ねます。ライブラリにその記録がなければ、システムは「待て！これの証拠はありません。言う前に現実世界（データ検索）で調べてみましょう」と言います。

仕組み：二段階の安全網

このシステムは、Infini-gramと呼ばれる超高速なライブラリ索引（4 兆語をミリ秒単位で検索可能）を用いて、嘘を捕捉するための二段階のプロセスを採用しています。

ステップ 1：「レアワード」チェック（発言前）
AI が回答を始める前に、システムは質問をスキャンします。

比喩： あなたが「小さな島国ゾグブループの大統領は誰ですか？」と尋ねたと想像してください。
チェック： システムはライブラリを検索します。もし「ゾグブループ」という単語が人類の歴史におけるすべての文章でわずか 5 回しか出現しない（低頻度）場合、システムはこう判断します。「これは難解だ。AI はこれをよく知らない可能性が高く、捏造するかもしれない」。
アクション： AI が話し始める前に、すぐに本を手に取り（データを検索し）、AI が正しく答えられるよう支援します。

ステップ 2：「出会ったことがあるか」チェック（発言中）
AI が一文ずつ回答を生成する間、システムはその発言を監視します。

比喩： AI が「有名なシェフのゴードン・ラムゼイと、有名な画家のゴッホは親友だった」と言います。
チェック： システムはライブラリを検索し、「ゴードン・ラムゼイ」と「ゴッホ」が同じ文や段落に一緒に登場したことがあるかを確認します。
論理： もし彼らがライブラリ全体で一度も一緒に現れたことがない（共起ゼロ）場合、それは大きな警告信号です。「月とトースターが親友だ」と言うようなものです。それは可能かもしれませんが、誰も書いたことがない場合、AI はおそらくハルシネーションを起こしているのです。
アクション： システムは AI を止め、「待て、この二人は私たちの本の中で一緒に過ごしたことはない」と言い、正しい情報を取得してその文を修正します。

これが画期的な理由

この論文は、この手法が AI に自らの感情を検証させる方法よりもはるかに優れていることを示しています。

「ブラックボックス」モデルでも機能する： AI がどのような本を読んだか（GPT-4 や Llama-3 のような場合）がわからなくても、このシステムは機能します。ほとんどの AI モデルは似たような本（インターネット、ウィキペディアなど）を読んでいるという事実を利用しているからです。したがって、公共の図書館を検索することは、ほぼあらゆる賢い AI に対して有効です。
「自信過剰な嘘つき」を捕捉する： 他の手法では、AI が自信を持って誤ったことを言っている場合を見逃すことがよくあります。QuCo-RAG は AI がどう「感じているか」に関係なく、その事実がライブラリに存在するかどうかだけを重視するため、それらを捕捉します。
高速で効率的： すべての単語をチェックするわけではありません。「レア」な単語や「疑わしい」事実の組み合わせが現れた場合のみチェックします。常にすべてをチェックする方法に比べ、時間とコストを節約できます。

結果

彼らは難しい雑学クイズ（「この映画を監督したのは誰で、その母親の名前は何か？」など）でこれをテストしたところ、QuCo-RAG は以前の最良の方法よりもはるかに多くの正解を得ました。精度は最大 14 ポイント向上し、これは AI の世界において劇的な飛躍です。

要約： QuCo-RAG は AI のエゴ（「確信している！」）を信頼するのではなく、ライブラリ（「証拠を見せてくれ」）を信頼します。証拠がない場合、AI が事実を捏造するのを防ぎます。

技術的概要：QuCo-RAG

問題定義

動的検索拡張生成（Dynamic RAG）は、生成中に外部証拠をいつ検索するかを適応的に決定することで、大規模言語モデル（LLM）における幻覚を軽減することを目的としている。しかし、既存の動的 RAG 手法（FLARE、DRAGIN、SeaKR など）は、不確実性を定量化するために、トークン確率、エントロピー、または注意重みなどのモデル内部のシグナルに依存している。本論文は、LLM は通常、較正が不十分であり、誤った出力に対して高い確信を示す（「確信ある幻覚」）ため、これらのシグナルは本質的に信頼性が低いと主張する。さらに、理論的な研究は、完全に較正されたモデルでさえ、統計的一貫性を維持するために稀な事実において幻覚を起こさざるを得ないことを示唆している。その結果、内部シグナルは不確実な生成と確信ある誤りの区別ができず、一貫性のない検索トリガーと最適ではない性能をもたらす。

手法：QuCo-RAG

著者は、QuCo-RAG（動的検索拡張生成のための事前学習コーパスからの不確実性の定量化）を提案する。これは、不確実性の定量化を主観的な内部確信から、事前学習コーパスに由来する客観的な統計へと移行させるフレームワークである。このシステムは、兆単一のトークンを持つコーパスに対してミリ秒遅延でクエリを実行するInfini-gramエンジンを活用し、2 つの明確な段階で動作する。

1. 生成前知識評価（入力不確実性）

生成開始前に、システムは入力質問の知識ギャップを評価する。

実体抽出: 軽量な抽出器が質問から主要な実体（ $E_Q$ ）を特定する。
頻度チェック: システムは、事前学習コーパス（ $P$ ）における各実体の頻度をクエリする。
トリガー条件: 平均実体頻度が閾値（ $\tau_{entity}$ ）を下回る場合、「ロングテール」知識のリスクを示唆し、即座に検索がトリガーされる。元の質問をクエリとしてドキュメントを検索し、コンテキストに先付けする。

2. 実行時主張検証（出力不確実性）

生成中、システムは生成された各文（ $s_i$ ）について証拠的サポートを監視する。

トリプレット抽出: 軽量モデルが生成された文から知識トリプレット $(h, r, t)$ を抽出する。
共起検証: 語彙的変動の影響を受ける完全な関係主張を検証する代わりに、システムは事前学習コーパス内の定義されたウィンドウ（ $\omega$ ）における頭部（ $h$ ）と尾部（ $t$ ）実体の共起頻度をチェックする。
トリガー条件: 共起数がゼロ（または閾値 $\tau_{cooc}$ 以下）の場合、システムは証拠的サポートの欠如を推論し、幻覚のリスクが高いことを示す。
アクション: 意味指向のクエリ（ $h \oplus r$ ）で検索がトリガーされ、取得したコンテキストを使用して文が再生成される。

主要な貢献

パラダイムシフト: 本論文は、信頼性の低い内部モデルシグナルではなく、コーパス統計に基づいた検索決定を可能にする、モデル非依存のアプローチを導入する。
2 段階検出: 入力不確実性（稀な実体）と出力不確実性（サポートされていない実体ペア）の両方に対処する二重段階メカニズムを形式化する。
インフラの活用: この手法は、Infini-gramを効果的に活用し、4 兆トークンなどの大規模事前学習コーパスに対して、無視できる遅延でリアルタイム統計クエリを実行する。
広範な適用性: このフレームワークは、透明なコーパス（OLMo-2）からの統計が、非公開または専有の学習データを持つモデル（Llama-3、Qwen2.5、GPT-4/5 など）の有効な代理となり得ることを示している。

実験結果

著者は、マルチホップ QA ベンチマーク（2WikiMultihopQA、HotpotQA）で QuCo-RAG を評価し、長文生成（ASQA）および生物医学 QA（PubMedQA）への評価を拡張した。

OLMo-2 上の性能: 事前学習コーパスへの完全なアクセスを有する OLMo-2 ファミリー（7B、13B、32B）を使用した場合、QuCo-RAG は最先端のベースライン（DRAGIN、ETC、SeaKR など）に対して、Exact Match（EM）で5〜12 ポイントの改善を達成した。
モデル間転移性: 非公開データを持つモデル（Llama-3、Qwen2.5、GPT-4.1/5）に適用された場合、QuCo-RAG は EM を最大14 ポイント改善し、内部シグナルに依存するベースラインを上回った。特に、組み込みの Web 検索ツールを使用した GPT モデルを上回った。
効率性: QuCo-RAG は高い効率を維持しながら優れた性能を達成した。FS-RAG や SeaKR などの手法は精度が低いにもかかわらず過剰な検索をトリガーすることが多いのに対し、QuCo-RAG は質問あたりの検索回数を大幅に減らした（HotpotQA で約 1.7 回など）。
ドメイン汎化: この手法は、タスク固有のチューニングなしで長文生成および生物医学ドメインに頑健に汎化したが、内部シグナルを用いる手法はこれらの専門的な設定で効率性または有効性の点で苦労した。

意義と主張

本論文は、動的 RAG に対する原理的かつ実用的にモデル非依存なパラダイムとして、コーパスに基づく検証を確立すると主張する。著者は以下を論じる。

信頼性: コーパス統計は、較正不備を起こしやすいモデル内部の確信スコアよりも、不確実性にとってより信頼性の高いシグナルを提供する。
スケーラビリティ: このアプローチは、Web スケールの事前学習コーパスにおける実質的な重複を活用することで、非公開の学習データを持つモデルへも効果的に拡張可能である。
安全性と頑健性: 「ゼロ共起」を幻覚リスクの強力な指標として検出することで、この手法は、特にモデルが最も誤りを犯しやすいロングテール知識において、確信ある幻覚を軽減するための原理的な方法を提供する。

著者は、厳密な語彙一致への依存（別名での共起を見逃す可能性がある）や、静的な事前学習コーパスの時間的制約を含む限界を認めている。しかし、彼らは、疑いがある場合に検索をトリガーする保守的な戦略が、検出されない幻覚のリスクよりも望ましいと提唱している。