💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAIは、回答の正確性、引用の忠実性、および文書ごとの影響力という、独立して測定可能な3つのレイヤーに分解することで、引用されたソースとモデルの出力を実際に駆動しているエビデンスとの間の決定的な乖離を明らかにし、検索拡張型質問応答における透明性を高める斬新なフレームワークを導入する。

原著者： Mohammad Faizan, Dalal Alharthi

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mohammad Faizan, Dalal Alharthi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは非常に賢く、博識な司書に難しい質問を投げかけました。その答えを出すために、司書は棚から10冊の本を取り出し、それらを読み、回答を書き上げました。回答の最後に、司書は「参考文献」リストを記載しましたが、実際に手に取った10冊のうち、わずか2冊の名前しか挙げていません。

ProvenAIは、まさにこのシナリオで何が起きたのかを監査するために設計された新しいシステムです。それはこう問いかけます。「司書は本当に、挙げられたその2冊の本を使って回答を書いたのだろうか？それとも、他の8冊の本が、言及されることなく密かに物語に影響を与えていたのだろうか？」

以下は、日常的な比喩を用いた、この論文の仕組みのシンプルな解説です。

1. 問題点：「偽の引用」という錯覚

AIの世界では、システムが嘘をついていないことを証明するために、出典（引用）のリストを示すことがよくあります。しかし、この論文は、**「引用リストは、買い物カートの中身と一致しないレシートのようなものである」**と主張しています。

司書が「本Aと本Bを使いました」と言ったからといって、それらの本が実際に物語を形作ったとは限りません。

現実： 司書は、リストに載せていない本C、D、Eから強い影響を受けていたかもしれません。一方で、本AやBは、ほとんど目を通していないだけかもしれません。
ギャップ： 論文ではこれを**「引用と影響のギャップ（Citation-Influence Gap）」**と呼んでいます。これは、AIが「これを使った」と主張しているもの（引用）と、AIが回答を構成するために「実際に頼ったもの」（影響）との間の差異です。

2. 解決策：ProvenAIの3層監査

単に回答が正しいかどうかをチェックするのではなく、ProvenAIは車の検査を3つの異なる方法で行うように、透明性を3つの独立したレイヤーに分解します。

レイヤー1：回答は正しいか？（目的地）
- 比喩： 車は実際に正しい住所に到着したか？
- チェック内容： 最終的な回答は既知の真実と一致しているか？
レイヤー2：引用は誠実か？（レシート）
- 比喩： ドライバーはレシートに記載したガソリンスタンドに実際に立ち寄ったか？
- チェック内容： AIが挙げた本の中に、AIが主張する事実が実際に含まれているか？
レイヤー3：何が決定的な役割を果たしたのか？（エンジン）
- 比喩： もし車の部品をバラバラにして、特定のエンジン部品を取り除いたとしたら、車はまだ走れるだろうか？
- チェック内容： これが最もユニークな部分です。システムはAIの回答を取り、本のスタックから特定の1冊を取り除き、AIに再び回答を書かせます。もし回答が変われば、その本は**「影響力があった」**ことになります。もし回答が変わらなければ、その本は単なる「飾り」だったということです。

3. 「手品」実験

研究者たちは、複数の文書をまたいで情報を繋ぎ合わせる必要がある有名なパズルデータセット「HotpotQA」を用いて、このテストを行いました。

設定： 彼らは7,405個の質問に対してAIを実行しました。
驚きの結果： AIは正解を約53%の割合で導き出しましたが、正しいソースを引用できた割合は71%でした。これは、AIが正しい本を「見つける」ことは得意だが、それらを使って最終的な文章を「書く」ことには不向きであることを意味します。
「引用と影響のギャップ」のケーススタディ：
- 彼らは、2人の映画監督に関する特定の質問を調査しました。
- AIは2冊の本を完璧に引用しました。「レシート」の内容は100%クリーンでした。
- しかし、その引用された本の1冊を取り除いたとき、回答は変わりませんでした。
- さらに、AIが引用すらしていなかった他の7冊の本を取り除いたとき、回答は変化しました。
- 結論： AIは、回答を正しくするために、引用された本ではなく、密かに引用されていない本に頼っていたのです。引用された本は、単なる「窓辺の飾り」に過ぎませんでした。

4. なぜこれが重要なのか（専門用語抜きで）

この論文は、AIを信頼するために、単一のスコア（「正確性」など）だけを見るべきではないと主張しています。私たちは全体像を見る必要があります：

正しい回答を得たか？
正しい情報源を挙げたか？
それらの情報源が、実際に重労働（主導的な役割）を行ったか？

もし#1と#2だけをチェックしていれば、AIを信頼できると思ってしまうかもしれません。しかし、#3をチェックすれば、AIが教えてもいない「ゴースト（幽霊）」のような文書に、実は操られていることに気づくかもしれません。

5. 「ブラックボックス」の限界

論文では、一つの限界についても認めています。影響力を完璧に測定するには、通常、AIの内部的な「思考プロセス（数学的確率）」を見る必要があります。彼らのシステムはAIの脳内を見ることができなかったため、巧妙な回避策を用いました。それは、単に「本を取り除いた前と後の最終的な文章」を比較するという方法です。

比喩： エンジンの内部燃焼を直接聞く代わりに、部品を取り除いたときに車がどのように動いたかをチェックしたのです。これは内部を覗き込むほど精密ではありませんが、非常に優れた推測方法です。

まとめ

ProvenAIは、美しい引用リストに騙されないためのツールです。それは、AIにおいて**「引用されているものが、必ずしも使われているものとは限らない」**という事実を証明します。情報源を取り除いたときに何が起こるかをテストすることで、回答を実際に動かしている、機械の中に潜む隠れた「ゴースト」を明らかにします。

技術要約: ProvenAI

問題提起
検索拡張生成（RAG）システムは、事実に基づいた根拠を示すために、生成された回答とともに引用を提示することが常態となっている。しかし、本論文は、引用が存在すること自体は、引用されたソースが生成内容に意味のある影響を与えたことを保証するものではないと主張している。現在の評価指標は、回答の正確性、引用の忠実度、およびリソースの影響力を単一のスコアに集約してしまうことが多く、重要な診断情報を不明瞭にしている。具体的には、モデルが正しいソースを引用していても、実際には引用されていない検索コンテキストによって出力が駆動されている場合や、正しい回答を生成しながらも無関係なソースを引用している場合がある。この「引用された」証拠と「影響力のある」証拠の間の乖離は、責任ある説明責任において、結論を形成した要素の検証可能な記録を必要とするセキュリティやフォレンジックのアプリケーションにおいて特に問題となる。

手法
ProvenAIは新しい生成モデルではなく、マルチホップ質問応答における透明性を、独立して測定可能な3つのレイヤーへと分解するために設計された測定インフラストラクチャである。本システムは、HotpotQA distractorベンチマークを用い、以下の7段階のパイプラインで動作する：

データ正規化: HotpotQAのレコードを安定したローカルアーティファクト（JSONL）に変換し、509,300個のパッセージからなる標準的な検索コーパスを構築する。
検索と生成: 密なパッセージ検索（all-MiniLM-L6-v2埋め込みを用いたFAISS）と、ローカル推論パス（Qwen2.5-3B-Instruct）を使用し、インラインタグ付きの引用認識型回答を生成する。
引用監査: 引用されたタイトルが、ゴールド（正解）の支持的事実とJaccard類似度によって一致するかどうかを評価する。
影響推定: 「1つのリソースを除外する（leave-one-resource-out）」アブレーション戦略を適用する。各検索ドキュメント $r_i$ について、システムは $r_i$ を除外した状態で回答と引用セットを再生成し、出力の変化を測定する。
判定の割り当て: ドキュメントは、引用ステータスと影響プロキシ $\phi(r_i)$ $ϕ (r_{i})$ を組み合わせた測定関数 $V$ $V$ に基づき、以下の4つのカテゴリに分類される：
- USED（使用済み）: 引用されており、かつ影響力がある。
- HALLUCINATED CITATION（幻覚引用）: 引用されているが、影響力はない。
- UNCITED INFLUENTIAL（未引用だが影響あり）: 引用されていないが、影響力がある。
- LOW INFLUENCE（低影響）: 引用されておらず、かつ影響力もない。

主要な技術コンポーネント

引用の忠実度: 引用されたタイトルとゴールドの支持タイトルの間のトークンセットJaccard類似度によって測定され、厳密一致（ $\tau=1$ ）とセマンティック一致（ $\tau=0.34$ ）の両方で評価される。
影響プロキシ: ローカル推論バックエンド（MLX）が直接的なKLダイバージェンス計算に必要なトークンレベルの確率を公開していないため、システムは表面的なプロキシ $\phi(r_i)$ を使用する。このプロキシは、元の回答文字列（ $\Delta a$ ）と引用セット（ $\Delta c$ ）の間のJaccard距離を集計し、それぞれ0.8と0.2の重み付けを行う。
理論的根拠: 本論文は、この表面プロキシとトークンレベルのKLダイバージェスンのターゲットとの関係を定式化している。命題1は、ほぼ決定論的なデコーディングの下では、非ゼロの回答変化（ $\Delta a > 0$ ）が厳密に正のKLシフトを証明し、このプロキシが妥当な（ただし片側的な）分布変位の指標であることを確立している。
トレーサビリティ: システムはModel Context Protocol (MCP) を統合して、リソースアクセスのトレースグラフを記録し、検索アーティファクトと生成プロセスを紐付ける。

結果
HotpotQA distractor分割の7,405個の検証例を用いて評価した結果、ProvenAIは以下の集計指標を示す：

回答の正確性: 53.53%
平均引用忠実度: 71.55%

引用の忠実度と回答の正確性の間にある顕著な18ポイントの差は、モデルが最終的な回答文字列が誤っている場合でも、正しい支持タイトルを特定し引用していることが多いことを示している。逆に、回答は正しいが引用セットが劣化しているケースもシステムによって特定されている。

本論文は、ケーススタディ（Scott Derrickson / Ed Woodの国籍）を通じて、特定の「引用と影響力のギャップ」を浮き彫りにしている。この例では、モデルは完璧な引用監査（ $F_\tau = 1.0$ ）を達成したが、アブレーションの結果、引用されたソースのうち1つは影響力が弱く、一方で7つの「未引用」のソースが明らかに回答を変化させたことが明らかになった。これは、観測される引用セットと経験的な感度プロファイルが大幅に乖離し得ることを裏付けている。

意義および主張
本論文は、検索に基づく質問応答における意味のある透明性には、検索された証拠、引用された証拠、および行動的に影響力のある証拠という、3つの異なるレイヤーにわたる追跡可能なリンクが必要であると主張している。

透明性の分解: 主要な貢献は、透明性を3つの独立したレイヤーへと運用可能な形に分解したことであり、これらを集約することは必要な診断情報を放棄することになると論じている。
引用と影響力のギャップ: 本研究は、クリーンな引用監査が、未引用のコンテキストによって駆動される複雑な影響プロファイルと共存するという特定の失敗モードを特徴づけている。
プロベナンスネイティブな推論: 本フレームワークは、測定ベースの監査を暗号学的なプロベナンス（起源）アーキテクチャに結びつけている。自律的な科学的発見のためには、監査証跡が単に引用されたドキュメントが検索されたことを検証する（暗号学的完全性）だけでなく、出力が実際にそれらのドキュメントに対して敏感であったことを検証する必要があると論じている。
限界: 著者らは、現在の影響推定が、ローカルバックエンドにおけるトークンレベルのロジットの欠如により表面プロキシに依存していること、および属性付与が現在は文レベルの含意ではなくドキュメント・タイトルレベルに限定されていることを謙虚に述べている。

ProvenAIは、現在の引用メカニズムが影響力の十分な代用にはなり得ないことを確立し、モデルが使用すると主張するものと、実際にその出力を駆動しているものとの間の不一致を測定するための再現可能なパイプラインを提供している。