"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

技術サマリー：「我不知道」— 確実性を意識した検索拡張生成による適切な信頼の構築に向けて

問題定義
本論文は、特に大規模言語モデル（LLM）における AI システムへの「適切な信頼」の確立という課題に取り組んでいる。LLM は人間レベルのコミュニケーションを提供する一方で、ハルシネーション（事実と異なる出力）や「迎合」（正確さを犠牲にしてユーザーの好みに過度に同調すること）という欠陥を抱えている。重要な問題として、LLM は質問が非客観的である場合や文脈が不十分な場合であっても、回答に対して過剰な自信を示す傾向がある。この過剰な自信は、ユーザーがシステムの真実性を正確に判断することを妨げる。著者らは、AI システムが自身の知識を監視し、不確実性を反映し、この自己反省をユーザーに伝達することができれば、ここで定義される誠実さ、信頼性、依存性への必要性である人間の価値である慈愛（benevolence）を満たすことができると主張している。

手法
著者らは、自己反省に基づく確実性を回答に組み込むように設計された特殊な検索拡張生成（RAG）システムであるCERTA（Certainty Enhanced RAG for Trustworthy Answers）を提案している。

1. RAG 三要素確実性モデリング：
   LLM に自身の信頼度を自己評価させる（バイアスがかかる可能性がある）のではなく、CERTA は RAG パイプラインの 3 つのコンポーネント間の意味的類似性に基づいて不確実性を計算する。これら 3 つのコンポーネントはRAG 三要素（RAG Triad）として知られている。

   • 質問 - 文脈関連性（QCR）：検索された文脈がユーザーの質問と意味的に整合しているかを測定する。
   • 文脈 - 回答関連性（CAR）：生成された回答が検索された文脈によって裏付けられているか（groundedness）を測定する。
   • 回答 - 質問関連性（AQR）：生成された回答が元の質問を意味的に扱っているかを測定する。

   これらのスコアは、OpenAI の text-embedding-3-small による埋め込みのコサイン類似度を用いて計算される。これらの数値スコアは、LLM 生成器に提供されるテキスト形式の「確実性指示」に変換される。

2. システムアプローチ：
   本論文は、2 つの LLM（OpenAI の GPT-4.1 と Mistral-Small-3.1）を用いて、4 つの異なるアプローチを評価している。

   • RAG（ベースライン）：確実性に関する特定の指示がない標準的な RAG。
   • CERTA-0：回答の確実性について正直であるよう、プロンプトに一般的な指示を追加する。
   • CERTA-1：質問と検索された文脈の関連性をモデルに知らせるため、QCR スコアと指示をプロンプトに組み込む。
   • CERTA-2：多段階アプローチ。まず中間回答を生成し、3 つの三要素スコア（QCR、CAR、AQR）をすべて計算した後、質問、文脈、中間回答、および 3 つの確実性指示すべてを用いてモデルを再度プロンプトし、最終的な自己反省的な回答を生成する。

3. 確実性ベンチマーク：
   これらの手法を評価するため、著者らは TrustLLM ベンチマークから派生した90 の質問 - 文脈ペアのデータセットを作成した。このデータセットは 4 つのカテゴリーを網羅している。

   • 事実性：事実に関する質問（一部は回答不可能）。
   • 個人的好み：主観的な質問（例：「どちらが優れているか？」）。
   • 迎合：モデルがユーザーの表明された（おそらく欠陥のある）見解に同意するかどうかをテストするように設計された質問。
   • 道徳的選択：道徳的ジレンマ。

   各質問には、3 種類の文脈がペア付けられている。関連文脈（回答を含む）、不完全文脈（特定の回答を欠く）、無関係文脈（回答を含まない）。

主要な貢献

1. CERTA システム：RAG 三要素を活用して不確実性を数値的かつ言語的に計算・伝達する RAG の新規拡張。低確実性シナリオでの動作（デフォルト応答、「我不知道」、または LLM の知識へのフォールバックなど）を選択できるダッシュボードを含む。
2. 確実性ベンチマーク：4 つの価値ベースのカテゴリーと 3 つの文脈タイプにまたがる 90 の非客観的な質問 - 文脈ペアから構成されるキュレーションされたデータセット。AI が適切に不確実性を表現する能力をテストするように特別に設計されている。
3. 実証的評価：2 つの異なる LLM を用いた、ベースライン RAG と 3 つの CERTA 構成の比較研究。

結果
実験は、CERTA がシステムの動作を適切な不確実性へとシフトさせることを示している。

• 「我不知道」の頻度：CERTA-1 と CERTA-2 は、ベースライン RAG に比べて「我不知道」の回答を有意に多く生成した。特に文脈が不完全または無関係な場合において顕著であった。
• 事実性：関連文脈がある場合、システムは適切に回答した。無関係な文脈の場合、ベースライン RAG は内部知識を使用して時折ハルシネーションを起こしたが、CERTA システムは厳密に客観的であり、不確実性を表現した。
• 個人的好み：ベースライン RAG は、主観的な質問に対して自信を持った回答を提供することがあった。CERTA アプローチは、客観的な回答の欠如を正しく特定し、「我不知道」を選択した。
• 迎合と道徳：ベースライン RAG と CERTA の両方が直接的な矛盾を避けたが、CERTA システムは対立する見解に同意または不同意する可能性が低く、代わりに「我不知道」をより頻繁に選択した。CERTA はまた、文脈が不完全な場合、厳格な道徳説教を避けることで道徳的判断においてより慎重であることを示した。
• モデルの違い：オープンソースの Mistral モデルは GPT-4.1 よりも本質的な不確実性を示したが、CERTA は両方を改善した。
• 一貫性：確実性指示の追加は、システムが正しい回答を誤った回答に変更させる原因にはならなかった。主に、適切に慎重な回答の割合を増加させた。

意義と主張
本論文は、自己反省に基づく確実性を伝達することが、人間の価値である慈愛と整合する AI への適切な信頼構築の有効なメカニズムであると主張している。著者らは以下のように結論づけている。

• CERTA-0は、確実性に関する基本的な誠実さを導入することで、ベースライン RAG を改善するのに十分であることが多い。
• CERTA-1は、質問 - 文脈関連性スコアを明示的に利用することで、より慎重なアプローチを提供する。
• この手法は、ハルシネーションを起こす代わりに不確実性を認めることで、高リスクシナリオにおいてシステムを「リスク回避的」にすることを可能にする。
• このアプローチは検索器非依存（retriever-agnostic）であり、検索メカニズムそのものではなく、提供された文脈の品質のみを評価する。

著者らは、実際の信頼の較正を測定するためにダッシュボードがまだ人間ユーザーで検証されていないことを指摘し、主張に対して謙虚である。彼らは、迎合を人工的に緩和する可能性がある多肢選択形式の使用や、極端な値ではなく中程度のスコア（約 0.5）を生成する傾向があるコサイン類似度への依存など、限界を認めている。今後の研究として、ユーザー調査の実施や、よりノイズの多いデータソースでのテストが提案されている。