💬 NLP

Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

本論文は、知識集約的タスクにおける幻覚や誤った推論を体系的に軽減するために解釈可能な導出木を構築する、検索拡張生成のための新たな論理ベースのプローミング手法である「Derivation Prompting」を紹介する。

原著者： Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

原著者： Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に知的で読書量の多い図書館司書（AI）を想像してください。この司書は質問に答えるのが得意ですが、答えがすぐに明らかでない場合、時にはでたらめを言ったり、混乱したりすることがあります。これは現在の AI モデルに共通する問題であり、特に文書の山に基づいて特定の質問に答えるよう求められた際に顕著です。

本論文は、この司書と対話する新しい方法として「導出プロンプティング（Derivation Prompting）」を導入します。単に「答えは何ですか？」と問い、最善を祈るのではなく、著者たちは司書にパズルを解くか、数学の問題を証明するかのように、答えを段階的に構築することを教えます。

以下に、これを簡単な概念に分解して説明します。

1. 問題：「幻覚」を起こす図書館司書

通常、AI に質問をすると、それは本からいくつかの関連ページを拾い出し、すぐに答えを書こうとします。時には正解することもあります。しかし、しばしば「幻覚（ハルシネーション）」を起こします。つまり、実際には本に載っていないことを自信満々に述べたり、事実を混同したりすることです。これは、教科書を見る代わりに、知っているつもりだからといってテストで答えを推測する生徒のようなものです。

2. 解決策：「論理の木」を構築する

著者たちは、論理証明に触発された新しい方法を提案します。木を構築している想像してください。

根：これらは文書で見つけた事実（「仮説」）です。
枝：これらは、それらの事実をつなぐために取るステップです。
果実： これが最終的な答えです。

果実に直接飛びつくのではなく、AI はまず枝を成長させることを強制されます。事実を組み合わせるために、特定のルール（レシピのようなもの）に従わなければなりません。

3. ルール：AI の「道具箱」

論文は、ボードゲームの動きに似た、AI が行える「動き」の小さなセットを定義しています。例えば：

抽出（Extract）： 「文書からこの特定の文を取り出す。」
結合（Combine）： 「事実 A と事実 B を取り出して、それらを組み合わせる。」
洗練（Refine）： 「この事実を質問に合うように言い換え直す。ただし、意味は変えないこと。」
無情報（NoInfo）： 「どの事実も役立たない場合、知らないことを認める。」

AI はルールを選び、それを事実に適用し、結果を書き留めなければなりません。その後、その結果を見て判断します。「これが最終答えか？そうでなければ、この新しい結果に対して別のルールを使う必要がある。」

4. これが役立つ理由：「建設現場」の比喩

通常の AI の答えを、壁を建ててそれが立つことをただ願う請負業者のように考えてください。壁が曲がっていた場合、倒れるまでなぜ曲がっているのか分かりません。

導出プロンプティングは、設計図と段階的な建設ログを提示しなければならない請負業者のようなものです。

解釈可能性： AI がステップの「木」を構築するため、中間の枝を見て、「待て、この 2 つの事実の組み合わせ方が間違っている」とか、「ここで事実を捏造している」と言うことができます。経路が見えるため、間違いを見つけ出すのがはるかに簡単です。
制御： AI にルールに従わせることで、迷走してでたらめを言う可能性が低くなります。これは AI に厳格なチェックリストを与えるようなもので、ステップを飛ばしたり、新しいステップを考案したりすることはできません。

5. 彼らが発見したこと

著者たちは、大学の行政規則に関する学生の質問に答えるという実世界の問題でこれをテストしました。3 つの方法を比較しました。

ロングコンテキスト： AI に本全体を一度に与える。
標準的な RAG： いくつかのページを拾って答える usual な方法。
導出プロンプティング： 新しい段階的なルール方式。

結果：

新しい方法は、「悪い」答え（誤ったものやでたらめを含んだもの）を大幅に減少させました。
必ずしも正解を見つけるのが速くなったわけではありませんが、与えられた答えの信頼性が大幅に向上しました。
これは非常に賢い AI モデル（Claude Opus）で最もよく機能しました。より小さく、能力の低いモデル（Claude Haiku）はルールに従うことができましたが、時折行き詰まったり、高品質な答えの数が減ったりしました。これは、AI が論理指示に従うために「十分に賢い」必要があることを示しています。

結論

この論文は、AI に論理的でルールベースの木構造を用いて「自分の作業を示す」ことを強制することで、推測を止めさせる方法を提案しています。これにより、AI は自信過剰な推測者から、慎重で段階的な問題解決者へと変わり、重要な事実ベースの質問に対してはるかに安全に使用できるようになります。

技術的概要：検索拡張生成のための導出プロンプト

問題定義
大規模言語モデル（LLM）は質問応答（QA）を高度化してきましたが、知識集約的でドメイン固有のタスクにおいて、特に幻覚や誤った推論を起こしやすいままです。検索拡張生成（RAG）フレームワークは、検索されたドキュメントに基づいてモデルの生成を接地させることでこれを緩和しようと試みます。しかし、Chain-of-Thought（CoT）や Tree of Thoughts（ToT）といった既存の推論強化技術は、中間推論ステップがどのように構築されるかについての明示的な制約を欠いています。この体系的な方法論の欠如により、モデルは制御されていない推論経路を生成し、文脈が提供されていても論理の欠陥や幻覚を引き起こします。

手法：導出プロンプト
著者らは、命題論理における論理的導出に触発された、RAG フレームワークの生成ステップのための新しい手法である導出プロンプトを提案します。この手法は、自由形式の回答を生成するのではなく、初期仮説（検索されたドキュメントチャンク）の集合から定義済みの規則を用いて結論を体系的に推論する構造化された「導出木」を構築します。

中核メカニズム: このプロセスは、検索されたチャンクを仮説の集合 $\{h_1, \dots, h_n\}$ として扱います。LLM は、自然言語で定義された規則のセットを適用してこれらの仮説を変換または結合し、クエリ $q$ に答える結論 $c$ を導き出すようタスクを与えられます。
規則セット: この手法は、自然言語で定義された特定の規則のセットを利用します。
- Extract（抽出）: 仮説の特定部分を分離する。
- Concat（連結）: 独立した仮説を結合する。
- Instantiate（具体化）: 仮説を特定のケースに一般化する。
- Compose（構成）: 共通要素を共有する仮説を統合する。
- Refine（洗練）: 意味を変えずにクエリに適合するように仮説を適応させる。
- NoInfo（情報なし）: 仮説に必要な情報が欠如していることを明示的に述べる。
アルゴリズム的実行: このプロセスは反復的です。LLM はどの規則を適用するかを決定し、関連する仮説を選択して、新しい結論を生成します。もしその結論が最終回答でない場合、それは後続のステップのために仮説リストに追加されます。
実装戦略: 著者らは 2 つの実装アプローチを評価しました。
1. ワンステッププロンプト: 各規則の適用を独立した LLM 呼び出しとして分離する。
2. 全体導出プロンプト: Few-Shot 戦略を用いて、LLM が単一の推論呼び出しで導出木全体を構築するように誘導する。
  研究により、全体導出プロンプトが $n$ 回の推論を 1 回に置き換えることで計算効率を大幅に向上させつつ、同等の結果をもたらすことが判明しました。

ケーススタディと評価
この手法は、ウルグアイの Universidad de la República 工学部の行政情報という特定のドメインで評価されました。

データセット: 過去のメールから派生した 135 の実ユーザークエリを、個人データを除去して処理したもの。
ベースライン: 本研究は、導出プロンプトを以下と比較しました。
- 標準 RAG（検索に Cross-Encoder を使用）。
- 長文脈ウィンドウアプローチ（完全なドキュメントをモデルに直接入力）。
モデル: 実験には Anthropic の Claude 3 ファミリー（Haiku と Opus）が使用されました。
評価指標: Claude Opus をジャッジとして用いた自動評価により、1〜5 点のスケールで回答を採点しました。評価基準は、「許容できない（矛盾している/誤り、1〜2 点）」と「許容できる（矛盾していない、3〜5 点）」を区別するものでした。

結果
実験により、導出プロンプトが RAG システムの精度を大幅に向上させることが示されました。

許容できない回答の削減: Claude Opus を用いた導出プロンプトは、標準 RAG の 77.8% や Long Context 手法の 76.3% に対し、89.6% の許容できる回答を達成しました。これは幻覚や矛盾する情報の大幅な削減を意味します。
精度対再現率: この手法は誤り（1 点と 2 点）を劇的に削減しましたが、必ずしも詳細な回答（4 点と 5 点）の数を増加させたわけではありません。他の手法が幻覚で失敗した多くのケースにおいて、導出プロンプトは NoInfo 規則を通じて情報の欠如を正しく特定し（3 点）、回答しました。
モデル依存性: この手法の有効性はモデルの能力と相関しています。Claude Opus は堅牢に機能しましたが、より小さな Claude Haiku モデルは誤りを削減したにもかかわらず、高品質な回答（4 点と 5 点）の数が減少しました。これは、有効な導出の構築には相当なモデル容量が必要であることを示唆しています。
解釈可能性: 重要な発見として、導出木は解釈可能であることが挙げられます。エラーが発生した場合でも、それらは特定の規則の適用（例：Refine ステップ中の幻覚）にまで遡って追跡可能であり、ユーザーは単に誤った回答を受け取るのではなく、誤った推論を特定できます。

意義と主張
本論文は、導出プロンプトが既存の推論技術に対する制御可能で解釈可能な代替手段を提供すると主張しています。定義済みの論理規則のシーケンスを通じて生成プロセスを強制することで、この手法はモデルの幻覚を起こす自由を制約し、回答が検索されたドキュメントに基づいたままであることを保証します。著者らは、この手法が精度を向上させ許容できない出力を削減する一方で、その成功は基盤となる LLM が規則ベースの論理を効果的に理解し適用する能力に依存すると強調しています。この研究は、適切な規則セットが定義されていれば、この論理ベースのアプローチが他の RAG シナリオ、および潜在的には非 RAG タスクにも一般化可能であることを示唆しています。