Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs
本論文は、検証済みの出力が、実証されたツール呼び出しおよびカーネルによってチェックされた証明から構造的に導出されることを保証し、かつ、根拠のない主張を明示的に監査または棄却することで、経験的な推論におけるLLMのハルシネーションを排除する、Lean 4ベースのエージェンティックな推論アーキテクチャであるEG-VARを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、世界について語るのが大好きな、超スマートで話し好きなロボット助手（LLM）を想像してみてください。問題は？このロボットは時々、自分自身の記憶に自信を持ちすぎて、事実を捏造したり、目の前にある実際の証拠を無視したりしてしまうことです。それはまるで、教科書を使って数学の問題をチェックするように求められているのに、教科書に何と書いてあろうとも、自分が正しいと思っている答え（夢の中で見た記憶など）を書き込んでしまう学生のようなものです。
長い間、人々はこのロボットに計算機やデータベースのような外部ソースという「道具箱」を与えることで解決しようとしてきました。しかし、この論文は、単にロボットに道具箱を手渡すだけでは不十分であると論じています。ロボットは依然として道具箱を無視したり、道具箱から数値は使うものの、自分の物語に合うように論理をねじ曲げてしまうかもしれません。それは、シェフに新鮮で検証済みの食材を与えても、調理法はシェフの自由であるため、最終的な料理が台無しになる可能性があるようなものです。
大きなアイデア：「検証済み主張（Verified Claim）」の工場
著者たちは、Junyu Ren氏を中心として、EG-VAR（Evidence-Grounded Verified Agentic Reasoning：証拠に基づいた検証済みエージェント推論）と呼ばれる新しいシステムを構築しました。これは、単に質問に答えるだけのロボットではなく、非常に厳格で、まばたきもしない検査官がいる高セキュリティの工場だと考えてください。
この工場の仕組みは、以下のステップで行われます：
- ツール層（信頼できる運び屋）： まず、信頼できる、退屈で決定論的な機械（チャット形式のロボットではなく）が、スプレッドシートやデータベースのようなソースへ行き、生の数値を持ち帰ります。そして、これらの数値に「検証済み（Verified）」のスタンプを押します。これが、工場に本物のデータを取り込む唯一の方法です。
- フォーマライザー（翻訳者）： チャット形式のロボット（LLM）は、次に人間の質問を、Lean 4と呼ばれる厳格な数学的言語へと翻訳するよう求められます。これは、ロボットに段落を書かせるのではなく、法的な契約書や数学の証明を書かせることに似ています。
- カーネル（まばたきもしない検査官）： これが最も重要な部分です。非常に厳格で小さなコンピュータプログラム（Leanカーネル）が、検査官として機能し、ロボットの「契約書」を一行ずつチェックします。
- 黄金律： 検査官には、「信頼できる運び屋からスタンプと封印された数値を示さない限り、ある事実を**VERIFIED（検証済み）**であると主張してはならない」というルールがあります。
- もしロボットが数値を捏造したり、数値は使っているものの論理のつなぎ方を間違えたりした場合、検査官はそのすべてを**拒絶（reject）**します。
- 結果：
- 証明がパスした場合、工場は**VERIFIED（検証済み）**な回答を出力します。この回答には「再生可能な監査証跡（replayable audit trail）」が付随しており、誰でも後で数学的な計算を再実行して、その回答が元のデータからどのように構築されたのかを正確に確認できます。
- 証明が失敗した場合、工場は推測しません。ABSTAIN（棄権）（つまり「分かりません」または「証明できません」）と答えます。これは、自信満々な嘘をつくのではなく、正直な「降参」です。
この論文が実際に発見したこと
著者たちは、表（スプレッドシート）に関する特定の120問の質問を用いてこのシステムをテストしました。
- 「完璧な」スコア： 質問が明確で、ロボットに適切なツールが与えられた場合、EG-VARは120問中120問を正解しました。精度は100%でした。
- 競合： 同じツールを使用しながらも、このような厳格な検査官を持たなかった他のシステムは、120問中114問（95%）しか正解できませんでした。彼らは依然としてミスを犯していました。
- 「反事実的（Counterfactual）」テスト： これが真のストレス・テストでした。著者たちは、ロボットが（学習時の記憶として）「知っている」内容と矛盾するように、表の数値を密かに変更しました（例：ある国の人口を極端に小さな数字に変更するなど）。
- 厳格な検査官がいない場合、ロボットは新しい数値を無視して、自身の古い記憶に固執することを**80%から90%**の割合で行いました。
- EG-VARを使用した場合、システムは新しい数値に対して100%忠実でした。ロボットの古い記憶がいかに強力であっても、検査官が新しいデータを使用することを強制したのです。
この論文が否定していること（「進入禁止区域」）
この論文は、このシステムが何であり、何ではないのかを非常に明確に述べています。
- あらゆる幻覚（ハルシネーション）に対する魔法の治療薬ではありません。 論文では、ロボットが人間の質問を数学的言語へと翻訳する過程で間違いを犯す可能性があることを明示しています。もしロボットが質問を誤解して間違った数学の問題を書いてしまった場合、検査官はその数学の問題を完璧にチェックしますが、その答えは元の質問に対しては依然として間違ったものになります。
- 彼らのテストでは、この「翻訳エラー」は、あるモデルで約3.3%、より強力なモデルでは**1.7%**発生しました。
- 悪いデータを修正することはありません。 もし元のスプレッドシートに嘘が含まれていれば、システムは忠実にその嘘を検証します。このシステムは、答えが「ソースから来ていること」を保証しますが、「ソースが真実であること」を保証するものではありません。
- 「おそらく」を扱うシステムではありません。 論文は、「自信度スコア」（例：「80%の確信があります」）を出すシステムに対して異議を唱えています。代わりに、EG-VARは厳格な「Yes/No」のゲートを使用します。検証済みの証明があるか、あるいは正直な「棄権（abstain）」があるかのどちらかです。
どの程度確実なのか？
著者たちは、自らのシステムの構造的な安全性について非常に自信を持っています。彼らは、以下のことを数学的に証明しました（定理3.1および3.2）：
- スタンプされたツール呼び出しによる裏付けがない限り、**VERIFIED（検証済み）**な回答が現れることは決してない。
- **VERIFIED（検証済み）**な回答におけるすべての論理ステップは、カーネルによってチェックされており、数学的に妥当である。
しかし、人間の言語を数学的言語へと翻訳するロボットの正確さに関しては、より慎重な姿勢をとっています。彼らは特定のテストにおいてエラー率（3.3%および1.7%）を測定し、ロボットが正しく翻訳できるように訓練すれば、これらの数値は改善できる可能性があると示唆しています。しかし、「システムが静かに嘘をつかない」という「安全性の底（safety floor）」は、単なるロボットの脳内ではなく、アーキテクチャ自体に組み込まれています。
結論
EG-VARは、使用したすべての部品のレシート（領収書）を示さない限り、製品を出荷することを拒否する工場のようなものです。もしロボットが偽物の部品を紛れ込ませようとしても、工場はラインを止め、「ダメです、これは出荷できません」と言います。これは、「嘘をつくロボット」という問題を、「レシートの欠如」という問題へと転換するものです。そして、レシートの欠如は、嘘を見つけるよりもはるかに容易で、対処しやすい問題なのです。このシステムはすべての問題を解決するわけではありません（ロボットは依然として注文を誤解する可能性があります）が、工場が「検証済み（Verified）」と言うとき、それは本当に「検証済み」であることを保証します。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。