テクニカル・サマリー：Never the Number（数値を生成してはならない）：回答が事実として消費されるAIシステムのための構造的棄権

1. 問題：事実消費型システムとハルシネーションのリスク

本論文は、「事実消費型」環境（エンタープライズの運用ダッシュボードやツールを使用するエージェントなど）にデプロイされた、大規模言語モデル（LLM）によるText-to-SQLシステムの決定的な信頼性失敗について論じている。これらの環境では、エンドユーザー（人間のマネージャーや自動化されたエージェント）は、生成されたクエリを検証することができない。彼らが受け取るのは、最終的な数値回答のみである。

核心となる問題は、LLMがカラムを捏造したり、データの集計を誤ったり、スキーマを誤解したりした場合、その結果として「流暢な誤答（fluent wrong answer）」が生成されるが、これは使用時点では正しい回答と区別がつかないということである。アナリストがSQLを監査できるシナリオとは異なり、ここでのエラーは不可視である。論文は、これらのシステムにおいて、精度（accuracy）だけでは不十分であり、システムはどの回答が信頼できるかをマークするメカニズムを備える必要があると主張している。現在の統計的手法（キャリブレーションされた信頼度や選択的予測など）は、依然として信頼性を判断する前に候補となる回答を生成してしまうため、不十分であるとされる。なぜなら、それらはユーザーに対して、もっともらしいが潜在的に捏造された数値を残してしまうからである。

2. メソドロジー：「境界不変条件」と構造的棄権

著者らは、単一の**境界不変条件（Perimeter Invariant）**によって制御される、**構造的棄権（Structural Abstention）**と呼ばれるアーキテクチャ・パターンを提案している。

「捏造を行う可能性のあるコンポーネントは、システムが回答する質問に影響を与えることはあっても、システムが返す値に影響を与えることは決してあってはならない。」

この不変条件は、システムを2つの明確な領域に分割する：

1. 生成的シェル（Generative Shell）: LLMが含まれる。未定義の入力の処理、ユーザー意図の解釈、応答の言い回し、および対話状態の管理を行う。ここでのエラーは回復可能（例：明確化のための質問）であり、ユーザーに見えるものである。
2. 決定論的カーネル（Deterministic Kernel）: 生成的コンポーネントを含まない。完全に指定された質問を、事前定義された「回答可能な質問の形状（テンプレート）」の集合に照合し、決定論的な実行を通じてクエリへとコンパイルする。ここでのエラーは設計上不可能である。なぜなら、マッピングが固定されており、監査可能だからである。

ワークフロー（限定回答対話ループ）:

1. インタープリター（Interpreter）: ユーザー入力から確定的なエンティティを抽出する。未記入の部分は空欄として残す。
2. エリシター（Elicitor）: 状態が不完全な場合、シェルは不足している情報を求める。
3. グラウンダー（Grounder）: 決定論的なコンポーネントが、現在の状態が有効なテンプレートに一致するかどうかを確認する。一致しない場合、近似するのではなく、明示的に失敗（拒絶）する。
4. 確認（Confirmation）: 値が計算される前に、システムはユーザーに対し、これから回答しようとしている質問を自然言語で再提示する。ユーザーはこの内容に同意しなければならない。
5. コンパイラー（Compiler）: 決定論的な関数が、確認された質問をクエリ（例：SQL）にマッピングする。
6. **レンダラー（Renderer）: ** シェルは既知のデータを用いて最終的な結果を構成する。

構造的棄権 vs 統計的棄権:
本論文は、自らのアプローチを統計的棄権と区別している。統計的手法は回答を生成した後に信頼度を推定して棄権するかどうかを決定するが、構造的棄被は、回答不可能な要求を**表現不可能（unrepresentable）**にする。要求が有効なテンプレートにマッピングできない場合、システムは近似することなく「語るべきことが何もない」として即座に拒絶する。これには信頼度の推定を必要としない。

3. 主な貢献

1. アーキテクチャ不変条件: 生成的な影響（質問の形成）と値の計算（回答の生成）を厳格に分離する、境界不変条件の定義。
2. 構造的棄権: 棄却が、信頼スコアに基づく統計的な決定ではなく、システムの表現能力における構造的な特性となる、新しい設計軸。
3. 5つの決定レシピ: 以下の決定を必要とする、ドメインに依存しない実装フレームワーク：
   • 回答可能性の単位（例：テンプレート）。
   • 部分的なリクエストの表現方法（例：スロットフレーム）。
   • コンパイル対象（例：SQL、APIコール）。
   • 確認のインターフェース（ユーザーが読める再提示）。
   • 拒絶戦略（能力の開示）。
4. エージェントシステムへの拡張: 不変条件を、返される値から実行されるアクションへと一般化すること：「捏造を行う可能性のあるコンポーネントは、提案されるアクションに影響を与えることはあっても、実行されるアクションに影響を与えることは決してあってはならない。」
5. プロダクション・ケーススタディ: 小売分析の文脈における、GROUNDERという名称のシステムの2年間のデプロイメント、および2つの生成的な代替案（ファインチューニングされたText-to-SQLパーサーとツール検索エージェント）との比較。

4. 結果とデプロイメントの知見

論文は、小売データをクエリするために使用されたプロダクションシステム（GROUNDER）について報告している。

• 信頼性: システムは「流暢な誤答」を効果的に防いだ。エラーは、誤った数値ではなく、目に見える拒絶や明確化のための質問として現れた。
• カバレッジ vs 安全性: システムは、テンプレート・プール外の質問に対しては推測するのではなく、回答を拒否することで、カバレッジを安全性のために犠牲にした。
• 代替案との比較:
  • ファインチューニングされたパーサー: より広いカバレッジを実現したが、正解と不正解の出力を区別するシグナルを提供できなかった。そのため、事実消費型システムにおける主要な経路としては不適切であると判断された。
  • ツール検索エージェント: ツール呼び出しをオーケストレートするためにLLMを使用するこの代替案が、最終的に後継として採用された。決定的なのは、カーネルの核となる特性を維持したことである。すなわち、算術計算はデータベースに委譲され、ツール呼び出しのトレースが部分的な監査パスを提供した。これは、多少の決定論性を犠牲にしレイテンシを増加させたものの、「モデルによる数値の計算を行わない」という原則を維持していたため、ファインチューニングされたパーサーよりも好まれた。
• データのブートストラップ: 決定論的カーネルが、最終的にファインチューニングされたパーサーの訓練に必要なラベル付きデータ（質問とSQLのペア）を生成した。これは、制約されたシステムが生成的な後継者を育成できることを示している。

5. 重要性と主張

論文は、回答が監査なしに事実として消費されるシステムにおいては、信頼性は精度の問題ではなく、構造の問題であると主張している。

• 「決して数値を生成しない（Never the Number）」原則: 最も重要な貢献は、生成モデルは決して最終的な値を計算すべきではないという主張である。モデルは質問を形成する。データベースが回答を計算する。
• 監査可能性: カーネルは決定論的な関数であるため、確認された質問さえあれば、モデルの内部状態のログを必要とせずに、あらゆる回答を再構成できる。
• 失敗の可視化: このパターンは、失敗モードを「静かなハルシネーション」から「目に見える拒絶」へと変換する。著者らは、高リスクの意思決定を行う文脈においては、目に見える拒絶の方が流暢な誤りよりも好ましいと主張している。
• 謙虚さ: 著者らは、このパターンは探索的な分析（質問の形状が反復的でない場合）の問題を解決するものではないことを明言している。これは「反復的でパラメータ化された」質問のためのものである。特定の構成要素（例：バイリンガル翻訳モデル）は現在では時代遅れであるが、不変条件は依然として有効である。

結論として、論文は、特定のコードは古くなっているものの、生成的なシェルを正当性がクリティカルなパスの外側に置くというアーキテクチャ上の原則は、事実消費型のAIシステムにおいて信頼を確保するための唯一の方法であると述べている。彼らのシステムの「後継」は、より正確なパーサーではなく、質問の定式化と値の計算の間の分離を維持したツール使用エージェントであった。