Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning

技術要約：高リスクAIにおける決定論的な意思決定

問題提起：介入バイアスと評価のギャップ
本論文は、高リスクな教育アドバイジングに導入されたゼロショット大規模言語モデル（LLM）エージェントにおける決定的な失敗モードとして、**介入バイアス（intervention bias）**を特定している。タスク固有の学習なしでは、これらのエージェントは、研究者が定義した事後的な最適解である「オラクル（oracle）」ポリシーが「何もしないこと」を命じている場合でも、体系的に介入（例：チュータリング、リマインダー）を推奨してしまう。Open University Learning Analytics Dataset（OULAD）を用いた研究では、ゼロショットのGPT-4oは、56日目時点で学生の73%に対して介入を推奨したが、オラクル・ポリシーは70.1%に対して「アクション不要」と指定していた。これは43パーセントポイントの偽陽性率をもたらし、大規模な教育機関において数千件の不必要なアドバイザーへの連絡を発生させ、システムの信頼性を損ない、アラート疲れを引き起こす。

さらに、本論文は**評価のギャップ（Evaluation Gap）**を指摘している。標準的なLLM-as-judgeフレームワーク（例：DeepEval G-Eval）は、このバイアスに対して構造的に盲目である。これらのフレームワークは、過剰処方を行うシステムが示す特徴である流暢さ、一貫性、精緻さを報酬として与える一方で、誤った決定の質を罰することには失敗する。その結果、アウトカムの正確性が最も低いシステムが、最も高い評価スコアを受け取ることがあり、逐次的なアドバイザリー・タスクにおける知覚されたパフォーマンスと実際のパフォーマンスの間に危険な乖離を生じさせる。

手法：EAV-DTパイプラインと6アーム・アブレーション
これらの課題に対処するため、著者らは非構造化データの取り込みと決定論的な意思決定を分離する、2段階のアーキテクチャを提案し検証している。

1. 第1段階（取り込み）： データは、型定義された固定次元の**エンティティ・属性・値（EAV）**状態ベクトルへと正規化される。本研究では、抽出ノイズから決定ロジックを分離するため、構造化されたOULADのCSVフィールドを12次元のベクトルへと決定論的にマッピングすることで、第1段階を実現している。
2. 第2段階（決定）： **決定トランスフォーマー（Decision Transformer: DT）**がEAV状態ベクトル上で動作する。このDTは、小規模（62.4万パラメータ）でオフライン学習されたモデルであり、「Return-to-Go（RTG）」スカラーと状態をマッピングし、出力ロジットに対する決定論的なargmaxを介して介入アクションを実行する。

本研究では、4つの時間的カットオフ（14日、28日、56日、112日）において、800人の学生を対象とした6アーム・アブレーション設計を採用している。

• アームAおよびB： 商用RAG（ベクトル検索）およびSQL拡張型RAGを使用するGPT-4o。
• アームC： EAV状態ベクトルを直接GPT-4oに提示して意思決定を行う。
• アームDおよびE： EAV状態ベクトルを処理するONNX Decision Transformer（アームEは、ナラティブ生成のみのためにローカルのCPUネイティブLLMを使用）。
• アームF： DTと同じオラクル・ラベルで学習された、表形式MLのベースラインとしての教師ありXGBoost分類器。

主要な貢献と結果

1. 介入バイアスの定量化：
   ゼロショットLLMアーム（A, B, C）は、体系的な過剰処方を示す。56日目において、アームC（GPT-4o + EAV）は、オラクルと比較して43.6パーセントポイント過剰に処方を行った。これは、1万人規模の教育機関において、1サイクルあたり約4,300件の不要なコンタクトに相当する。対照的に、教師ありアーム（D, E, F）は、キャリブレーション誤差がほぼゼロであり、介入バイアスを完全に排除することに成功した。

2. 教師ありポリシー学習によるバイアスの排除：
   軌跡条件付けされたDecision Transformer（アームD/E）およびスナップショット型のXGBoost分類器（アームF）は、いずれも高いエキスパート・ポリシー忠実度（EPF）を達成した。

• アームD/E（修正版v3）： 14日目で99.8%、112日目で95.4%のEPFを達成し、全5つのアクションクラス（reduce_loadのような稀なクラスを含む）において、マクロF1値79%、マクロ再現率85%を記録した。
• アームF（XGBoost）： 14日目で99.8%を達成したが、112日目までに89.9%に低下した。これは、DTの軌跡条件付けが長期的な逐次データに対してアーキテクチャ上の優位性を持つことを示唆している。
• 比較： DTは、ほとんどのカットオフにおいて、ゼロショットLLMアーム（EPF 47–67%）および多数派クラス・ベースラインを大幅に上回った。

3. 決定論と監査可能性：
   アームDおよびEは、ONNX argmaxの数学的保証により、**アクション反転率（action flip rate）0%**を達成した。逆に、LLMアームは非ゼロの反転率を示した（アームA: 2.9%、アームB: 0.8%、アームC: 0.2%）。これは、規制環境において監査証跡を信頼できないものにしている。

4. ハードウェア主権とレイテンシ：
   このアーキテクチャは、ゼロ・エグレス（データ外部流出なし）かつCPUネイティブな推論を可能にする。

• レイテンシ： ONNX DTの決定ステップは、汎用CPU上で5ミリ秒未満で実行され、これはゼロショットLLMの決定（アームC）に対して454.8倍の高速化、SQL-RAGパイプライン（アームB）に対しては2,500倍の高速化を意味する。
• コスト： アームE（ローカルのGranite 4.0 Small）は、APIコスト**$0.00**、およびデータ・エグレス・ゼロを実現し、FERPA/GDPRの要件を満たしながら、クラウドベースのアームDと同等の決定忠実度を実現した。
• 再学習： DTは新しいアウトカムデータを用いて、単一のCPUで4分未満で再学習が可能であり、GPUへの依存なしにポリシーのホットスワップができる。

5. 評価のギャップ：
   本研究は、DeepEval G-Evalのランキングが、アウトカムによって検証された正確性と直交していることを確認した。DeepEvalは、アームB（SQL-RAG）がアームA（ベクトルRAG）よりも高い精度を持つと判断したが、実際にはアームBの方が決定精度が著しく低かった（14日目において、アームBは47.5%、アームAは65.4%）。これは、流暢性に基づく評価が、決定の質に対する信頼できるプロキシ（代理指標）ではないことを示している。

意義と範囲
本論文は、ゼロショットLLMのデプロイメントは、構造的にミスマッチであることを実証している。特に、「何もしないこと」が有効かつ必要なアクションとなる、保守的で高リスクなアドバイザリー・タスクにおいては顕著である。主要な貢献は、教師ありポリシー学習（DTまたはXGBoost経由）が、アウトカム・ラベル付きデータで学習された場合に、このバイアスを確実に排除できるという実証的検証にある。

著者らは、EAV-DTパイプラインを「リビング・フライホイール（生きているはずみ車）」として提案している。これは、非構造化データが型定義された状態（EAV）に正規化され、決定論的な（5ミリ秒未満の）決定モデル（DT）にコンパイルされ、オフラインで数分以内に再学習されるシステムである。このアーキテクチャは、エージェンティックRAGのレイテンシと確率性を、主権があり、監査可能で、コストのかからない決定エンジンへと置き換えるものである。

謙虚さと限界
著者らは、本研究が第2段階（制御された構造化EAV入力に対する決定の質）のみを検証していることを明示している。

• エンドツーエンドの非構造化に関する主張の不在： 本研究は、第1段階の抽出ノイズ（ハルシネーション、スキーマドリフト）に関する完全なパイプラインの動作を主張するものではない。第1段階の課題は、追跡研究へと委ねられている。
• プロキシとしてのオラクル： 高い忠実度（93–99%）は、研究者が定義した事後ルールへの適合を反映しており、必ずしも現実世界の人間のアドバイザーやノイズの多い現実世界の入力に対する超人的な汎化性能を意味するものではない。
• 評価のギャップ： LLM-as-judgeフレームワークが介入バイアスを検出できないという発見は、逐次的介入という特定のドメインにおける失敗として提示されており、あらゆるタスクに対するLLMジャッジ全般への批判ではない。

要約すると、本論文は、高リスクな逐次的意思決定においては、「RAGの代替品」とは、より優れたプロンプトやより大きなモデルではなく、決定論的なポリシー学習とナラティブ生成を分離し、キャリブレーション、監査可能性、および主権を保証する、デカップリングされたアーキテクチャであると主張している。