Beyond Post-hoc Explanation: Toward Glassbox AI via Probabilistic Mediation

技術要約：事後的な説明を超えて：確率論的媒介によるグラスボックスAIに向けて

問題提起
本論文は、高リスクな制度的設定（公共行政、ヘルスケア、法的推論など）において、インフラストラクチャとして大規模言語モデル（LLM）を導入することに伴う、極めて重要なガバナンス上の課題に対処している。中心となる問題は、LLMの推論の不透明性であり、これが意思決定を法的および制度的に維持不能なものにしていることである。著者らは、支配的なパラダイムである「事後的な（post-hoc）」説明可能性（LIMEやSHAPなど）は、これらの文脈においては構造的に不適切であると主張している。事後的な手法は、以下の3つの具体的な失敗モードに陥る：

1. 不安定性（Instability）： 説明が入力の微小な摂動によって恣意的に変化するため、一貫した推論を提供できない。
2. 非争訟性（Non-contestability）： 説明が別のメカニズムによって生成された近似であるため、モデルの実際の推論プロセスとの正式な関係性が欠如しており、影響を受ける当事者が真の異議申し立てを行うことを妨げる。
3. アカウンタビリティのギャップ（The Accountability Gap）： 事後的な手法は影響力のある特徴量を特定するが、予測がドメイン知識、規範的制約、または明示的な基準と一致しているかどうかを検証することはない。

論文は、根本的な原因は説明の欠如ではなく、システム内における「構造化された推論」の欠如にあると断じている。

手法：グラスボックス・フレームワーク
著者らは、**グラスボックス・フレームワーク（Glassbox Framework）と呼ばれる新しいアーキテクチャのパラダイムを提案している。これは、説明責任の所在を「事後的な（post-hoc）」ものから「事前の（ante-hoc）」ものへと移行させるものである。その中核となるメカニズムは、生成モデルの透明な媒介層としてベイジアンネットワーク（BN）**を使用することである。

このアーキテクチャは、垂直に配置された3つの機能層で構成される：

1. ガバナンス層（The Governance Layer）： ドメインエキスパートや法的当局が、現在の制度的標準に基づき、BNの構造（変数、有向非巡回グラフ/DAGの因果構造、および事前分布）を指定する、制度的（非計算的）な層である。この層は、構造の変化が承認され、文書化されることを保証するために、監査ログと更新プロトコルを管理する。
2. 推論層（The Inference Layer）： LLMとBNが反復的に相互作用する技術的中核である。
   • LLMは、非構造化入力の初期パースを行い、BN変数の候補となる割り当てを提案する。
   • これらの提案は、自然言語をBNの離散的で形式的に指定された変数空間へとマッピングする**意味的翻訳インターフェース（semantic translation interface）**を通過する。
   • BNは、全ネットワークではなく、文脈に関連するサブグラフを活性化して確率推論を実行する。
   • 整合性チェック（Consistency Checking）： BNは、LLMによる割り当てをエンコードされたドメイン構造に照らして検証する。もし割り当てが不整合（例：矛盾する証拠）である場合、BNはLLMに対してターゲットを絞った再クエリを生成する。このループは、一貫したインスタンス化が達成されるか、あるいは構造的に情報量のある失敗が通知されるまで継続する。
   • BNは事後分布と完全な推論トレースを出力し、それはLLMによって再び自然言語へとレンダリングされる。
3. アカウンタビリティ層（The Accountability Layer）： この層は、制度的なレビュー、不服申し立て、および異議申し立てのために、完全な推論トレースを利用可能にする。トレースは事前の構造の直接的な記録であるため、ステークホルダーは特定のノード、条件付き依存関係、またはガバナンス上の決定に対して異議を唱えることができる。

主な貢献
本論文は、主に4つの貢献を行っている：

1. 概念的アーキテクチャ： 説明可能なAI（XAI）やニューロ・シンボリック・アプローチとは異なる、説明責任のある生成AIのための概念的アーキテクチャとして、グラスボックス・フレームワークを導入し、形式的に特徴づけている。
2. BN-LLMインターフェース： LLMとBNの間のインターフェースを、事後的な説明可能性とは別個の、独自の科学的対象として定義している。このインターフェースは、分布的で暗黙的なLLMの表現を、離散的で構造化されたBNの表現へとマッピングする必要がある、中心的な技術的課題として特定されている。
3. 運用の実証： 給付資格のシナリオを用いた構造化された思考実験を通じて、フレームワークの運用の特性を示している。これは、システムがいかにして意味的な曖昧さを処理し、（雇用状況と所得シグナルの間の）不整合を検出し、ノードレベルの異議申し立てを可能にする監査可能なトレースを生成するかを実証している。
4. 研究アジェンダ： フレームワークを大規模に実現するために解決すべき5つの基礎的な課題を特定している：
   • 意味的接地（Semantic Grounding）： 文脈依存的な自然言語と、文脈に依存しない確率的変数の間のギャップを埋めること。
   • 規範的ドメインにおける構造学習（Structure Learning in Normative Domains）： 単なる統計的なものではなく、データと整合し、かつ規範的に正当化可能な（法的/倫理的な）DAGを学習または抽出する方法を開発すること。
   • 確率論的インターフェース（Probabilistic Interface）： BNの事前分布を保持するために、「仮想証拠（virtual evidence）」を利用して、LLMのトークン分布とBNの条件付き確率テーブルとの間の、原理的な数学的マッピングを構築すること。
   • ヒューマン・イン・ザ・ループによるガバナンス（Human-in-the-Loop Governance）： エキスパート間の意見相違、非技術的な主体による監査、および承認されたモデル更新のための正式なプロトコルを確立すること。
   • スケーラビリティと汎用性（Scalability and Generalisation）： メタレベルの構造や転送メカニズムが、フレームワークを異なるドメイン（例：給付資格から医療トリアージへ）間で汎用化できるかどうかを調査すること。

結果と主張
本論文は、完全に実装されたシステムや経験的な実験結果を提示するものではない。代わりに、理論的およびアーキテクチャ的な分析を提供している。

• 理論的結果： 著者らは、グラスボックス・フレームワークがそのアーキテクチャから直接導かれる4つの特性を備えていることを実証している：構造の透明性（推論前に推論構造を検査可能）、出力の争訟性（特定のノードや依存関係を対象とした異議申し立てが可能）、形式的な不確実性の定量化（点予測ではなく、ネイティブな確率分布）、およびモジュール性（ドメイン固有の知識を、一般的なアーキテクチャを変更することなく更新可能）。
• ケーススタディ分析： 給付資格のシナリオにおいて、フレーム本フレームワークは構造的不整合（例：失業への高い確信と所得の証拠との矛盾）を検出し、ターゲットを絞った再クエリをトリガーし、結果として法定条件に明示的に結びついたトレースを生成することが示されている。これは、不安定で争訟性のない要約を生成する標準的なLLMパイプラインとは対照的である。

意義と範囲
本論文は、グラスボックス・フレームワークが、根本的に説明責任のあるAIシステムへの「原理的な道筋」を提示していると主張している。その意義は、不透明なモデルを「説明」することから、推論構造が「本質的に」検査可能であり、統治されているシステムを「設計」することへと焦点を移した点にある。

著者らは自らの主張について謙虚であり、このフレームワークは完成したシステムではなく、一つの「研究の方向性」であることを明示している。彼らは、このフレームワークの実現が、特に「意味的な整合性（言語と確率の間）」および「確率的なガバナンスの形式化」といった未解決の科学的問題の解決にかかっていることを強調している。彼らは、事後的な説明は、構造化された説明責任のある推論の代わりにはなり得ないため、これらの基礎的な問題を解決しない限り、LLMの高リスクなインフラへの移行は、法的および倫理的に不安定なままとなるであろうと論じている。