A Neuro-Symbolic Framework for Accountability in Public-Sector AI

本論文は、CalFresh の自動資格判定が法的規則と整合するように、法定オントロジー、規則抽出、ソルバーに基づく推論を統合する神経記号フレームワークを提案し、これにより追跡可能かつ異議申し立てが可能な手続的説明責任を可能にする。

要約

食料支援の受給者を決定する政府機関を想像してください。申請者に対して「拒否」を伝える際、その理由を説明する書簡を送付します。通常、これらの書簡は理解しにくい法律用語で書かれています。申請者はそれを読み、「それは妥当に聞こえる」と考えますが、実際には政府が規則を正しく遵守しているかどうかを確認することができません。彼らは、確認するための法的ツールを持たないため、その書簡を信頼するしかありません。

本論文は、これらの書簡を検証する新たな「デジタル審判」を提案します。その仕組みを、簡単な概念に分解して説明します。

問題：官僚制の「ブラックボックス」

政府の意思決定プロセスをブラックボックスと捉えてみてください。あなたの情報を入力すると、決定が出力されます。場合によっては、そのボックスはコンピュータプログラムであり、場合によっては複雑な規則集に従う人間です。問題は、あなたに送られる「説明書簡」が表面上は適切に見えても、裏では規則を破っている可能性があることです。

現在、私たちは「解釈可能性」、つまりコンピュータの思考を可視化することに依存しています。しかし、著者らは法的な文脈においては、単に思考を「見る」だけでは不十分だと主張します。必要なのは監査可能性です。あなたが購入した品物と領収書が一致するか確認するように、説明が実際に法律と一致するかどうかを知る必要があるのです。

解決策：「翻訳者」と「規則チェッカー」

著者らはニューロ記号フレームワークと呼ばれるシステムを構築しました。これは、二人のチームが協力して働くようなものと考えることができます。

1. 翻訳者（「ニューラル」部分）：
   想像してください。非常に賢いロボットが、英語で書かれた複雑で乱雑な政府の法律と、申請者に送られた乱雑な説明書簡を読み取ります。このロボットの役割は、その人間の言語を、コンピュータが完全に理解できる厳密な数学的言語に翻訳することです。詩を正確な数学方程式のセットに翻訳する翻訳者のようなものです。

   • 論文内での実装: 彼らは大規模言語モデル（LLM）を用いて、「2,000 ドル未満の収入である必要がある」といった法律を、形式的な規則 If Income > 2000, Then Not Eligible（収入が 2000 を超える場合、不適格）に変換しました。

2. 規則チェッカー（「記号」部分）：
   法律と説明書簡が数学方程式に変換されると、厳格な論理マシン（SMT ソルバーと呼ばれる）が介入します。このマシンは推測しません。計算します。「説明書簡が決定を数学的に証明しているか？」と問いかけます。

   • もし書簡が「収入が多すぎるため拒否された」と述べ、数学があなたが実際に収入が多すぎることを示している場合、マシンはSAT（充足可能/有効）と答えます。説明は妥当です。
   • もし書簡が「収入が多すぎるため拒否された」と述べ、しかし数学があなたが収入が多すぎないことを示している場合、マシンはUNSAT（非充足可能/無効）と答えます。人間にはもっともらしく聞こえても、説明は嘘か誤りです。

実世界でのテスト：CalFresh

チームは、カリフォルニア州の食料支援プログラムであるCalFreshでこのシステムをテストしました。給付が拒否または削減された 50 の実際の事例を取り上げました。

• 設定: システムに、実際の法律、申請者の事実（収入、家族構成）、および政府が送付した公式書簡を入力しました。
• 結果: システムは「法的な不一致」を正常に発見しました。あるテストでは、「拒否」の決定を「承認」に変更しつつ、同じ説明（収入が多すぎることを示すもの）を維持することでシステムを欺こうとしました。システムは即座にUNSATと警告し、説明が新しい決定と矛盾していることを指摘しました。
• 決定的証拠: システムが誤りを発見した際、単に「エラー」と言うだけではありませんでした。違反された法律の正確なページと段落を指し示しました。まるで審判がホイッスルを吹くだけでなく、選手が破った規則集の特定のページを指し示すようなものです。

なぜこれが重要なのか

著者らは、AI の思考の「説明」を試みるのをやめ、生成される法的根拠を監査し始める必要があると主張します。

• 現在の方法: 「コンピュータがノーと言った理由はこれです。学習したパターンに基づいています。」（法廷で争うのは困難です）
• 新しい方法: 「これが書簡です。当システムが法律と照合した結果、第 63-409.111 条に違反していることが判明しました。」（法廷で争うのは容易です）

結論

この論文は、政府に取って代わるものでも、最終決定を下すものでもありません。代わりに、デジタルの安全網を構築します。政府が「ノー」という書簡を送付する際、その書簡が単に混乱を招く言い訳ではなく、実際に有効な法的理由であることを保証するものです。それは、あなたが信頼するしかない紙切れとしての「説明」を、検証可能な証拠へと変えるのです。

重要な要点: 公的給付の世界において、説明とは単に明確であることではなく、法的に真実であることです。このシステムは、真実が実際に語られているかどうかを検証するツールです。

技術概要

技術的概要：公的セクターにおける AI の法的説明責任のためのニューロ記号フレームワーク

1. 問題定義

公的機関は、福祉給付へのアクセスを管理するために、自動化された意思決定（ADM）システムへの依存度を高めています。これらのシステムは効率性を約束しますが、透明性が欠如していることが多く、申請者が資格決定を理解したり異議を唱えたりすることを困難にしています。説明可能な AI（XAI）への現在のアプローチは、モデルの解釈可能性、忠実度、またはユーザーの信頼に焦点を当てています。しかし、法的および行政的文脈において、説明の主な機能は単に理解されることではなく、対立的または準司法的な場において争うことができる法的根拠として機能することです。

特定された核心的な問題は、既存の説明（例えば、行動通知）が人間の読者には妥当に見えるにもかかわらず、正しい法的権威を参照していないか、法令条件を誤って記述している可能性があることです。これらの根拠となる人工物が統治法令に対して法的に有効かどうかを検証するための技術的インフラが存在しません。現在の監査方法は、意思決定レベルのコンプライアンスやモデルの行動に焦点を当てることが多く、説明そのものの法的整合性を軽視しています。このギャップにより、申請者や監督機関は、意思決定が法令基準および手続的規範を満たしているかどうかを効果的に評価することができません。

2. 手法

著者らは、福祉の資格説明の法的適切性を自動的に検証するように設計されたニューロ記号フレームワークを提案します。このシステムは、モデル内部の解釈から、申請者に提供された根拠の監査へと焦点を移します。アーキテクチャは 4 つの主要な段階で構成されます。

2.1 データソース

• 法令コーパス: カリフォルニア州の CalFresh（SNAP）プログラムを規制する「政策および手順マニュアル（MPP）」第 63 部。
• ケースデータ: カリフォルニア州社会サービス局（CDSS）州聴聞部からの 50 の行政控訴決定。これらの記録には、機関の元の説明、決定結果、および請求者が提示した事実状況が含まれます。

2.2 システムアーキテクチャ

このフレームワークは、法的規則とケース固有の主張を分離するパイプラインを通じて動作します。

1. オントロジー構築:

   • 命名実体認識（NER）と埋め込みベースの類似性マッチング（Qwen3-Embedding-8B を使用）を用いて、MPP 規制から制御された法的語彙を導出します。
   • オントロジーは、所得、居住、市民権、資産、および学生ステータスという主要な資格次元を対象とします。
   • この構造は、権威あるソースへの追跡可能性を確保し、冗長性を防止します。

2. TBox（用語箱）エンコーディング:

   • 法律の規範的構造（ケース不変の規則）を表します。
   • 法令規定をセグメント化し、作用的な用語を抽出します。
   • 大規模言語モデル（LLM）、具体的にはOpenAI の o1が、これらの規定を形式化されたソルバー対応の論理規則（例えば、含意、必要条件）に変換するようにプロンプトされます。
   • 各規則は、その出典引用（例：MPP §63-409.111）にリンクされます。

3. ABox（主張箱）構築:

   • ケースレベルの内容（事実と説明的主張）を表します。
   • 機関の説明は、LLM を使用して TBox と同じ論理形式に変換されます。
   • 事実述語（例：世帯規模、所得額）は、聴聞記録から抽出されます。
   • ABox は、説明によって呼び出された取得された TBox 規則、変換された説明論理、および特定のケース事実を組み合わせたものです。

4. SMT ベースの検証:

   • 理論付き充足可能性（SMT）ソルバーが、TBox（法的規則）と ABox（ケース主張）の結合充足可能性を評価します。
   • SAT 結果: 説明は統治法令と整合しており、法的に許容される根拠として機能できます。
   • UNSAT 結果: 説明は法令と矛盾しています。ソルバーは、矛盾の原因となる最小の制約部分集合である非充足コアを抽出し、それらを特定の法令規定にマッピングします。

3. 主要な貢献

• 解釈可能性から監査可能性への転換: 本論文は、公的アルゴリズムの説明責任が、単なるモデルの解釈可能性ではなく、説明の法的妥当性によって測定されるべきというパラダイムシフトを主張します。
• ニューロ記号検証パイプライン: 非構造化の法令テキストと説明の抽出・変換をニューラルコンポーネント（LLM）が処理し、決定論的な検証と追跡可能性を記号コンポーネント（SMT ソルバー）が提供する、革新的な統合です。
• 説明レベルの説明責任: 従来の研究がスクリーニングツールを形式化したのに対し（例：Escher and Banovic, 2020）、本フレームワークは申請者に発行される根拠となる人工物（行動通知）を評価し、異議申し立ておよび控訴の権利を支援します。
• 法令に根ざしたシグナル: システムは単にエラーを指摘するだけでなく、説明によってどの法令規定が具体的に違反されているかを特定することで、実行可能な説明責任シグナルを生成します。

4. 結果

このフレームワークは、5 つの資格カテゴリ（学生ステータス、所得、居住、市民権、資産）にわたる 50 の CalFresh ケースで評価されました。評価のため、著者らは説明を一定に保ったまま、資格決定を反転させることでペア化されたインスタンスを作成し、法的矛盾をテストしました。

• 検証精度: システムは、法的に整合している（SAT）説明と非整合（UNSAT）な説明を区別する際、全体として97.7% の精度を達成しました。
• 局所化精度: 不一致が検出された場合（UNSAT）、システムは関与する特定の法令規定を正常に局所化しました。
  • 局所化 F1 スコア: カテゴリによって異なり、0.51（所得）から0.83（市民権）の範囲にあり、局所化が適用可能な UNSAT ケースの全体平均は0.977でした。
  • より明確な規則を持つカテゴリ（市民権、居住）は、文脈的なニュアンスを持つカテゴリ（所得、学生ステータス）よりも高い検索精度を示しました。
• ケーススタディ: 「総所得が限度を超えている」ことを理由に給付終了が正当化された特定のケースにおいて、システムは説明が SAT であることを確認しました。決定を「資格あり」に反転させながら同じ説明を維持した場合、システムは正しく UNSAT を返答し、違反した規定として MPP §63-409.111 を特定しました。

5. 意義と主張

著者らは、この研究が公的セクター AI の技術的基盤に法的説明責任を埋め込むための概念実証を提供すると主張しています。

• 制度的足場: システムは、行政裁量を置き換えたり法的判断を自動化したりするものではなく、監督と異議申し立て可能性を強化する「制度的足場」として機能するように設計されています。これは意思決定そのものではなく、根拠の検証を自動化します。
• 透明性からガバナンスへ: 本論文は、説明可能性をガバナンスの課題として再定義します。公的アルゴリズムにとって、説明は統計的関連性を明らかにするだけでなく、適正手続きの権利を満たすために意思決定の法的根拠を明確にしなければならないと仮定しています。
• 適用性: このフレームワークは、基盤となる意思決定エンジンが予測的か、規則ベースか、ハイブリッドかにかかわらず適用可能です。なぜなら、これは申請者に発行される説明層を評価するからです。
• 限界: 著者らは謙虚に、システムは法令のタスク固有の形式化に依存しており、開かれたテクスチャを持つ基準や裁量的判断を完全に捉えることはできないと指摘しています。評価は明確な帰属を確保するために制御された単一法令のケースを用いて行われたため、複数の相互作用する法令を含む現実世界の複雑さは追加の課題をもたらす可能性があります。このシステムは、包括的な法的判断の代わりではなく、説明責任インフラのための技術的ツールです。

結論として、本論文は、説明レベルの法的説明責任がニューロ記号法を通じて計算的に実行可能となり、機関、監督機関、および個人が自動化された根拠が法令要件を満たしているかどうかを評価するためのメカニズムを提供することを示しています。