論文「Governed Reasoning for Institutional AI」の技術的サマリー

この論文は、医療、規制コンプライアンス、融資審査など、高い社会的・法的責任を伴う「制度的（Institutional）」意思決定において、従来の汎用 AI エージェントアーキテクチャが抱える構造的な欠陥を指摘し、それを克服するための新しいアーキテクチャ「Cognitive Core（コグニティブ・コア）」を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義：制度的 AI における構造的欠陥

汎用 AI エージェント（ReAct や Plan-and-Solve など）は、複雑なタスクの分解や適応的な実行順序の決定において優れた能力を示しますが、制度的な意思決定には以下の致命的な限界があります。

• 権限境界の曖昧さ: エージェントの権限は会話的な推論に依存しており、構造的に強制されていません。
• 監査可能性の欠如: 推論過程が独立した操作に分割されておらず、監査証跡（Audit Trail）は実行後にプロンプトと出力から再構築される必要があるため、改ざんや欠落のリスクがあります。
• 「沈黙するエラー」: 誤った結論であっても、人間によるレビューなしに実行されてしまう（Silent Errors）ケースが多発します。
• 多エージェントシステムの失敗: 既存の研究（Gu et al. [18]）では、多エージェントシステムにおいて「正しい少数意見の抑圧（24-38%）」や「重要な情報の合成時の消失」などの体系的な失敗モードが確認されています。
• 承認バイアス（Approval Prior Bias）: 単一のパスで推論を行うシステムは、基準を満たしていない場合でも「承認（OVERTURN）」にバイアスがかかる傾向があります。

制度的決定には、**「構造的に強制された人間権限」「各ステップの検査可能性」「実行中に生成される改ざん耐性のある監査証跡」**が不可欠です。

2. 提案手法：Cognitive Core のアーキテクチャ

Cognitive Core は、推論の自律性を維持しつつ、構造的なガバナンスを第一級のプロパティとして組み込んだ決定基盤です。

2.1 9 つの認知プリミティブ（Cognitive Primitives）

推論を「型付けされた（Typed）」原子操作に分解し、それぞれに明確な入力・出力契約とガバナンスプロファイルを持たせます。

1. retrieve: 証拠の取得
2. classify: 分類
3. investigate: 調査
4. verify: 検証
5. challenge: 対立的検証（敵対的視点からの検討）
6. reflect: メタ認知（本論文の核心）
7. deliberate: 結論の導出
8. govern: ガバナンス判定
9. generate: 出力生成

特に reflect プリミティブ は、ケースそのものではなく「推論のプロセスそのもの」を評価するメタ認知操作です。これにより、対立意見（Challenge）が真の論理的欠陥を指摘しているのか、単なる権威への迎合（Sycophancy）や圧力によるものかを区別し、誤って結論を覆すのを防ぎます。

2.2 4 段階ガバナンスモデル

実行の条件としてレビュー要件を構造的に強制します。

• AUTO: 自動完了（高信頼、明確なケース）
• SPOT CHECK: 10% のサンプリングレビュー
• GATE: 実行前の必須レビュー（警告フラグや対立サイクルがある場合）
• HOLD: 実行停止（不十分な証拠、ブロックフラグあり）
  このティアは、govern プリミティブが累積された推論状態に基づいて決定し、インスタンスの寿命全体でロックされます。

2.3 内生的な監査証跡（Endogenous Audit Ledger）

SHA-256 ハッシュチェーンを用いた改ざん耐性のある帳簿を、計算プロセスの「副産物」ではなく「主要出力」として生成します。各プリミティブの出力、オーケストレーターの決定、ガバナンスアクションがすべて記録され、後からの再構築は不要です。

2.4 需要駆動型委任（Demand-Driven Delegation）

ワークフローモード（宣言型）とエージェントモード（自律型）の両方をサポートします。エージェントモードでは、オーケストレーターが目標と証拠に基づいて経路を自律的に選択できますが、プリミティブの選択やガバナンスの強制は基盤（サブストレート）レベルで制御され、LLM が回避できない「ハード制約」として機能します。

2.5 3 層の認識状態（Epistemic State）

LLM が自己報告する「自信スコア」に依存せず、以下の 3 層で構成される機械的な状態を管理します。

1. 機械的シグナル: 出力構造から決定論的に計算（例：引用率、証拠の完全性）。
2. 判断シグナル: LLM による論理的整合性と結果の確実性の評価。
3. 一貫性フラグ: 複数のステップ間で矛盾や急激な自信低下を検出。
   これにより、LLM の自己過信を抑制し、ガバナンス判断の信頼性を高めます。

3. 主要な貢献

1. 理論的基盤: シモン（組織論）、クライン（自然主義的意思決定）、DEVS 形式論などを援用し、制度的 AI が汎用 AI とは異なるアーキテクチャを必要とする 4 つのコミットメントを定義しました。
2. メタ認知反射プリミティブ: 「対立後のガード（Post-challenge guard）」を実装し、真の論理的欠陥と権威への迎合を区別するメカニズムを提供しました。
3. ガバナンス付き実行基盤: 実行条件としてのレビューティア強制、内生的な監査証跡、需要駆動型委任アーキテクチャを統合しました。
4. 設定駆動型ドメインモデル: 新規ドメインの導入にエンジニアリング能力ではなくドメイン専門知識（YAML 設定）のみを必要とし、7 つの異なるドメインでプリミティブの安定性を実証しました。
5. 「ガバナビリティ（Governability）」という新概念: 「システムがいつ間違っているかを知っているか」という指標を提案し、精度（Accuracy）とは別に評価軸を確立しました。

4. 実験結果

評価セット: 事前承認 appeal（医療保険の承認申請の異議申し立て）に関する 11 件のバランス型テストケース。
比較対象:

• Cognitive Core (CC): 提案アーキテクチャ
• ReAct: 標準的なプロンプトエンジニアリングベースライン
• Plan-and-Solve: 計画ステップを明示したベースライン

4.1 精度（Accuracy）

• Cognitive Core: 91% (11 件中 10 件正解)
• ReAct: 55% (6 件)
• Plan-and-Solve: 45% (5 件)
• 分析: 単純なケース（OVERTURN）では全システムが正解しましたが、複雑なケース（UPHOLD, REMAND, PARTIAL）において CC が圧倒的に優れていました。特に Plan-and-Solve は、計画段階で正しく基準違反を特定していても、実行段階で「承認バイアス」により誤った結論（OVERTURN）を出していました。

4.2 ガバナビリティ（Governability）と「沈黙するエラー」

• Cognitive Core: 沈黙するエラー 0 件。
  • 誤った推論（G003）や難問（B001）が発生した場合、システムは自動的に「GATE（レビュー必須）」にルーティングし、人間によるレビューなしに実行されませんでした。
• ベースライン: 5〜6 件の沈黙するエラー。
  • 誤った決定が人間によるレビューのシグナルなしに実行されました。
• 意義: 制度的リスクはエラー率そのものではなく、「エラーが検知されずに実行されること」にあります。CC はこのリスクを構造的に排除しました。

5. 意義と結論

この論文は、高リスクな制度的意思決定において、単に「正確な AI」を作るのではなく、「信頼できる（Trustworthy）AI」を作るためには、推論の構造そのものにガバナンスを埋め込む必要があると主張しています。

• 精度 vs. ガバナビリティ: 精度は「システムがどれだけ正しいか」を測りますが、ガバナビリティは「システムがいつ間違っているかを知っているか」を測ります。制度的 AI にとって後者がより重要です。
• 構造的な解決: 承認バイアスや対立時の屈服といった失敗モードは、単なるプロンプトの改善やより多くの構造化（Plan-and-Solve）では解決できず、推論の構造自体をガバナンス可能にするアーキテクチャ（Cognitive Core）が必要であることが示されました。
• 組織的知性の具現化: 組織は個々の知能を模倣する AI ではなく、境界内で推論し、人間の判断が必要なケースを表面化し、説明可能な記録を残す「組織的知性」を体現するシステムを必要としています。

Cognitive Core は、LLM の自律性を維持しつつ、制度的な責任と説明可能性を構造的に保証する実用的な基盤として、AI の企業・公共部門への導入における重要な一歩を示唆しています。