技術的概要：責任あるエージェント型 AI には明示的な出所証明が必要である

1. 問題定義

自律的な計画、ツールの使用、実世界環境における多段階の実行を可能とするシステムであるエージェント型 AI の急速な普及は、説明責任の構造の発展を凌駕している。個々のコンポーネント（例：スキル、ツール、モデル）が安全性監査を合格する可能性がある一方で、それらがエージェント内で構成されることは、しばしば創発的な害、規制違反、そして責任の希薄化をもたらす。

現在の「信頼できる AI」へのアプローチは、コンポーネントレベルのベンチマーキングと事後監査に依存している。これらの手法が失敗する理由は以下の通りである：

• 構成リスク: 孤立して検証された安全性特性は、相互作用によって維持されない。
• 責任の希薄化: 害は、単一のアクターがエンドツーエンドで設計または制御していない、長期的な軌道と分散された因果連鎖から創発する。
• 計算可能性の欠如: 特定の害を特定の当事者および因果的貢献に結びつける明示的かつ追跡可能な記録（出所証明）が存在しないため、責任は主観的で執行不可能な概念のままだ。

本論文は、完全なエージェント型ライフサイクルにわたる明示的な出所証明がなければ、責任を計算可能、実行可能、または執行可能にすることはできないと主張する。

2. 手法と形式化

著者は、責任を計算可能にするために明示的な出所証明に基づいたフレームワークを提案する。これには、責任を割り当てるために必要な証拠と構造的な層を形式化することが含まれる。

2.1 核心的な定義

• エージェント軌道 ($\tau$): 環境の状態とエージェントの共同行動の有限系列。
• 因果的貢献 ($\kappa$): 害事象 $\omega$ に対する当事者の因果的影響の尺度。これは、その当事者の決定を含む場合の害の発生確率と、それらの決定が中立化された反事実的軌道における害の発生確率との差として定義される：
  $$\kappa(p, \omega, \tau) = \Pr[\omega | \tau] - \Pr[\omega | \tau_{-p}]$$
• 認識的立場 ($\varepsilon$): 時間 $t$ におけるその役割と利用可能な情報に基づき、当事者が知っていた、あるいは合理的に予見できたはずであったことを示す尺度。
• 計算可能な責任 ($\rho$): 各当事者 $p$ に対して害 $\omega$ の責任重みを割り当てる関数であり、以下の条件を満たす：
  1. 比例性: $\rho \propto \kappa \cdot \mathbb{1}[\text{予見可能}]$。
  2. 完全性: 個々の責任の合計と残余の制度的責任の和は 1 に等しい。
  3. 回避不可: 当事者は、システムの複雑さを通じて予見可能な貢献に対する責任を逃れることはできない。
• 責任テンソル ($R$): 当事者、害事象、および社会技術的次元（例：基準、規制、専門性）にわたる責任を符号化する多次元構造 $R \in [0, 1]^{|P| \times |\Omega| \times |D|}$。

2.2 4 層のライフサイクルアジェンダ

これらの定義を実用化するために、本論文は 4 層の研究アジェンダを概説する：

1. L1（設計）: 展開前に、当事者、モデル、スキルを表す因果依存グラフ ($G$) を確立する。これにより、システムに必要な出所証明を生産するように設計されることを保証する。
2. L2（エンジニアリング）: 軌道リスク ($\Pr[\omega | e_t, \alpha_{t:T}]$) をリアルタイムで推定するためのオンライン軌道監視を実装する。この層は、追跡可能性（事後）と介入可能性（事前）の両方を支援するために、構造化され、失敗に整合した実行記録を生産しなければならない。
3. L3（展開）: 技術的な出所証明を規範的判断に変換する。これには、「責任の封筒」の定義、次元重み ($w_k$)、および因果信号を特定の当事者にマッピングするためのインシデント対応計画の策定が含まれる。
4. L4（経験）: 単一ステップの閾値を越えることなく長期的に発生する累積的害（例：自律性の侵食、バイアスの増幅）に対処する。これには、ユーザーの選択セットと信念の乖離の人口規模での監視が必要である。

3. 主要な結果と実験

本論文は、**L2（エンジニアリング）**層、特にオンラインでの因果信号の推定可能性に焦点を当てた予備的な実験的検証を提示する。

• 実験設定: 著者は、エージェント型システムに接続されたプラグイン型のニューロ・シンボリック (NeSy) 監視アーキテクチャを利用した。このアーキテクチャは、エージェントの内部を変更することなく、生のエージェント追跡を標準的なステップレベルの表現に変換し、各種モニター（ニューラル系列モデル、有限状態機械、トランスフォーマ、GRU）を使用してスコアリングする。
• データセット: 実験は 4 つのベンチマーク、WebArena、TAU2Bench、SkillsBench、TerminalBench において実施された。
• 指標: 害が顕在化する前に、モニターが失敗する軌道をどの程度よく識別できるかを測定するために、精度 - 再現率曲線下面積 (AUPRC) が使用された。
• 知見:
  • 学習されたモニターは、ランダムなベースラインおよびゼロショット LLM ベースラインを大幅に上回った。
  • 有限状態バリアントは、警告行動を人間の監査人が読み取れる記号状態に効果的に圧縮し、追跡可能性に必要な検査可能な証拠を提供した。
  • モニターは、不可逆的な結果が蓄積する前に介入を支援する十分な早期に高リスクのプレフィックスを識別し、介入可能性の要件を検証した。
• ケーススタディ: 著者は、これらの記号状態（例：「整合性の取れていない検索クエリ」、「外部検索へのリダイレクト」）を、責任テンソルを埋めるために、特定の展開チェーンの当事者（例：スキル開発者、プラットフォーム運営者）にマッピングする方法を実証し、主観的な非難を計算可能な配分へと変換した。

4. 意義と主張

本論文は、明示的な出所証明を、任意の洗練ではなく、責任あるエージェント型 AI にとっての必要条件として位置づける。

• 構造的必要性: 著者は、AI 採用における現在の「信頼の欠如」は技術的なものではなく構造的であると主張する。責任のギャップが存在するのは、構成行動から害が創発した際に非難を割り当てるために必要な、定量化可能で追跡可能かつ介入可能な記録を、どの当事者も生産していないからである。
• パラダイムの転換: この研究は、分野を「孤立した能力を評価する」ベンチマーク駆動の評価から、「完全なライフサイクルにわたる責任を評価する」出所証明に基づく説明責任へと移行させる。
• 実行可能性: 責任を因果的貢献と予見可能性に基づいた計算可能な関数として形式化することにより、本論文は、規制当局、開発者、および機関にとって責任の概念を実行可能にするものであると主張する。
• 制度的信頼: 著者は、エージェント型 AI の採用におけるボトルネックは能力の欠如ではなく、信頼の欠如であると論じる。明示的な出所証明インフラは、大規模な権限委譲に必要な制度的信頼を構築するためのメカニズムとして提示される。

本論文は、急速な技術的進歩と責任構造の間のギャップを埋めることは共有された義務であり、エージェント型 AI が求める説明責任インフラを設計するために、コンピュータサイエンス、法、倫理、社会科学間の持続的な協力が不可欠であると結論づけている。