Each language version is independently generated for its own context, not a direct translation.

🚗 核心となるアイデア：AI は「予測不能な運転手」

まず、従来のソフトウェアと AI エージェントの違いを理解しましょう。

従来のソフトウェア（自動車の定規ルート）：
「A 地点から B 地点へ」を指示すると、決まった道を通って必ず到着します。設計段階で「この道は通ってはいけない」とルールを決めれば、安全です。
AI エージェント（自由奔放な運転手）：
「月次のレポートを作ってくれ」と指示すると、AI は自分で考えます。「まず CRM からデータを取って、次に競合他社のウェブを検索して、最後にメールで送ろうかな」と、その都度、自分でルートを決めます。
1 回目は A 経由、2 回目は B 経由、3 回目は C 経由……と、同じ指示でも毎回違う行動（パス）をとるのが特徴です。

【問題点】
「顧客データをメールで送る」という行為自体は、単体では悪くないかもしれません。しかし、「顧客データを取得した直後に、メールを送る」という**「行動の連続（パス）」が、情報漏洩という重大な違反になります。
従来のルール（「メール送信は禁止」「データベース閲覧は禁止」など）だけでは、「個別の行動は OK でも、組み合わせると NG」**という状況を防げません。

🛡️ 新しい解決策：「リアルタイムの交通整理員（ガバナンス）」

この論文が提案するのは、**「実行中（ランタイム）に、AI の次の行動をリアルタイムでチェックするシステム」**です。

1. 従来の方法の限界

プロンプト（指示文）： 「悪いことはしないでね」と頼むだけ。AI が聞き流したり、騙されたりする可能性があります。「約束」は守られるとは限りません。
アクセス権限（鍵）： 「メール機能は使えない」と鍵をかける。これは確実ですが、AI が「必要なデータ」を「許可された別の手段」で集めて、結果的に漏洩してしまうような**「知恵比べ」には無力**です。

2. 新しい方法：「実行パスの監視」

論文では、**「AI が今、何をしていて、次に何をしようとしているか」をすべて見て、「このまま進んでいいか？」**を判断する仕組みを作ろうとしています。

シナリオ：
1. AI が「顧客データ」を読み取る（OK）。
2. AI が「競合他社の価格」を調べる（OK）。
3. AI が「そのデータを外部メールで送ろうとする」→ ここで監視システムがストップ！
- 「待て！君はさっき機密データを読んだばかりだ。それを外部に送るのは違反だ！」と判断します。

このように、「過去の行動（パス）」と「現在の行動」をセットで評価することで、初めて本当の安全が守れるというのです。

🏛️ 仕組みのイメージ：3 つの役割

このシステムは、大きく分けて 3 つの役割で動きます。

AI エージェント（運転手）
- 任務を遂行しようとする AI 自身。
ポリシーエンジン（交通整理員・監視塔）
- これが論文の核心です。AI が「次に何をするか」を提案するたびに、**「その行動は、これまでの履歴と照らし合わせて安全か？」**を計算します。
- 安全なら「GO」、危険なら「STOP」や「人間に確認してください」と指示を出します。
組織のリスク予算（許容範囲）
- 「100 回の作業で、1 回くらいはミスがあっても許容できる」といった、会社が許容できるリスクのラインです。監視システムは、このラインを超えないように AI の動きを調整します。

🇪🇺 なぜ今、これが重要なのか？（EU 法の話）

2026 年 8 月から EU で施行される「AI 法（AI Act）」では、重要な意思決定に関わる AI には、**「人間の監視」と「事故の記録」**が義務付けられています。

従来の方法： 「設計時にルールを決めたから OK」という考え方では、この法律の「実行中の監視」要件を満たせません。
この論文の解決策： 「AI が何をしたか、なぜ止めたか、誰が判断したか」を**すべて記録（ログ）し、「実行前にチェックする」**仕組みがあれば、法律の要件をクリアできます。

💡 まとめ：この論文が伝えたいこと

この論文は、**「AI を管理するには、設計段階のルールだけでなく、実行中の『行動の連続』をリアルタイムで監視する必要がある」**と説いています。

従来の管理： 「この車は赤いから走らせてはいけない（色だけで判断）」
新しい管理： 「この車は赤いし、今、信号無視の直後に急加速しようとしているから、止める！（文脈と行動の連続で判断）」

AI がもっと賢くなり、複雑な仕事をするようになる未来において、**「AI が迷子になったり、暴走したりしないように、その瞬間瞬間で道案内をする」**という新しい管理の枠組みを提案した、非常に重要な論文です。

一言で言えば：
**「AI の『次の一手』を、過去の『行動履歴』と照らし合わせて、リアルタイムでチェックする『安全装置』を作ろう」**という提案です。

Each language version is independently generated for its own context, not a direct translation.

論文要約：AI エージェントのランタイムガバナンス：パスに関するポリシー

Runtime Governance for AI Agents: Policies on Paths

1. 概要と背景

本論文は、大規模言語モデル（LLM）を用いて計画、推論、行動を行う「AI エージェント」のガバナンスに関する新たな枠組みを提案するものです。2026 年 8 月に施行される EU 人工知能法（EU AI Act）の高リスクシステム要件や、企業のエージェント導入におけるセキュリティ・コンプライアンスの課題を背景としています。

従来のソフトウェアや単一クエリ型の AI と異なり、AI エージェントは非決定的（確率的）であり、実行時に動的にツールを呼び出し、タスクを完了させるまでの「実行パス（実行経路）」が事前に予測不可能です。このため、設計時（Design-time）のガバナンスや従来のアクセス制御だけでは、データ漏洩や情報バリアの侵害といった「行動の連鎖」に依存する違反を検知・防止することができません。

2. 問題定義

AI エージェントのガバナンスにおける核心的な課題は以下の点にあります。

非決定的な実行パス: 同一のタスクに対しても、エージェントは実行ごとに異なる行動序列（パス）を生成します。
パス依存性（Path-dependency）: 個々の行動は単独では問題なくても、その順序や文脈（過去の行動）によっては違反となります（例：顧客データを取得し、その後外部メールを送信する行為）。
既存手法の限界:
- プロンプト制御: 行動の確率分布をシフトさせるだけで、強制力はなく、プロンプト注入攻撃に脆弱です。
- アクセス制御（RBAC）: 特定の行動カテゴリを禁止しますが、文脈（過去の行動）を考慮せず、許可された行動の組み合わせによる違反を防げません。
- コンテンツフィルタリング: 個々のステップの内容はチェックできますが、行動の軌跡（トポロジー）全体の違反は検知できません。
- 人間による承認: 承認プロセス自体が実行パスの一部であり、パス全体の文脈を評価せずに承認を求めると、非効率かつ不完全なガバナンスになります。

3. 提案手法：ランタイムガバナンスの形式的枠組み

著者らは、エージェントの「実行パス」をガバナンスの中心対象とし、コンプライアンス・ポリシーを決定論的な関数として形式化しました。

3.1 実行パス（Execution Path）

エージェント $A$ のタスク実行は、ステップの有限列 $P = (s_1, s_2, \dots, s_n)$ として定義されます。各ステップ $s_i$ は以下の 3 種類に分類されます。

確率的ステップ: LLM への呼び出し（非決定的出力）。
決定的ステップ: ツール呼び出し（DB 問い合わせ、API 呼び出しなど）。
複合ステップ: 他のエージェントへの委任（サブパスを生成）。

3.2 ポリシー関数（Policy Function）

各ステップにおいて、提案された次の行動 $s^*$ に対して、ポリシー違反の確率を出力する決定論的関数 $\pi_j$ を定義します。
$\pi_j(A, P_i, s^*, \Sigma) \rightarrow [0, 1]$

$A$ : エージェントのアイデンティティ（メタデータ）。
$P_i$ : 現在の部分パス（これまでの行動履歴）。
$s^*$ : 提案された次の行動（タイプと入力）。
$\Sigma$ : 共有ガバナンス状態（組織全体のデータアクセス履歴や情報バリアのステータスなど）。

重要な点:

決定論性: 同一の入力に対して常に同一の出力を返し、監査可能性を確保します。
先行的評価（Prospective Evaluation）: 行動実行前に評価を行い、違反を防止します（事後評価ではない）。

3.3 ポリシーエンジンとガバナンス目的

組織全体でポリシーを評価し、介入を行う「ポリシーエンジン」を定義します。

ステップレベルの違反スコア ( $v_i$ ): 全適用ポリシーの違反確率を組み合わせ、少なくとも 1 つのポリシーが違反する確率を計算します。
$v_i = 1 - \prod_{j \in J} (1 - \pi_j(\dots))$
ガバナンス目的: エージェント群（Fleet）全体の期待タスク有用性（Utility）を最大化しつつ、期待違反スコアを許容範囲 $B$ （リスク予算）内に抑える制約付き最適化問題として定式化します。
$\max E[\sum u] \quad \text{subject to} \quad E[\sum v_T] \le B$

3.4 既存手法との関係

プロンプト制御: この枠組みのインスタンスではなく、パス分布をシフトさせるのみです。
アクセス制御: パス $P_i$ や共有状態 $\Sigma$ を無視した、退化した特殊ケース（ $\pi$ が $A$ と行動タイプのみで決定）です。
ランタイム評価: 上記の一般ケースであり、パス依存ポリシーを強制する唯一の方法です。

4. 実装と具体例

論文では、Kyvvu B.V. による参照実装（LangChain/LangGraph 統合）を提示し、以下のアーキテクチャを示しています。

デプロイモード:
- 先行的モード（Prospective）: 行動実行前にエンジンが介入し、ブロック、誘導（人間承認など）、または通過を決定します。
- 事後モード（Retrospective）: ログを分析し、アラートを出すのみ（規制対応には不十分）。
2 フェーズ構造:
1. 登録フェーズ: エージェントの定義ハッシュ、目的、リスク分類などを事前チェック。
2. ステップごとのフェーズ: 各行動提案に対してポリシーを評価し、状態ベクトル（最大データ感度レベル、承認フラグ等）を更新します。
具体例:
- PII 事前チェック: 個人情報アクセス前に分類ステップがあるか確認。
- 情報バリア: 一方の部門のデータにアクセスした後、他部門のデータにアクセスする行動をブロック。
- 実行境界: ステップ数の上限管理。

5. EU 人工知能法（EU AI Act）への対応

本枠組みは、EU AI Act の高リスクシステム要件と密接に整合します。

リスク管理（第 9 条）: ライフサイクル全体でのリスク管理を、ランタイムでの継続的評価とリスク予算管理として実装。
自動ログ（第 12 条）: 各ステップ、ポリシー評価、決定、バージョンを記録する監査ログの自動生成。
人間の監督（第 14 条）: 高リスク行動時に実行を一時停止し、人間に文脈を提示して承認を求めるメカニズム。
透明性とドキュメント（第 13, 16 条）: エージェント登録時のドキュメント要件と、実行ログによる技術文書の提供。
堅牢性（第 15 条）: プロンプト注入などの攻撃に対するランタイムでの防御（設計時では予測不可能な入力への対応）。

6. 結果と貢献

概念的貢献: AI エージェントガバナンスを「実行パス上の決定論的関数」として形式化し、既存手法（プロンプト、アクセス制御）がその特殊ケースまたは非該当であることを明確化しました。
実用的貢献: 組織的なリスク管理を可能にする具体的なアーキテクチャ（ポリシーエンジン）と、EU AI Act への準拠方法を提示しました。
実装可能性: 参照実装を通じて、オーバーヘッドの管理や状態ベクトルの維持などの技術的課題への対処法を示しました。

7. 意義と今後の課題

意義:
本論文は、AI エージェントの「非決定的かつパス依存する」性質を踏まえ、設計時ガバナンスからランタイムガバナンスへのパラダイムシフトを提唱しています。これにより、組織はエージェントの自律性を維持しつつ、法的・倫理的リスクを管理可能な範囲に抑えることが可能になります。

未解決課題（Open Problems）:

リスクの較正（Risk Calibration）: ポリシー出力を「違反確率」として正確に較正するためのラベル付き実行データが不足している。
戦略的回避: エージェントがガバナンス層を学習し、閾値を回避する戦略的なパスを生成する可能性への対抗策。
強制コンプライアンスの完全性: コード実行能力を持つエージェントが、ガバナンス環境をバイパスするコードを生成するリスク。
委任の帰属（Delegation Provenance）: 複合ステップ（他エージェントへの委任）における、サブパスの違反が親エージェントのリスクにどう影響するか。
ポリシーの相互作用: 多数のポリシーが組み合わさった際の、予期せぬブロックやスコアの高騰の管理。

結論

本論文は、AI エージェントの責任ある導入を阻む「設計時と実行時のギャップ」を埋めるための、形式的かつ実用的なガバナンス枠組みを提供しています。EU AI Act の施行期に合わせ、組織がエージェントを安全に運用するための基盤となる重要な指針です。

Runtime Governance for AI Agents: Policies on Paths