💻 computer science

Right-to-Act: A Pre-Execution Non-Compensatory Decision Protocol for AI Systems

本論文は、いかなる安全条件も満たされない場合に AI の行動を停止する決定論的かつ非補償的な実行前フレームワークである「行動権」プロトコルを導入し、意思決定の質の最適化から実行の許容性を厳格に管理することへと焦点を移すものである。

原著者： Gadi Lavi

公開日 2026-04-28

📖 1 分で読めます☕ さくっと読める

原著者： Gadi Lavi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、高速なロボットアシスタントがいると想像してください。このロボットは、送金を行ったり、人々をアカウントから排除したり、工場の機械の設定を変更したりすることが可能です。現在、このロボットが安全であることを保証するために多くの規則が存在します。

権限付与: 「このロボットは機械に触れることを許可されているか？」
安全性: 「この行動は誰かを傷つけるか？」
リスク評価: 「1 から 100 の尺度で、この行動はどれほどリスクが高いか？」

この論文は、ロボットがこれらのすべてのテストを合格したとしても、まだ欠落しているステップがあると主張しています。ロボットが許可され、安全で、リスクが低くても、パズルの重要なピースが欠けているため、今すぐその行動を起こすことは誤りである可能性があります。

著者は、この欠落したステップを**「行動前の正当性のギャップ」**と呼んでいます。

核心的な問題：「スコア」対「チェックリスト」

このギャップを理解するために、教師が生徒のプロジェクトを評価する 2 つの方法を想像してください。

1. 補償型システム（現在のやり方）：
これはポイント制のゲームのようです。

生徒は優れたデザインで 10 点を獲得します。
優れた研究で 10 点を獲得します。
素晴らしい発表で 10 点を獲得します。
しかし、タイトルページを忘れ、必須要件が欠落しています。
結果: 合計 30 点あり、合格点が 20 点であるため、教師は A を与えます。欠落したタイトルページは、他の良い部分によって「補償」されます。

2. 非補償型システム（論文で提案される「行動権」）：
これは厳格なチェックリストを持つセキュリティチェックポイントのようです。

切符を持っていますか？はい。
パスポートを持っていますか？はい。
ビザを持っていますか？いいえ。
結果: 黄金の切符を持ち、美しいパスポートを持ち、愛想の良い笑顔を持っていても、ビザが欠けている場合は入場できません。いかなる「良いポイント」も、欠落したビザを補うことはできません。

この論文は、AI がアカウントのロックや資金の移動といった現実世界の意思決定を行う場合、ポイント制ではなく、チェックリストアプローチが必要であると主張しています。

「行動権」プロトコル

著者は**「行動権」**と呼ばれる新しい規則を提案しています。

これは、あなたの所持金（スコア）や外見の良さ（安全性評価）に関係なく、クラブのドアマンのようなものです。ドアマンが問うのは、**「この特定の扉を開けるために必要な特定の鍵を持っていますか？」**だけです。

AI が「このユーザーのアカウントをロックしたい」と言う場合、システムは確認します：「このユーザーが実際にルールを破ったという証拠はあるか、それとも単なる推測に過ぎないか？」
証拠が欠落している場合、システムは**「NO」**と言います。
「まあ、推測の確信度は 90% だ、だからとにかく実行しよう」とは言いません。
代わりに、「停止。鍵がありません。より多くの情報を入手するか、人間に相談してください」と言います。

なぜこれが重要なのか（アカウント停止の例）

この論文は、AI がウェブサイトのユーザーを禁止するかどうかを決定する現実世界の例を挙げています。

従来の方法: AI はユーザーが 5 回不審な行動を取り、既知のハッカーに似ていると判断し、AI はそれがハッカーである確信度が 95% であると見なします。「リスクスコア」は高いです。結果: ユーザーは即座に禁止されます。
問題点: もしユーザーがハッキングされた共有コンピューターを使用していただけだったとしたらどうでしょうか？AI は「不審な活動」については「正しかった」かもしれませんが、誰が行ったかについては「誤っていました」。AI は必須条件である**「ユーザーの身元確認」**を見逃していました。
新しい方法（行動権）: システムがチェックリストを確認します。
- 不審な活動はありましたか？はい。
- 高い確信度はありますか？はい。
- 身元は確認されましたか？ いいえ。
- 結果: システムは停止します。ユーザーを禁止しません。代わりに、「まだこれを行うことはできません。ユーザーに追加情報を求める必要があります」と言います。

重要な教訓

この論文は数学的に証明しています。「リスクスコア」を高くするだけで、あるいは「安全性」を向上させるだけで、この問題を解決することはできません。スコアリングシステムを使用する場合、高いスコアは常に欠落した要件を隠蔽できてしまいます。

正当性とはスコアではなく、境界線です。

この論文は、AI が現実世界のいかなる行動の「引き金」を引くことを許可される前に、厳格で譲れないチェックリストを通過しなければならないと提案しています。必須条件の 1 つでも欠落している場合、AI がどれだけ「賢く」ても「確信」を持っていても、その行動はブロックされます。これにより、「何もしないこと」（待機、助けを求める、または人間へのエスカレーション）が、システム障害ではなく、有効かつ必要な結果として位置づけられるようになります。

ガディ・ラヴィによる論文「AI システムにおける実行前の正当性ギャップ：実行のための決定論的・非補償的決定境界」の詳細な技術的概要を以下に示す。

1. 問題定義：実行前の正当性ギャップ

AI システムが助言ツールから、資金移動、アカウント停止、インフラ変更などの実世界での実行を可能にする自律エージェントへと進化するにつれ、現在のアーキテクチャパラダイムは決定的なギャップに直面している。既存のメカニズム（承認、安全性アライメント、ポリシー執行、統計的認証など）は、「誰」が行動を許可されているか、「出力」が有害かどうか、あるいは「システム」がリスク範囲内で動作しているかどうかを評価する。

しかし、これらのメカニズムは、明確かつ先行する以下の問いには答えていない。「この特定の AI 生成された決定は、実行パイプラインに入る前に、実行可能なイベントとして存在する権利を有しているのか？」

本論文は、実行前の正当性ギャップを、実行パイプラインに入る前に決定が「行動する権利」を有するかどうかを判断する形式的メカニズムの欠如として定義する。決定が承認され、安全であり、リスクが低くても、文脈的検証の欠如、正当化の不足、または時期尚早なタイミングにより、構造的に不当である可能性がある。現在のシステムはしばしば補償的スコアリングに依存しており、高い信頼性スコアや強力なポリシー一致が、欠落した重要な条件を相殺し、潜在的に不可逆的なエラーを引き起こす。

2. 手法と形式的モデル

著者は、行動する権利プロトコルと呼ばれる最小限の形式的枠組みを提案する。このアプローチは、正当性を最適化すべき確率的スコアではなく、ハード制約によって定義される実現可能性条件として扱う。

2.1 形式的定義

決定空間 ( $A$ ): 操作、文脈、対象、範囲、タイミングを含む構造化されたタプルとして表現される、候補となる実行可能決定 $a$ の集合。
正当性制約 ( $C$ ): 決定論的述語の有限集合 $\{C_1, C_2, ..., C_n\}$ であり、 $C_i(a) \in \{0, 1\}$ である。値 1 は条件が満たされていることを示し、0 は失敗を示す。
実現可能領域 ( $F$ ): すべての必要な制約が満たされている決定の集合：
$F = \{a \in A : \forall i, C_i(a) = 1\}$
行動する権利関数 ( $D$ ): 決定論的決定関数：
$D(a) = \begin{cases} \text{ALLOW} & \text{if } a \in F \\ \text{NON-ACTION} & \text{otherwise} \end{cases}$

2.2 非補償的論理

方法論的革新の中核は、境界の非補償的性質である。このシステムでは、単一の必要な制約が失敗した場合（ $C_j(a) = 0$ ）、他の制約がどれだけ満たされているか、または信頼性スコアがどれだけ高くても、決定は却下される。

結果: 「非実行」はシステムエラーとして扱われるのではなく、有効で監査可能な状態（例：延期、エスカレーション、情報要求）として扱われる。

3. 主要な貢献

本論文は 4 つの主要な貢献を行っている：

問題定義: 「実行前の正当性ギャップ」を、承認、安全性、またはランタイムガバナンスとは区別される固有のアーキテクチャプリミティブとして形式的に特定する。
形式化: スコアを最適化するのではなく、構造的実現可能性を強制する行動する権利境界のための最小数学モデルを導入する。
非等価定理: 補償的スコアリングシステムは実行前の正当性を保証できないことを証明する。
- 定理: 重み付き和 $S(a) = \sum w_i x_i(a)$ を閾値 $\theta$ で使用するシステムの場合、重要な制約が失敗 ( $C_k=0$ ) しても、他の高いシグナルにより集計スコアが $\theta$ を超えるような決定を構築することが可能である。したがって、スコアリングシステムは、非補償的制約システムのハードブロッキング動作を再現できない。
ケーススタディ応用: AI 駆動のアカウント停止シナリオにおいて、この境界の実践的影響を実証する。

4. 結果とケーススタディ分析

本論文は、AI 駆動のアカウント停止のケーススタディを用いて枠組みを検証する。

シナリオ: AI システムは、高い信頼性、パターン類似性、および過去のフラグに基づき、ユーザーアカウントの無効化を提案する。
補償的ベースライン: 標準的なリスクスコアリングシステムは、高い集計スコア ( $S(a) \ge \theta$ ) を計算し、即座に停止を実行する。
行動する権利介入: システムは特定の構造的制約、すなわち文脈的検証（例：アクティビティが侵害されたデバイスや誤った相関によるものではないことを確認する）をチェックする。
- ケーススタディにおいて、この制約は失敗する ( $C_{context} = 0$ )。
- 結果: 行動する権利境界は実行をブロックし ( $D(a) = \text{NON-ACTION}$ )、エスカレーションまたは追加情報の要求をトリガーする。これに対し、ベースラインシステムは不当な停止を引き起こしていたであろう。

主要な発見: 決定は統計的に正当化され、ポリシーに準拠していても、構造的に不当である可能性がある。非補償的境界は、欠落した条件をスコア減点ではなくハードブロッカーとして扱うことで、これを防ぐ。

5. 意義と含意

本論文は、「スコアリング」から「境界執行」への転換が AI ガバナンスを根本的に変えることを主張する。

不作為を第一級の成果として: 非実行は、失敗モードではなく、有効で制御された運用状態として再定義される。
監査可能性の向上: 決定が曖昧な低いスコアではなく、特定の失敗した制約によってブロックされるため、監査証跡はより明確で防御可能になる。
モデル非依存性: この枠組みは、決定が構造的に表現できる限り、LLM、エージェント、分類器など、あらゆる AI システムに適用可能であり、異種環境との互換性がある。
再帰的データリスクの軽減: AI がトレーニングにフィードバックされるデータを生成する領域（再帰的データ）では、統計的認証が自己言及的になる可能性がある。実行前の制約境界は、個々の決定に構造的妥当性を強制し、歪んだ分布の認証に対する防衛策を提供する。

結論

本論文は、正当性はスコアではなく境界であると結論づける。決定論的・非補償的な決定プリミティブを導入することで、行動する権利プロトコルは AI 安全性アーキテクチャにおける決定的なギャップを埋め、決定が集計された信頼性やリスクプロファイルに関係なく、必要なすべての構造的条件を満たす場合にのみ実行に進むことを保証する。