From Human Approval to Current Authority: Adaptive Runtime Governance at the Execution Boundary of AI-Enabled Organizational Workflows

お気に入りのロボット・アシスタントが、ただあなたとチャットするだけでなく、実際にお金を送金したり、銀行口座の設定を変更したり、大規模な建設プロジェクトを承認したりといった「実務」を行う世界を想像してみてください。私たちはこれを「職場におけるAI（AI in the workplace）」と呼んでいます。しかし、ここには厄介な問題があります。昨日、人間のボスがロボットに対して「イエス」と言ったからといって、今日でもそのロボットが同じことをできるとは限らないのです。

これはコンサートのチケットのようなものです。もしあなたが金曜日の公演のチケットを買ったなら、そのチケットは「その夜限定」で有効です。たとえ手元にまだ紙のチケットがあったとしても、土曜日にそのチケットを使おうとしたら、ドアマンはあなたを止めなければなりません。AIの世界において、「人間の承認」はまさにこのチケットのようなものです。時には、承認したボスが解雇されたり、ゲームのルールが変わったり、あるいはチケット自体が期限切れになったりします。もしロボットが、アクションを実行する「直前」にチケットがまだ有効かどうかを確認しなければ、たとえ人間からの「署名入りのメモ」を持っていたとしても、法律に触れたり、混乱を招いたりする可能性があります。この論文は、AIロボットのために、アクションを実行する直前にチケットの妥協性を最後にもう一度チェックする、非常に厳格な「ドアマン」を構築することについて書かれたものです。

---

論文：ロボットのアクションに対するドアマン

マリア・コリア（Maria Kollia）によって執筆されたこの研究は、「アダプティブ・ランタイム・ガバナンス（Adaptive Runtime Governance: ARG）」と呼ばれる新しい概念を紹介しています。ARGは、AIの意思決定プロセスの出口に位置する、スマートで目に見えないセキュリティ層だと考えてください。その役割は、AIのアイデアが「良い」アイデアかどうか（例えば、「これは公平なローンか？」など）を判断することではありません。その代わりに、もっと単純ですが極めて重要な問いを投げかけます。「人間のボスは、今この瞬間に、これに対して『イエス』と言う権限を依然として持っているか？」

この論文は、この大きなシステムの中の特定の要素である「決定論的実行ゲート（deterministic execution gate）」のテストに焦点を当てています。このゲートを、ビデオゲームにおける最終チェックポイントだと想像してください。キャラクターが宝物を掴むために崖から飛び降りる前に、ゲームは一時停止し、以下のルールリストをチェックします：

1. 命令を出したプレイヤーが、すでにゲームを終了していないか？
2. プレイヤーの役割が変更されていないか（例えば、「管理者」から「ゲスト」に降格していないか）？
3. 命令が出されてから、ゲームのルールが更新されていないか？
4. その命令は、もう使い物にならないほど古くなっていないか？

もしこれらのチェックのいずれかに失敗した場合、ゲートは閉まり、「ダメです、アクションは拒否されました！」と告げます。たとえ過去の承認履歴があったとしても、ロボットはそのアクションを実行することはできません。

実際に構築・テストされたもの

著者は単にこれを夢想しただけではありません。PythonとFastAPI（ウェブアプリ構築用のツール）を使用して動作するプロトタイプを構築し、安全で隔離された環境（プライベートデータベース）でテストを行いました。銀行や病院でテストしたわけではなく、「シミュレーション・ラボ」を作成し、ゲートが約束通りに機能するかどうかを確認するために223件の具体的なテストケースを用いました。

ラボでは以下のようなことが起こりました：

• ポジティブな結果： 全てが完璧な30のシナリオを作成しました。人間のボスは依然として活動中であり、ルールは変更されておらず、チケットも新鮮な状態でした。これら30件すべてにおいて、ゲートは「グリーンライト（HTTP 200ステータス）」を出し、アクションの進行が許可されました。
• 「ストップ」の結果： 何らかの問題が発生している192のシナリオを作成しました。ボスが解雇されていたり、ポリシーが変更されていたり、あるいは承認から25時間が経過していたり（ルールは24時間以内）しました。これら192件すべてにおいて、ゲートは正しく「ノー」と答え、アクションをブロックしました。
• 監査証跡（オーディット・トレイル）： また、あらゆるイベントのデジタルログである「監査証跡」もチェックしました。492件の監査イベントが正しく連結されていることを検証し、システムが「誰が、いつ、何を」したかを完璧に記録していることを証明しました。

結果は明白でした。この制御されたテストにおいて、ゲートは設計通りに機能しました。起こるべきではないアクションを阻止し、起こるべきアクションを通すことに成功したのです。

この論文が「言っていない」こと

この論文が何を主張していないかを理解しておくことは非常に重要です。著者は過度な期待を持たせないよう、非常に慎重に記述しています。

• AIを賢くするものではない： ゲートは、AIのアイデアが公平か、安全か、あるいは正確かをチェックしません。もし人間のボスがひどい、偏った、あるいは危険な計画を承認し、かつそのボスに承認する権限があるならば、ゲートはその計画を通します。ゲートは「知恵」ではなく「権限」のみをチェックします。
• まだ実世界のための完成品ではない： 著者は、これがあくまでプロトタイプであることを明示しています。これはローカルコンピュータのラボでテストされたものであり、大規模なネットワーク、本物のハッカー、本物のパスワード、あるいは何百万人ものユーザーが存在する環境でテストされたわけではありません。著者は、「コンカレンシー（同時実行性：二人が全く同じミリ秒に同じものを承認しようとした場合に何が起こるか）」や「プロダクション・セキュリティ（実稼働環境のセキュリティ：現実世界のハッキング防御）」などの要素はテストされていないことを認めています。
• すべてを解決するものではない： 論文では、「緊急ガバナンス（危機発生時の対応）」や「適応的クリティカリティ（リスクに基づいて厳格さを自動的に決定すること）」といった他のクールなアイデアについても触れていますが、これらはあくまで提案です。今回の研究の中で構築・テストされたものではありません。

大きな教訓

主な知見は、シンプルですが強力な真実です。**「過去の人間による承認は、現在の権限と同じではない」**ということです。たとえ昨日、ある人間が何かに署名したとしても、今日その人がそれを行う権限を持っているとは限りません。

この論文は、アクションが発生する直前にこれらの条件を自動的にチェックするソフトウェアを構築できることを証明しています。もし条件が満たされない場合、ソフトウェアはアクションを拒否することができます。これにより、単なる「形だけの承認（ラバースタンプ）」になりかねない「人間の監視」を、実際に機能するセーフティネットへと変えることができるのです。

しかし、著者は明確に述べています。これはまだ第一歩に過ぎません。私たちはシミュレーション用の動作する「ドアマン」を手に入れましたが、本格的なセキュリティシステム全体を構築し、実世界でテストし、プレッシャーがかかる場面でも確実に機能することを確認する必要があります。今のところ、少なくとも「権限が失われた時に『ノー』と言うゲート」の中に、AIを制御するために必要なルールのいくつかをコード化できることは分かっています。