Executable Intelligence in Policy-Constrained Knowledge Systems: A Closed-Loop Decision-Execution Framework

知ることと行うことの間の溝

あなたは、超スマートな探偵を操作するハイレベルなビデオゲームをプレイしていると想像してください。この探偵は、影に隠れた悪党を瞬時に見つけ出し、次にどこを攻撃するかを正確に予測し、それを阻止するための完璧な動きを計算することができます。しかし、ここに落とし穴があります。探偵は、「その壁を飛び越えてはいけない」とか、「スーパーレーザーを使う前に市長の許可を得なければならない」、あるいは「失敗したら時間を巻き戻さなければならない」といった厳格なルールブックによって、手錠をかけられているのです。現実世界では、これこそが人工知能（AI）に起きていることです。私たちは、何が起きているのか、そして何が起こるべきかを判断することにおいて非常に優れた「分析的知能」を持つシステムを構築してきました。しかし、現実世界で実際に「行動」することとなると、これらのシステムはしばしば行き詰まってしまいます。彼らは素晴らしいアイデアを生み出しますが、それが安全規則に違反していたり、会社のポリシーに抵触したり、あるいはやり直しが効かなかったりするために、却下されてしまうのです。素晴らしいアイデアを思いついた瞬間と、それを安全に実行できる瞬間の間にある、このもどかしい一時停止こそが、本論文が取り組んでいる問題です。

この論文は、「インサイト・トゥ・アクション・ギャップ（洞察から行動への溝）」と呼ばれる概念を紹介しています。これは、シェフが完璧なレシピを知っていることと、厳しい衛生管理基準があり、材料が限られ、焦げたトーストを嫌うマネージャーがいるキッチンで、実際に料理することを許可されることの間の距離だと考えてください。著者は、問題はAIシェフの料理の腕が足りないことではなく、彼らが「ルールの中で」料理する方法を知らないことにあると主張しています。論文では、これらのシステムを構築するための新しい手法として「エグゼクタブル・インテリジェンス（実行可能な知能）」を提案しています。これは、料理が終わった後にルールをチェックする（その結果、料理を台無しにし、一時間を無駄にする）のではなく、最初のステップからレシピ自体にルールを組み込んでしまうという考え方です。

問題点：「インサイト・トゥ・アクション・ギャップ」

NTT DATA ServicesのAbhradeep Chatterjee氏は、今日のAIの活用方法における奇妙なパラドックスに気づきました。クラウドコンピューティング、自律型インフラ、サイバーセキュリティなどの分野では、私たちのシステムは問題の検知速度を上げています。彼らは、グリッチやセキュリティ侵害をほぼ瞬時に検出できます。しかし、問題を解決するには時間がかかることがよくあります。なぜでしょうか？ 一度AIが問題を特定しても、人間が修正を承認し、それが安全かどうかを確認し、手動で修復を実行するのを待たなければならないからです。

論文では、この遅延を**インサイト・トゥ・アクション・ギャップ（IAG）**と呼んでいます。これは、システムが答えを知ったと「考えた」瞬間と、実際に修正を「実行した」瞬間の間に失われる時間です。著者は、最大のボトルネックはAIの予測能力ではなく、AIが安全に「行動」する能力にあると示唆しています。もしAIが提案した修正案が安全ポリシーに違反する場合、その提案はたとえ数学的に完璧であっても役に立ちません。それは単にさらなる作業、さらなる遅延、そしてさらなるフラストレーションを生むだけです。

解決策：ルールブックを開いたまま料理をする

これを解決するために、論文ではエグゼクタブル・インテリジェンスと呼ばれる新しいフレームワークを提案しています。安全規則やポリシーを、入ろうとした後にIDをチェックする入り口の「用心棒」として扱うのではなく、このフレームワークでは、意思決定プロセスそのものの中に用心棒を配置します。

あなたが「サイモン・セズ（Simon Says）」というゲームをしていると想像してください。ただし、少しひねりが加えられています。従来の方法では、サイモン（AI）が「屋根からバックフリップしろ！」といった突拍子もない動きを叫び、その後、審判が駆け寄ってルールブックを確認し、「ダメだ、それはルール違反だ！」と言う必要がありました。するとサイモンは新しい動きを考え直さなければならず、また審判がチェックするという流れになります。これは遅くて煩わしいものです。

新しいフレームワークは異なります。サイモンが動きを叫ぶ前に、彼は考えながらルールブックを確認します。彼は、すでに許可されており、安全で、かつやり直しが可能（可逆的）な動きだけを考え出します。もしルールブックに「バックフリップ禁止」とあれば、サイモンはバックフリップを検討することさえしません。彼は「フェンスを飛び越える」といった、許可されており、かつ安全に降りる計画も立てられている動きだけを提案します。

仕組み：クローズドループ・ループ

論文では、円のように絶えず繰り返される5つのステップからなる「クローズドループ」システムについて説明しています。

1. 感知（Sense）: システムが問題（セキュリティカメラのようなもの）を監視します。
2. 解釈（Interpret）: 問題が何であるか、そしてその文脈（火災か？ 漏水か？ ハッカーか？）を理解します。
3. 決定（Decide）: ここが魔法の部分です。システムは単に「最善の」行動を選ぶのではなく、すべての安全チェックを通過し、制限時間内に収まり、かつ「元に戻す（Undo）」ボタンが用意されている、最も優れた行動を選びます。
4. 実行（Act）: 行動を実行しますが、その過程でもすべてが依然として安全であることを慎重に確認しながら行います。
5. 学習（Learn）: 何が起きたかを観察し、その情報を利用して、次回より安全な決定を下せるよう改善します。

ここでの鍵となる革新は、**ポリシー制約付き最適化（Policy-Constrained Optimization）**です。平たく言えば、コンピュータが「ルール」を方程式の一部として解く数学の問題を解いているということです。単に最短ルートを探しているのではなく、「進入禁止」ゾーンを通らない最短ルートを探しているのです。

実験の結果

著者は、これを実際の稼働中の電力網や病院でテストしたわけではありません（それはあまりにもリスクが高すぎます）。代わりに、現実のシステムがどのように振る舞うかを模倣した詳細なシミュレーションを構築しました。彼らは「インシデント」（コンピュータのクラッシュなど）がランダムに発生するシナリオを作成し、2つのチームを比較しました。

• チームA（ベースライン）: スマートなAIを使用して問題を見つけますが、ルールの確認と修正については人間に依存します。
• チームB（新しいフレームワーク）: 考える過程でルールをチェックする「エグゼクタブル・インテリジェンス」システムを使用します。

結果は明白でした。シミュレーションにおいて、新しいフレームワークは問題解決にかかる総時間を最大**40%**短縮しました。しかしより重要なのは、システムがはるかに一貫性を持てるようになったことです。「従来の方法」では、非常に速いこともあれば、ルール違反のために非常に時間がかかることもあり、時間の変動が激しかったのです。新しい方法は、安定しており信頼できました。

また、ルールが厳格であり、かつ複雑な依存関係（一つの部品の故障が他の部品の連鎖的な故障を引き起こすような状況）に対処しなければならない場合に、最大の恩恵が得られることも分かりました。「従来の方法」では、ルールによって修正が拒否（ベト）されることが多く、そのたびに最初からやり直しを余儀なくされました。新しい方法は、そもそも禁止された動きを提案しないため、こうした「再スタート」を完全に回避できました。

なぜこれが重要なのか

論文は、「知能」を単に推測や予測に長けていることと考えてはならないと主張しています。現実世界において、真の知能とは、安全かつ責任を持って物事を行うことができる能力を意味します。もしシステムがスマートであっても、ルールを破らずに行動できないのであれば、それはあまり役に立ちません。

意思決定プロセスに安全性とルールを直接組み込むことで、私たちは単に修正を「推奨」するシステムから、自信を持って修正を「実行」できるシステムへと移行することができます。これは、すぐに人間をループから排除することを意味するわけではありません。論文は段階的な経路を提案しています。まずは推奨事項から始め、次に「ゲート付き」の自動化（ルールが満たされていると100%確信した場合にのみシステムが行動する状態）へと進み、最終的には「ポリシーに縛られた自律性（policy-bounded autonomy）」、つまり安全な境界線内でシステムが自律的に行動できる状態を目指すというものです。

著者は、これはあくまでシミュレーションに基づく知見であることに注意を払っています。結果は有望であり、論理も健全ですが、まだ現実世界のライブ環境で証明されたわけではありません。しかし、「エグゼクタブル・インテリジェンス」という概念は、なぜ多くのAIプロジェクトが停滞してしまうのかという理由に対して、新しい視点を提供しています。それは、AIの知能が足りないのではなく、考える過程でルールに従う方法を教えられていないからなのです。