人工知能の世界は、静かではあるが極めて重要な岐路に立たされています。長年、これらのシステムはテキストを生成したり、コードを書いたり、ニュースを要約したりする能力、つまり思考し、話す強力なアシスタントとしての能力によって称賛されてきました。しかし、新たな局面が始まろうとしています。これらのシステムはもはや単に言葉を発するだけでなく、「実行」するようになっているのです。備品の購入、デジタルアカウントの管理、あるいは異なるソフトウェアプラットフォームをまたぐワークフローの調整といった、複雑なタスクを実行することが求められています。言葉の生成から行動の実行へのこの転換は、根本的な問題を提起します。それは、機械が現実世界での動きを開始するとき、私たちはどのようにしてその機械を信頼できるのか、という問題です。もし人間の従業員がミスをすれば、その仕事をレビューして修正することができます。しかし、自律型エージェントがワークフローを実行中に誤った決定を下した場合、即座に送金を行ったり、ファイルを削除したり、あるいはシステムを存在しない状態へとロックアウトしたりする可能性があります。課題は、AIをより賢くすることだけではなく、AIの行動をリアルタイムで監視し、速度を落としたり莫大なコストをかけたりすることなく、ルールに従っていることを保証する安全システムを構築することにあります。

このような背景において、弁大中（DaeJung Byun）という研究者が、EGA V9と呼ばれる「エグゼキューション・ガバナンスAI（Execution Governance AI）」という新しいフレームワークを提案しました。このシステムは、これら自律型エージェントのための厳格な自動監督役として機能するように設計されています。EGA V9は、確率に基づいてAIの決定が良いか悪いかを推測しようとするのではなく、異なるアプローチを取ります。それは、タスクの実行を、即座に再生可能な「録画された映画」のように扱うというものです。核心となるアイデアは、AIが何をすべきであったかという正確な計画と、AIが実際に何を行ったかという完璧な記録があれば、その差異を即座に特定できるという点にあります。このシステムは、タスクの開始から終了まで、AIが踏むあらゆるステップをキャプチャすることで機能します。そして、それらのステップの「リプレイ（再生）」を瞬時に行い、結果が計画と一致しているかを確認します。もしAIが、許可されていないツールを使用したり、取引における数値を変更したりするなど、逸脱しようとした場合、システムはその不一致を検知し、被害が出る前にアクションを停止させます。

研究者たちは、このフレームワークが現実世界の混沌としたシナリオに対処できるかどうかを確認するために、厳格なテストを行いました。彼らは、商品の購入のような単純なタスクから、攻撃者が不正な購入を行ったり安全ルールを回避しようとしたりする悪意のある複雑な試みまで、数千のテスト状況を作成しました。これらのテストでは、最大10,000の異なるワークフローを処理するようシステムに求められました。評価されたシナリオ内での結果は、驚くほど一貫していました。このフレームワークは、AIがルールを破ろうとしたすべての事例を検知することに成功し、これらの特定のテストにおいてエラーを100パーセント捕捉し、安全なアクションを誤って危険としてフラグを立てることもありませんでした。最も正当な業務に見えるように設計された最も困難なケースを含め、全範囲にわたって誤報や見逃した脅威がなく、完璧な精度を達成しました。ただし、研究者らは、これらの結果は評価されたシナリオ内における「実行の逸脱検知」を特徴付けるものであり、すべてのランタイム・セキュリティ特性を保証するものとして解釈されるべきではないと明記しています。

このアプローチを特に注目すべきものにしているのは、その動作の効率性です。通常、コンピュータシステムに安全レイヤーを追加すると、動作が遅くなったり、高価な追加の計算能力が必要になったりします。しかし、EGA V9は、AIと同じマシン上でローカルに動作するように設計されており、別の強力なコンピュータに助けを求める必要はありません。テストの結果、このシステムはプロセスへの遅延をほとんど発生させないことが示されました。単一のステップの検証にかかる時間は、最も速いチェックで具体的に約0.003ミリ秒という、千分の一秒単位の数値でした。さらに、このシステムはAIを動かしている大規模言語モデルへの追加の呼び出しを必要とせず、外部サービスへの追加のリクエストも必要としません。これは、安全確認が時間とコストの両面において即時かつ無料で行われることを意味し、AIがフルスピードで動作しながら、常に監視下にあることを可能にします。

このフレームワークは、セキュアな環境を構築するために連携して機能する5つの明確なレイヤーで構成されています。第一のレイヤーである「トリニティ・コア（Trinity Core）」はメモリとして機能し、あらゆる状態の変化とアクションを記録して、後で再生できるようにします。第二のレイヤーである「プロベナンス・レイヤー（Provenance Layer）」は、原因と結果のマップを構築し、どの決定がどの行動につながったかを正確に追跡します。もしマップに途切れたリンクや欠落したステップがあれば、システムは異常を察知します。第三のレイヤーである「コンテインメント・レイヤー（Containment Layer）」は、問題が見つかったときに介入するガードマンです。システムがAIのルール外の行動を検知した場合、このレイヤーは直ちにアクションをブロックし、ワークフローを隔離して、被害の拡散を防ぎます。第四のレイヤーは、オペレーターが起きていることを把握するためのウィンドウを提供し、第五のレイヤーは、研究者が安全で制御された環境で新しいタイプの攻撃に対してシステムをテストすることを可能にします。これらが一体となり、「フェイル・クローズド（fail-closed）」のシステム、つまり、システムが確信を持てない場合や脅威を検知した場合、アクションを許可するのではなく、停止することをデフォルトとする仕組みを作り上げています。

これらの印象的な結果にもかかわらず、研究者らは自らのシステムの限界を慎重に定義しています。本研究は、フレームワークがテストされた特定の種類のタスクや攻撃に対しては非常に効果的に機能することを裏付けていますが、あらゆる可能な危険に対する普遍的な解決策であるとは主張していません。例えば、システムはアクティブな不一致が存在する間は実行を効果的に抑制しますが、直ちに脅威が去った後に、AIが同じ悪いアクションを再び試みることを永久に防ぐ能力はまだ備わっていません。また、複雑な一連の動作が重複なしに正確に一度だけ行われることを保証することもまだできません。これは金融取引において重要な機能です。さらに、システムはAIの内部動作を追跡できますが、データ自体がシステムに到達する前に欠落したり改ざんされたりしている場合、その証拠の完全性を完全に検証することはできません。これらは現在のテストの失敗ではなく、現時点におけるこのテクノロジーの明確な境界線です。

この研究の意義は、AI自体を変更することなく、高速で安価、かつ信頼性の高いAIのセーフティネットを構築できることを示した点にあります。実行を決定論的なプロセス（すなわち、絶対的な確実性を持って再生・検証できるプロセス）として扱うことで、研究者たちは、これらのシステムを安全に保つために推測に頼る必要はないことを証明しました。システムは、すべての動きを監視し、評価範囲内のすべてのミスを捉え、アクティブな統治リクエスト中に検知されたすべての脅威を阻止しながら、コンピュータのパフォーマンスに実質的な負荷を与えないことが可能であることを証明しました。この成果は、強力なAIエージェントを使用して実務を実行したい組織に対し、タスクが安全かつ正確に完了することを保証するメカニズムが備わっているという安心感を与えるものです。この研究は、科学界全体がこれらの知見を検証し、自律的な安全性の限界を押し広げるために、テストし、挑戦し、改善することを待ち望んでいます。