Delegation-Aware Runtime Contracts for Open LLM Multi-Agent Systems: Constraint Preservation, Capability Revocation, and State Recovery

単なる賢いロボット１体と話すのではなく、チーム全体が協力して働く世界を想像してみてください。この世界では、「マネージャー」ロボットが「おい、新しいノートパソコンの最安値を探してこい」と言い、そのロボットが第３のロボットに対して「君はウェブサイトをチェックしてきて」と言うかもしれません。これはマルチエージェント・システムと呼ばれます。これは、タスクというバトンを渡していくデジタル版のリレーレースのようなものです。しかし、ここには厄介な問題があります。最初のロボットが第２のロボットにタスクを渡すとき、通常はただの普通の英語で指示をささやくだけです。もし最初のロボットが「500ドル以上は使わないで」と言ったとしても、第２のロボットは「ノートパソコンを探せ」としか聞き取らず、価格制限の存在を完全に忘れてしまうかもしれません。これは、コンピュータはルールに従うことには長けていますが、会話を次に渡す際に「細かい注意書き」を記憶しておくことには必ずしも長けていないために起こります。科学者たちは、もし私たちがより良いルールなしにこれらのロボットチームを野放しにすれば、意図せず私たちの全財産を使い果たしたり、秘密を漏洩したり、私たちが決して望まないことを行わせたりしてしまうのではないかと危惧しています。

この論文は、こうしたロボットの受け渡しを制御するための新しい方法であるDARC（Delegation-Aware Runtime Contracts：委任を意識した実行時契約）を紹介しています。これは、単なる「ささやき」ではなく、ロボットに「特別な、壊れないバックパック」を持たせるようなものだと考えてください。ロボットがタスクを別のロボットに渡すたびに、単に「行け」と言うのではなく、その中に「委任契約」を込めたデジタル・バックパックを渡します。この契約書には、新しいロボットが「できること」「できないこと」、いくらまで予算を使えるか、そしてその仕事の有効期限が明確に記されています。論文では、これらの契約を使用すれば、新しいロボットが元のロボットよりも突然大きな権限を持つことができないこと、また予算制限を忘れることもないことを、数学的に証明できることを示しています。著者は、これらのバックパックを自動的にチェックするシステムを構築しました。その結果、契約がない場合にはルールが受け渡しの中で消失してしまうことが多い一方で、契約があればルールがしっかりとロックされることが分かりました。ただし、論文では、数学的な部分（予算制限や時間制限など）は完璧に安全ですが、人間の言語の意味（「礼儀正しく振る舞う」など）を理解する必要がある部分は依然として難しく、さらなるテストが必要であると慎重に述べています。

問題点：「電話ゲーム」化するロボットチーム

友人たちと「伝言ゲーム（電話ゲーム）」をしている場面を想像してみてください。最初の人が次の人に秘密をささやき、その人がまた次の人に……と繰り返していきます。最後にメッセージが届く頃には、秘密の内容は通常変わってしまっています。例えば、「ケーキを食べちゃダメ」が「ケーキを食べろ！」に変わってしまうかもしれません。

AIの世界では、大規模言語モデル（LLM）エージェントのチームが協力して働くとき、まさにこれが起こります。あるエージェント（ボス）が別のエージェント（ワーカー）にタスクを与えます。ボスは「ベンダーを見つけて。ただし、1,000ドル以上は使わないこと、そして当社の従業員リストは誰にも見せないこと」と言います。ワーカーはその指示を聞き、第３のエージェント（ウェブ・サーファー）にタスクを渡します。しかし、メッセージがただのプレーンテキストであるため、第３のエージェントは「ベンダーを見つける」ということしか聞き取れません。予算制限やプライバシーのルールは、跡形もなく消えてしまったのです！

これは危険なことです。もしロボットチームが会社の予算を管理したり、機密データを扱ったりしている場合、ルールが失われることは、ロボットが誤って数百万ドルを費消したり、秘密を漏洩したりすることを意味します。問題は、ロボットが「悪い」のではなく、彼らの話し方が、重要な安全ルールを「厳格な法律」ではなく「任意の提案」として扱ってしまう仕組みにあるのです。

解決策：壊れないバックパック（DARC）

ヴィナイ・バミル（Vinay Bamil）氏率いる著者らは、DARCと呼ばれる解決策を提案しています。タスクを委任する際、エージェントは単にテキストメッセージを渡すのではなく、必ず**委任契約（Delegation Contract）**を渡さなければなりません。

この契約は、タスクと共に付いてくる「特別な、壊れないバックパック」のようなものです。このバックパックの中には、機械が読み取り可能な明確なラベルが入っています：

• できること： （例：「価格チェックはできるが、購入はできない」）
• できないこと： （例：「従業員の記録を見てはならない」）
• 予算： （例：「使える予算は正確に500ドルである」）
• 有効期限： （例：「このタスクは1時間のみ有効である」）
• 履歴： （例：「このタスクはエージェントAから受け取ったものであり、Aはボスから受け取ったものである」）

DARCの魔法は、これらのルールを単なる「言葉」ではなく「数学」として扱う点にあります。ロボットが新しいロボットにタスクを渡そうとする際、「メディエーター（仲裁者／安全ガード）」がバックパックをチェックします。もし新しいロボットが、元のロボットが持っていなかった権限を要求したり、元のルールを勝手に変更しようとしたりした場合、ガードは「ダメだ！」と言って受け渡しを阻止します。バックパックはタスクが渡される「前」に構築されるため、ルールを忘れることは不可能です。

仕組み：安全ガードとバックパック

このシステムは、空港のセキュリティ・チェックポイントのように、主に3つの段階で機能します。

1. 受け渡し（メディエーター）： エージェントAがエージェントBにタスクを与えたいとき、メディエーターがバックパックをチェックします。エージェントBがエージェントAよりも大きな権限を求めていないかを確認します。もしエージェントAの予算が500ドルであれば、エージェントBが600ドルの予算を得ることはできません。エージェントAに「従業員データ禁止」というルールがあれば、エージェントBもそのルールを守らなければなりません。バックパックはタスクが渡される前に作られるため、ルールを忘れることは不可能です。
2. 実行（ゲートウェイ）： エージェントBが実際に何か（ノートパソコンの購入やファイルの読み取りなど）を行おうとするとき、ゲートウェイが再びバックパックをチェックします。ゲートウェイは「あなたにその許可はあるか？ 予算は残っているか？ そのデータを読むことは許可されているか？」と問いかけます。答えが「ノー」であれば、そのアクションは即座にブロックされます。
3. 後片付け（インシデント・コントローラー）： もしロボットがハッキングされたり、暴走したりしたらどうなるでしょうか？ システムはバックパックを「無効化（リボーク）」することができます。もしボスが「エージェントBを停止せよ！」と言えば、システムは単にエージェントBを止めるだけでなく、バックパックの履歴を辿ります。エージェントBがタスクを渡したすべてのロボットを見つけ出し、彼らも停止させます。また、それらのロボットが触れたデータも隔離し、「感染」が広がらないようにします。

著者の発見（およびできなかったこと）

著者はこのシステムのプロトタイプを構築し、厳格にテストを行いました。以下がその発見事項です。

• 数学は機能する： これらの契約を使用すれば、ルールが誤って脱落することはないと証明されました。予算が500ドルに設定されていれば、タスクが何度受け渡されても、それは500ドル（またはそれ以下）のままです。契約がない場合、ルールはわずか数回の受け渡しで消失してしまうことが多いことが分かりました。
• 「欠落」のバグ： テスト中に、巧妙なバグが見つかりました。親となるロボットが特定の制限（予算の数値など）を書き忘れた場合、子となるロボットが「無制限」の資金を持っていると勘違いしてしまう可能性があることに気づいたのです。これを修正するために、新しいルールが作られました。もし制限が記載されていない場合は、安全のために「最も厳しい制限（例：0ドル）」があると想定しなければならない、というルールです。これは安全なAIを構築する上での大きな教訓となりました。
• 「意味」の問題： このシステムは、数字、日付、明確なルールをチェックすることには完璧です。しかし、人間の言語のニュアンスを理解することについては完璧ではありません。例えば、ルールに「礼儀正しく振る舞う」とあったとしても、システムはロボットが礼儀正しかったかどうかを数学的に証明することはできません。著者は、これらのような「意味に基づく」ルールについては、自身のシステムは完全な保証ではなく、あくまで「ベストエフォート（最善を尽くした）」の監視であると正直に認めています。彼らは、数学的な部分は証明できるが、「礼儀正しさ」が機能するかどうかまではまだ証明できないと言っています。
• テスト： 自動判定プログラムがこれらのエラーをどの程度特定できるかを確認するため、パイロット研究を実施しました。しかし、その判定プログラムはまだ厳格な一致テストをパスしていません。したがって、彼らは「礼儀正しさ」の問題を解決したと主張しているのではなく、単にシステムがこれらの問題を追跡できることを示しており、さらなるテストが必要であるとしています。

なぜこれが重要なのか

この論文は、厳格なコンピュータ・セキュリティの世界（ルールが硬く、壊れない世界）と、柔軟なAIチームの世界（ロボットが自然言語で会話する世界）の架け橋となるものです。

著者は、AIロボットたちが自由に会話することを許せば、安全性を確保できないことを示しています。私たちは、タスクと共に移動する「契約」を与える必要があります。これにより、たとえロボットたちが饒舌で創造的であっても、私たちが設定したルールを破ることができないようにできるのです。

このシステムはまだ完璧ではありませんが（特に複雑な人間の意味を理解するという点において）、強固な基礎を提供しています。それは、すべての受け渡しを「暗闇の中でのささやき」ではなく、厳格にチェックされた「契約」として扱うことで、強力でありながらも安全な（私たちの資産や秘密を守ることができる）AIチームを構築できることを証明しています。