Specifying the Delegated-Autonomy Boundary: Requirements Engineering for Agentic AI
本論文は、「委任された自律性の境界（delegated-autonomy boundary）」という概念を導入し、自律型システムに委任される決定の範囲を体系的に定義、正当化、および統治するための2つの補完的なアーティファクトである「エージェンシー正当化記録（Agency Justification Record: AJR）」と階層型「エージェンティック委任ポリシー（Agentic Delegation Policy: ADP）」を提案することにより、エージェンティックAIにおける特有の要件エンジニアリングの課題に対処するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが宇宙船の船長であると想像してください。人類の歴史の大部分において、船を造るということは、「もし赤いライトが見えたら左に曲がれ。青いライトが見えたら右に曲がれ」といった厳格な指示書を書くことを意味していました。その船は命令を完璧にこなすロボットでしたが、自ら考えることはできませんでした。その後、私たちはデータから学習できる「スマート」なコンピュータを発明しました。それは、図書館にある本を読み漁って答えを推測する学生のようなものでした。しかし、それらのスマートなコンピュータでさえ、基本的には単なる推測者に過ぎませんでした。彼らはあなたが質問するのを待ち、それから答えを出すだけでした。彼らは自律的に何かを行うことはありませんでした。
今、私たちは「エージェンティックAI（Agentic AI）」という新しい時代に入ろうとしています。これを、単なる推測者ではなく、新しい種類の「乗組員」と考えてみてください。この乗組員は、ただ命令を待つのではありません。地図を見て、レンチを掴むべきか判断し、ドアを開け、他の乗組員と話し、漏水箇所を修理することさえできます。これらは、あなたがすべてのステップを指示しなくてもできることです。彼らには少し独自の意思があります。これはエキサイティングなことですが、同時に少し恐ろしくもあります。もし、あなたがエンジンルームの鍵を乗組員に渡したとしたら、彼らが誤って船を衝突させないという保証がどこにあるのでしょうか？ 彼らが「何に触れてもよいか」、そして「いつあなたが介入して舵を取る必要があるか」を、どのように決めるのでしょうか？ これこそが大きな問いです。自律的に行動できるロボットに対して、どのようにルールを設定すればよいのでしょうか？
この論文は、まさにその問題に取り組んでいます。著者であるChetan Arora、Andreas Vogelsang、およびAbbi Sharmaは、私たちは現在、これらの「行動する」ロボットを、その自由のルールを書き記すことなく構築していると主張しています。明確なルールの代わりに、私たちは指示を乱雑なコンピュータコードや曖昧なプロンプトの中に隠してしまっています。彼らは、2つの特別なツールを用いて、これらのシステムを設計する新しい方法を提案しています。それは「正当化記録（Justification Record）」と「委任ポリシー（Delegation Policy）」です。
まず、**エージェンシー正当化記録（AJR）**です。想像してみてください、あなたが新しいインターンを採用しようとしています。オフィスへの鍵を渡す前に、あなたはこう問いかけなければなりません。「本当にインターンが必要なのか、それとも自動販売機で十分なのか？」 AJRは、チームにこの問いに答えさせるためのチェックリストです。タスクが単純なスクリプトには複雑すぎるか？ 異なるシステムとやり取りする必要があるか？ 間違ったことをしたときにインターンを止めることができるか？ 論文は、もしこれら全てのボックスにチェックを入れられないのであれば、そもそも「エージェント」を構築すべきではないと示唆しています。もっと単純で安全なツールを使うべきなのです。例えば、著者たちはこれを「コードレビュー」のアイデアでテストしました。その結果、コードのレビューは非常に構造化された明確なルールを持つ仕事であり、高度に思考するロボットは必要なく、単純なスクリプトの方がより良く、より安全に仕事をこなせることが分かりました。AJRはこう言います。「計算機で済むなら、ロボットを作るな」と。
しかし、もしどうしてもロボットが必要な場合はどうすればよいでしょうか？ そこで2つ目のツールが登場します。それが**エージェンティック委任ポリシー（ADP）**です。これは、あなたのロボット乗組員のための「自由のルールブック」のようなものです。単に「船を直せ」と言うのではなく、ADPは、ロボットができることとできないことを、権限の階層を用いて正確に分解します。
ADPを、ロボットの行動に対する信号機として考えてみてください：
- 緑信号（自律ティア / Autonomous Tier）： ロボットは、地図を読んだり温度をチェックしたりするように、これらを単独で行うことができます。人間が監視する必要はありません。
- 黄信号（助言ティア / Advisory Tier）： ロボットは、「エンジンオイルを変えるべきだと思います」といった提案をすることができますが、実際に実行する前には、人間が「よし、やってくれ」と言うのを待たなければなりません。
- 赤信号（禁止ティア / Prohibited Tier）： これらは「触れてはならない」ゾーンです。船を衝突させたり、重要なファイルを削除したりすることは、たとえ何があっても、ロボットは厳格に禁止されています。
ADPは、以下のようなその他の重要なルールもカバーしています：
- メモリ（記憶）： ロボットは何を記憶できるのか？ 患者やコードに関する秘密を保持できるのか、それとも仕事が終わったら忘れなければならないのか？
- チームワーク： もしロボットが混乱したり、2体のロボットが意見を異にしたりした場合、誰に連絡すべきか？ ADPはこう言います。「もし2回試しても解決できない場合は、停止して人間に尋ねなさい」。
- 安全性： ロボットが真実を言っていることをどうやって知るのか？ ポリシーは、人間が後で確認できるように、ロボットがしたすべてのことのログを残すことを要求しています。
著者たちは、これら2つのアイデアを2つの全く異なる例でテストしました。1つ目は「病院退院エージェント」で、患者の退院を支援するために設計されたロボットです。この仕事は複雑で、保険会社や医師とのやり取りを含み、もし不手際があれば高いリスクを伴います。AJRは「はい、これはロボットにとって完璧な仕事です」と判断し、ADPは厳格なルールを与えました。それは、患者のチャートを読むことはできますが（緑）、医師の承認なしに退院命令に署名することは決してできません（赤）。2つ目の例は、先ほど述べた「コードレビュー・エージェント」です。AJRはこれを見て、「いいえ、これは単純すぎて構造化されすぎています。ここでロボットを使うのではなく、スクリプトを使用してください」と判断しました。
この論文は、すべてを解決したと主張しているわけではありません。彼らは、これらの書かれたルールを、ロボットが理解できる実際のコンピュータコードにどのように変換するか、そしてそれらを適切にテストする方法を、まだ解明する必要があると認めています。しかし、主要な考え方は明確です。私たちは、これらの強力なロボットを野放しにしてはおけないのです。ルールをコードの中に隠すのではなく、明確に書き記し、どの程度の自由を与え、いつそれを回収するのかを決定する必要があります。AJRを使って「ロボットが必要かどうか」を判断し、ADPを使って「どのように行動させるか」を決めることで、私たちは、デジタル乗組員が危険な予測不能な存在ではなく、有益な助っ人となるような未来を築くことができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。