Testing and Evaluation of Agentic AI Systems In Military Command and Control
本論文は、エージェンティックAIシステムの固有の特性が現行の軍事的試験・評価手法における8つの基本的仮定を覆し、それによって試験による証拠と配備後の挙動との間の論理的連結を断絶させていることを論じ、したがって、より限定的で回復可能な保証主張への移行と、配備を継続的なリスク管理行為として扱うガバナンスモデルへの移行を必要としている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
軍事指揮という極めて重要な世界において、リーダーたちは情報を収集し、それを理解し、行動計画を提案するためのシステムに頼っています。コマンド・アンド・コントロール（指揮統制）として知られるこのシステムは、地上や空中のセンサーと、兵士や艦船をどこへ送るべきかを決定しなければならない指揮官とを結びつける、作戦の神経系です。数十年にわたり、これらのシステムで使用されてきたツールは、予測可能な機械でした。それらは厳格なルールに従い、同じ情報を二度入力すれば、常に同じ答えを返します。しかし、今、新しい種類のテクノロジーがこれらの部屋に入り込もうとしています。これらは単に命令に従うだけの道具ではありません。「エージェント」なのです。単純な計算機とは異なり、エージェントは状況を観察し、どのような情報を見つけ出す必要があるかを判断し、自らその情報を探しに行き、そしてその新しい情報を用いて自身の計画を変更することができます。それは過去の出来事を記憶し、他の同様のシステムと対話し、人間に次に何をすべきか正確に指示されずとも、予期せぬ事態に適応することができます。この柔軟性は、彼らを驚異的に強力にする一方で、理解することを困難にします。中心となる問いは、もはやこれらのエージェントが機能するかどうかではなく、極限の状況において、それらが安全に機能することをどのように保証するかという点にあります。
研究チームは、現在これらの新しい柔軟なシステムをどのようにテストしているかを検証することで、この問いに答えようと試みました。彼らは、軍事および産業界の専門家がソフトウェアや自律型システムをテストするために用いている240種類もの異なる手法を調査しました。彼らの目的は、学習し、記憶し、即座に変化するエージェントという新しい現実に対して、これらの古い手法が対応できるかどうかを見極めることでした。彼らは根本的な問題を発見しました。現在のシステムのテスト方法は、エージェントにおいては全く成立しない仮定に基づいているという点です。従来のテストは、システムを「車」のような固定された物体であると想定しています。車では部品が変わることはなく、その挙動は予測可能です。今日車をテストすれば、その結果は明日も有効であるはずだと想定しています。また、車の各部品を個別にテストすれば、車全体の挙動を知ることができると考えています。
研究者たちは、エージェント型のシステムがこれらすべての仮定を打ち破ることを発見しました。第一に、これらのシステムは固定されていません。エージェントは、どのツールを使い、どの情報を収集するかを選択することで、独自の経路を構築します。エージェントは作業中にこれらの選択を行うため、テストされているシステムは、設計された当初のシステムとは異なるものになります。それは、ドライバーが走行中に同時にエンジンやタイヤを交換している車をテストしようとするようなものです。第二に、システムは安定していません。エージェントは過去のタスクで起きたことを記憶しており、その記憶が次のタスクでの振る舞いを変えてしまいます。たとえソフトウェアのコードが変化していなくても、内部状態が変化しているため、エージェントの挙動は変わります。つまり、先週のテスト結果は今日適用できない可能性があるのです。第三に、これらのシステムはしばしば、共に働く多くの小さなエージェントによって構成されています。それらが連携するとき、個々のパーツには存在しなかった新しい挙動が出現することがあります。エージェントのグループは、単独の個体では予測できなかった方法で問題を解決する可能性があり、それによって、パーツを個別にテストすることでは予測不可能な結果を生み出します。
こうした変化により、研究者たちは、現在のテスト手法が、書類上は完璧に見え、すべての公式な規則を満たしているように見える報告書を作成できたとしても、それが実生活における安全性を証明することにはならないという事実を発見しました。テストは、特定の制御された条件下ではシステムが機能することを示すかもしれませんが、混沌とした変化する環境に直面した際に、システムが同じように振る舞うことを保証することはできません。テスト結果と現実世界のパフォーマンスとの間の繋がりが断たれているのです。証拠は存在しますが、その証拠を安全性の約束へと結びつける論理が、もはや十分に強力ではないのです。
この論文は、これらのシステムの使用を止めるべきだとか、テストが不可能だと言っているわけではありません。むしろ、私たちは「安全性の根拠」の作り方を変えなければならないと示唆しています。システムが「あらゆる状況において安全である」という広範な約束に頼ることはできません。代わりに、より狭く、具体的な主張を行う必要があります。例えば、システムが特定の限定された行動範囲内に留まっているか、あるいは最終的な答えが変化する場合でも、正しい手順の経路を辿っているかどうかをテストすることができます。また、一部のエビデンスは、システムが実際に稼働している間にのみ収集できるものであることも受け入れなければなりません。これは、エージェントを実戦投入するという決定が、一度限りのイベントではないことを意味します。それは、システムを常に監視し、その記憶を確認し、依然として期待通りに振る舞っているかを検証し続ける、継続的なプロセスなのです。もしシステムが予測していなかった方向に逸脱したり変化したりした場合には、それを停止させるか調整する準備ができていなければなりません。
研究者たちはまた、人間がいかにしてこれらのエージェントを監督できるかについても調査しました。彼らは、単に人間がその場にいるだけでは不十分であることを発見しました。もしエージェントの動きが速すぎたり、複雑すぎたり、あるいは不透明すぎたりする場合、人間は事態を把握して介入するための時間を十分に持つことができません。システムは、人間が「エージェントが何をしているのか」「なぜそうしているのか」を理解でき、かつ、何かがうまくいかなくなった時に停止させるための十分な時間を持てるように設計される必要があります。これがなければ、人間は監督者ではなく、ただの傍観者になってしまいます。
最終的に、この研究は、これらの複雑で変化し続けるシステムが、考えうるあらゆるシナリオにおいて完璧に安全であることを証明することはまだできないものの、リスクを管理することは可能であると結論付けています。私たちは、自分たちが何を知らないのかについて正直になることで、これを実現します。システムの許容範囲を定義し、稼働中は密接に監視し、私たちの信頼は常に暫定的なものであることを受け入れるのです。エージェントを使用するという決定は、もはや最終的な承認のスタンプではありません。それは、証拠を絶えず検討し、不確実性を管理し、人間の判断がコントロールを維持できるようにするための、継続的なガバナンスの行為なのです。進むべき道は、安全性を一度に証明する完璧なテストを見つけることではなく、強力なツールを使いながら、リスクを管理可能な範囲内に留めるための、チェック・アンド・バランスの仕組みを構築することなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。