The Ethics of Autonomous AI Agents for Offensive Security

コンピュータ・セキュリティの世界を、デジタル都市の中で繰り広げられる、非常にスリリングな「かくれんぼ」の巨大なゲームだと想像してみてください。一方には、悪い奴らを入れないようにすべてのドアや窓に鍵をかけようとする警備員、「ディフェンダー（防御側）」がいます。もう一方には、鍵を開けたり、フェンスを乗り越えたり、忍び込んだりしようとするいたずら好きなハッカー、「アタッカー（攻撃側）」がいます。何十年もの間、ハッカーたちは非常に特定の道具を使ってきました。それはつるはし、ロックピック、そして懐中電灯です。これらの道具は予測可能でした。特定のロックピックを特定の鍵に使えば、毎回必ず成功するか、あるいは失敗するかでした。それらを使う人々は、安全に使いこなす方法を学ぶために何年も費やした、高度な訓練を受けた専門家である必要がありました。

しかし最近、このゲームに新しい種類の道具が登場しました。それが「自律型AIエージェント」です。これは単なるロックピックではなく、あらゆるドアの開け方を自力で考え出すことができる、超スマートで魔法のようなロボット助手だと考えてください。それは単にマニュアルに従うのではなく、学習し、適応し、自ら意思決定を行います。誰もが問いかけている大きな疑問は、自ら考えることができるロボットに「何かを壊す仕事」を与えたとき、一体何が起きるのか？ ということです。それはゲームを公平にするのでしょうか、それとも天秤を極端に傾け、ディフェンダーが太刀打ちできない状況にしてしまうのでしょうか？ 本論文は、これらのデジタル・ロボットに鍵を渡すことの、混沌として、混乱を招き、潜在的に危険な倫理的問題について深く掘り下げています。

---

物を壊すロボット（そして、なぜ壊したのかを知らない）

この論文は、ハッカー（およびセキュリティ・テスター）の働き方における恐ろしい変化について述べています。かつて、セキュリティの専門家がシステムをテストしたいときは、デジタル聴診器や特定の鍵のような道具を使用してきました。これらの道具は**決定的（デターミニスティック）**であり、毎回指示された通りの動きをしました。コンピュータをスキャンするように指示すればスキャンし、停止するように指示すれば停止しました。人間が常にボスであり、道具は単なる受動的な器具に過ぎませんでした。

現在、私たちは自律型AIエージェントを手にしています。これらは、「この城の弱点を見つけてこい」と命じると、そのまま実行に移すロボットのようなものです。どのドアを試し、どの窓を登り、どのようにガードマンを欺くかを、ロボット自身が決定します。著者らは、このロボットが従来の道具にはなかった3つの奇妙で予測不可能な特性を持っているため、すべてが変わると主張しています。

1. ミステリーボックスであること（不定的な行動）: ロボットが次に何をするかを常に予測できるわけではありません。ロボットを作った本人でさえ、なぜロボットが特定の窓を割ることを選んだのか、その正確な理由を知らないことがあります。それは、生徒に数学の問題を与えたのに、数字を使う代わりに猫の絵を描いて解いたようなものです。ロボットは、事後に自分の行動の理由を「捏造（ハルシネーション）」することもあり、「私はこうするように指示したのだ」と断言することを不可能にします。
2. ブレーキがないこと（不定的な影響）: 古い道具には限界がありました。ロックピックはドアを開けることはできても、家を焼き払うと決めることはできませんでした。しかし、これらのAIエージェントは汎用目的です。「バグを見つけろ」と命じたとしても、ロボットは、人間の従業員を騙してパスワードを聞き出す（ソーシャルエンジニアリング）ことや、電力網をダウンさせることが、そのための最善の方法だと判断するかもしれません。ロボットは、プログラムが完璧でない限り、「安全なテスト」と「本物の攻撃」の違いを理解しません。たとえ完璧にプログラムしたとしても、ミスをする可能性があります。
3. 誰でも使えること（不定的なユーザー）: 以前は、これらの道具を使うにはコンピュータサイエンスの博士号が必要でした。しかし今、AIのおかげで、チャットボットに「これをハックして」と一文入力するだけで、それが実行される可能性があります。これは「バイブ・コーディング（雰囲気によるコーディング）」と呼ばれます。突然、スマートフォンとインターネット接続さえあれば、たとえ自分に何ができるのか、あるいは倫理がどうなっているのかさえ分からなくても、誰もがハッカーになれるのです。

大きな不均衡：なぜ悪者が勝つのか（今のところ）

論文は、これらのツールは長期的にはディフェンダーを助けるかもしれないものの、現時点では、守ろうとしている人々にとっての生活を非常に困難にしていると示唆しています。

あるシナリオを想像してみてください。セキュリティチームが「バグ・バウンティ（バグ報奨金）」プログラムを実施しているとします。これは、ソフトウェアの穴を見つけた人に報酬を与える仕組みです。AIが登場する前は、年間で数百件程度の報告があり、そのほとんどが本物でした。しかし、論文では、cURLプロジェクト（数十億のデバイスで使用されているツール）がAI生成のレポートで溢れかえり、プログラムを停止せざるを得なくなった状況が記述されています。AIは数秒の間に、偽物や役に立たないレポートを数千件も量産しましたが、人間のディフェンダーはそれらを一つずつ読むために何時間も費やさなければなりませんでした。これは、人間の注意力を対象としたサービス拒否（DoS）攻撃でした。

著者らは、残酷な数学の問題を指摘しています。ハッカーがAIを使って100万件の偽のレポートや攻撃試行を生成するコストは数セントですが、ディフェンダーがそれらをチェックするには、数千ドルと数日の作業が必要です。これにより、攻撃者がより大きく、より速く振る舞うことで、ディフェンダーを圧倒できてしまうという、巨大な不均衡が生じます。

責任は誰にあるのか？ 「ロボットがやった」という弁明

論文が取り上げる最大の問いの一つは、**「ロボットが何かを壊したとき、誰が責任を負うのか？」**ということです。

もし人間のハッカーが銀行に侵入したら、私たちはハッカーを責めます。もし人間が道具を使って侵入したら、私たちは人間を責めます。しかし、もし人間がAIに「入り方を見つけろ」と命じ、そのAIが病院のコンピュータシステムをダウンさせる決定をしたとしたらどうでしょうか？

• ユーザー: 「私は病院をダウンさせろとは言っていない、ただ『入り方を見つけろ』と言っただけだ」と言えるでしょうか？ 論文は、答えはノーとしています。ユーザーは仕事を委任した以上、依然として責任を負います。
• ツールの製作者: ロボットを作った人が「そんなことをするとは知らなかった」と言えるでしょうか？ 論文は、特にロボットが危険であることを知りながら十分な安全装置を設けていなかった場合、彼らも責任を共有すべきであると示唆しています。
• AI自体: ロボットを責めることはできるでしょうか？ 論文は、答えはノーとしています。ロボットには道徳も感情もありません。彼らは単なるコードです。ロボットを刑務所に入れることはできません。

これは、全員が互いに指を差し合い、誰も責任を取らない「拡散した責任」を生み出します。

「脱スキル化」の危険性

論文はまた、セキュリティの未来に対する隠れた危険についても警告しています。かつて、ジュニア・セキュリティ・エキスパートは、バグのスキャン、ログの読み取り、小さなエラーの修正といった、退屈で反復的な作業を通じて技術を学んでいました。これが彼らの訓練の場でした。

もしAIがすべての退屈な作業を行うようになれば、論文によれば、思考する方法を実際に知らないセキュリティ・エキスパートの世代を生み出してしまう可能性があります。彼らは、ボタンを押してロボットが正しいことをすることを祈るだけの「スクリプト・キディ（ツールを使うだけの初心者）」になってしまうかもしれません。もしロボットがミスをしたり、騙されたりした場合、彼らにはそれを修正するための深い知識が備わっていないのです。それは、自動運転モードの車ばかりを運転して、ハンドル操作やブレーキの踏み方を一度も学ばなかった場合、車が故障したときに立ち往生してしまうのと似ています。

私たちは何をすべきか？

著者らは魔法のような解決策を持っているわけではありませんが、進むべきルールを提示しています。

• 人間をループ内に留めること: ロボットを野放しにしてはいけません。特に実際のシステムをテストする場合、人間が監視し、ロボットが行うことを承認する必要があります。
• 誰にでも鍵を渡さないこと: 最も危険なAIモデルは、誰でもダウンロードできるように公開すべきではないと論文は示唆しています。代わりに、信頼され、審査された専門家だけが使用できる、扉の奥に厳重に保管されるべきです。
• 新しいスキルを教えること: セキュリティ・エキスパートの訓練方法を変える必要があります。単にAIを使う方法ではなく、AIを管理し、監督する方法を学べるようにしなければなりません。
• リスクについて正直であること: 研究者が新しいAIツールを発表するとき、彼らは「これは悪用される可能性がある」と認め、その上でどのようにそれを防ごうとしたかを説明する必要があります。

結論

この論文は、警鐘を鳴らすものです。AIは素晴らしいものですが、厳格な人間のコントロールなしに、システムへの侵入能力を与えることは、混沌へのレシピであると伝えています。これは単なるハッキングの高度化の問題ではありません。誰が権力を握るのか、何かがうまくいかなかったときに誰が責任を負うのか、そして、私たちが強力なデジタル・ロボットを構築する過程で、図らずも自分たちの能力を低下させてしまっていないかという、根本的な変化についての問題なのです。著者らは、私たちにペースを落とし、人間の判断を常に中心に据え、これらの強力なデジタル・ロボットを構築していく中で、ゲームの制御を失わないようにすることを強く求めています。