Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle
本論文は、AI主導のセキュリティ・ライフサイクルから人間を排除することは、構築、防御、およびテストの役割間の必要な独立性を消失させ、それによって共通の盲点を生み出し、責任の所在を曖昧にし、システムを予測可能な敵対的搾取に対して脆弱な状態に置くことになるため、根本的に欠陥があるものであると主張する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
高リスクな建設プロジェクトを想像してみてください。そこでは、要塞を築き、それを守り、そして弱点を見つけるために自ら中に侵入するという工程が必要です。かつては、これらの役割のために「建設チーム」、「防御チーム」、「破壊チーム」という3つの異なるチームを雇っていました。
現在、私たちはこれら3つの人間のチームすべてを、たった一つの超スマートなAIロボットに置き換えようと急いでいます。このロボットがコードを書けるのであれば、自分の仕事を確認し、自らが作り出したものにハッキングを仕掛けることもできるはずだ、という考えです。著者であるモハメド・シャヒン・ガネム（Mohamed Chahine Ghanem）は、これは効率的に聞こえますが、実は危険な罠であると述べています。
以下に、人間をこのプロセスから排除することがなぜ悪いアイデアなのかを、簡単な比喩を用いて解説します。
1. 「単一の脳」問題（モノカルチャー）
要塞を設計した人物、門を守る人物、そして鍵を開けようとする人物が、全員同じ人のクローンだったと想像してみてください。彼らは皆、同じ学校に通い、同じ本を読み、全く同じように考えます。
- リスク: もしその一つの「脳」に盲点（本人が気づいていないミス）があった場合、これら3つの役割すべてに同じ盲点が生じます。
- 結果: 建設担当者がミスを犯します。防御担当者（建設担当者と同じ考えを持つ者）はそのミスに気づきません。破壊担当者（同じく建設担当者と同じ考えを持つ者）はそのミスを見つける方法を知りません。全員が同じ眼鏡を通して世界を見ているため、欠陥は見逃されてしまうのです。論文ではこれを**「アルゴリズム的モノカルチャー（単一栽培）」**と呼んでいます。
2. 「自分の宿題を採点する」問題（オラクル）
学校で、もしあなたがエッセイを書いて自分で採点したとしたら、たとえ内容が不明確であっても、自分が「言いたかったこと」を知っているため、自分に高い点数をつけてしまうでしょう。あなたは自分の仕事に対して偏見を持っています。
- リスク: AIがコードを書き、そのコードをチェックするためのテストケースも書く場合、それは実質的に自分の宿題を自分で採点していることになります。AIは、コードが現実の世界で実際に機能するかどうかではなく、コードが自身の期待に一致しているかどうかを確認しているのです。
- 結果: システムは、自分がすでに信じていることを確認するだけの閉じたループになります。独立した「教師（人間）」から「待って、それは意味が通じないよ」と言われることがないため、真のエラーを見つける能力を失ってしまうのです。
3. 「スピードの罠」（ループからの逸脱）
レーシングカーのドライバーがあまりに速すぎて、人間の安全管理官がついていけない状況を想像してください。最初は、管理官は車を見守っています。次に、車が速くなりすぎて、管理官は後で要約を見るだけになります。最終的には、車があまりに速いため、管理官はクラッシュした後に報告書を受け取るだけの乗客になってしまいます。
- リスク: AIはマシンのスピードで動きます。もしAIが数秒でバグを見つけて修正する場合、人間がそれをチェックするために立ち止まることは、作業を遅らせることになるため不可能です。そのため、私たちは人間の「ストップボタン」を取り除き始めます。
- 結果: 人間は、「ループ内（意思決定を行う）」から「ループ上（監視する）」へ、そして「ループ外（結果をただ眺めるだけ）」へと、次第に離脱していきます。人間が何かがおかしいと気づく頃には、AIはすでに何千もの間違いを犯してしまっています。
4. 「予測可能な標的」（アドバーサリ）
セキュリティは、猫と鼠のゲームです。もし鼠（防御側）が常に同じように考えるのであれば、猫（ハッカー）はその鼠を捕まえる方法を正確に学習してしまいます。
- リスク: 同じAIモデルが構築、防御、テストに使用される場合、システム全体が予測可能になります。ハッカーは、ある一種のAIを欺く方法さえ理解すれば、システム全体を欺くことができるのです。
- 結果: それは、たった一つのタイプの鍵しかない城を築くようなものです。一度泥棒がその鍵を開けてしまえば、城全体が落ちてしまいます。論文では、現実世界のテストにおいて、他のマシンへのハッキングには優れていたAIシステムが、創造的で予測不可能な思考を持つ人間を相手にした際には惨めな失敗に終わったことが指摘されています。
5. 「責任を取る人がいない」問題（アカウンタビリティ）
もし人間の建設業者がミスをしたなら、「なぜそんなことをしたのか？」と問い詰め、責任を追及することができます。しかし、機械がミスをした場合、誰に問い詰めればよいのでしょうか？
- リスク: もしAIが構築、防御、テストをすべて行い、何らかの問題（大規模なセキュリティ侵害など）が発生した場合、責任を問うべき人間がいなくなります。機械は失敗を「選択」したのではなく、単にコードに従っただけなのです。
- 結果: これは**「アカウンタビリティの空白（責任の真空状態）」**を生み出します。人間が仕事に署名（承認）しない限り、自分の行動に対して答えなければならないという規律がシステムから失われてしまいます。
解決策：人間を運転席に留めておくこと
この論文は、AIの使用をやめるべきだと言っているのではありません。実際、AIは重労働を行ったり、素早くコードを書いたり、明らかなバグを見つけたりすることに非常に優れています。
しかし、著者は人間が操作の「ヘッド（頭脳）」であり続けなければならないと主張しています。
- AIは、手足であり、目（作業を行うもの）であるべきです。
- 人間は、独立した判断を提供する「脳」でなければなりません。
私たちは、人間を「外部のオラクル（宿題を採点する教師）」、「サーキットブレーカー（緊急停止ボタンを押せる人）」、そして責任を取る存在として必要としています。もし人間を完全に排除してしまえば、私たちは単に仕事を自動化しているのではなく、デジタル世界を安全に保つためのセーフティシステムそのものを壊していることになるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。