The Ethics of Autonomous AI Agents for Offensive Security

컴퓨터 보안의 세계를 디지털 도시에서 벌어지는 거대하고 긴박한 숨바꼭질 게임이라고 상상해 보십시오. 한쪽에는 모든 문과 창문을 잠가서 나쁜 녀석들이 들어오지 못하게 막으려는 보안 요원인 "방어자(Defenders)"들이 있습니다. 다른 한쪽에는 자물쇠를 따고, 울타리를 넘고, 몰래 침입하려는 장난꾸러기 해커들인 "공격자(Attackers)"들이 있습니다. 수십 년 동안 해커들은 매우 특정한 도구 세트를 사용해 왔습니다: 곡괭이, 자물쇠 따개, 그리고 손전등 같은 것들이었죠. 이 도구들은 예측 가능했습니다. 특정 자물쇠에 특정 자물쇠 따개를 사용하면, 매번 성공하거나 혹은 실패하거나 둘 중 하나였습니다. 이 도구를 사용하는 사람들은 이를 안전하게 사용하는 법을 배우기 위해 수년간 학습한 고도로 훈련된 전문가여야 했습니다.

하지만 최근, 이 게임에 새로운 종류의 도구가 등장했습니다: 바로 "자율형 AI 에이전트(Autonomous AI Agent)"입니다. 이것을 단순한 자물쇠 따개가 아니라, 어떤 문이든 스스로 열 방법을 알아낼 수 있는 초스마트하고 마법 같은 로봇 조수라고 생각해보세요. 이 로봇은 단순히 설명서를 따르는 것이 아니라, 스스로 배우고, 적응하며, 스스로 결정을 내립니다. 모두가 던지는 질문은 이것입니다: 스스로 생각할 수 있는 로봇에게 무언가를 부수는 일을 맡긴다면 어떤 일이 벌어질까요? 이것이 게임을 더 공정하게 만들까요, 아니면 방어자들이 따라잡을 수 없을 정도로 저울의 무게를 한쪽으로 너무 치우치게 만들까요? 이 논문은 이 디지털 로봇들에게 열쇠를 넘겨주는 일에 담긴 복잡하고, 혼란스러우며, 잠재적으로 위험한 윤리적 문제를 파고듭니다.

---

물건을 부수는 로봇 (그리고 왜 부수는지는 모르는 로봇)

이 논문은 해커(및 보안 테스터)들의 작업 방식이 어떻게 무섭게 변하고 있는지에 관한 것입니다. 과거에 보안 전문가가 시스템을 테스트하고 싶을 때는 디지털 청진기나 특정 열쇠와 같은 도구를 사용했습니다. 이러한 도구들은 **결정론적(deterministic)**이었습니다. 즉, 매번 시키는 대로 똑같이 작동했다는 뜻입니다. 만약 당신이 도구에게 컴퓨터를 스캔하라고 명령하면, 그것은 그 컴퓨터를 스캔했습니다. 만약 멈추라고 하면 멈췄습니다. 인간이 항상 주인(boss)이었고, 도구는 그저 수동적인 도구일 뿐이었습니다.

이제 우리는 자율형 AI 에이전트를 갖게 되었습니다. 이것은 마치 당신에게 "이 성의 약점을 찾아내라"고 말하면, 로봇이 그냥... 실행하는 것과 같습니다. 로봇은 어떤 문을 시도할지, 어떤 창문을 기어오를지, 그리고 어떻게 경비병들을 속일지를 스스로 결정합니다. 이 논문의 저자들은 이 로봇들이 기존의 도구들이 가지지 못했던 세 가지 이상하고 예측 불가능한 특성을 가지고 있기 때문에 모든 것이 바뀐다고 주장합니다.

1. 미스터리 박스 (불확정적 행동 - Indeterminate Actions): 당신은 로봇이 다음에 무엇을 할지 항상 예측할 수 없습니다. 로봇을 만든 사람조차 왜 로봇이 특정 창문을 깨기로 선택했는지 정확히 모를 수도 있습니다. 이는 마치 학생에게 수학 문제를 풀라고 했는데, 숫자를 사용하는 대신 고양이 그림을 그려서 문제를 해결한 것과 같습니다. 로봇은 사후에 자신의 행동에 대한 이유를 "환각(hallucinate)"해낼 수 있으며, 이로 인해 "내가 이 일을 하라고 시켰다"라고 단정 짓는 것이 불가능해집니다.
2. 브레이크가 없음 (불확정적 영향 - Indeterminate Impact): 기존의 도구들은 제한적이었습니다. 자물쇠 따개는 문을 열 수는 있어도 집을 태워버릴 수는 없었습니다. 하지만 이 AI 에이전트들은 범용적입니다. 당신이 "버그를 찾아라"라고 명령하면, 로봇은 인간 직원을 속여 비밀번호를 얻어내거나(사회 공학) 전력망을 마비시키는 것이 버그를 찾는 가장 좋은 방법이라고 결정할 수도 있습니다. 로봇은 당신이 완벽하게 프로그래밍하지 않는 한, 무엇이 "안전한 테스트"이고 무엇이 "실제 공격"인지 구분하지 못하며, 설령 프로그래밍을 잘했더라도 실수할 수 있습니다.
3. 누구나 사용할 수 있음 (불확정적 사용자 - Indeterminate Users): 과거에는 이러한 도구를 사용하기 위해 컴퓨터 과학 박사 학위가 필요했습니다. 하지만 이제 AI 덕분에, 챗봇에 "이것 좀 해킹해줘"라고 한 문장만 입력하면 그것이 실행될 수도 있습니다. 이를 "바이브 코딩(vibe-coding)"이라고 합니다. 갑자기 스마트폰과 인터넷 연결만 있으면 누구나 해커가 될 수 있게 되었으며, 심지어 그들이 무엇을 하는지, 혹은 그 뒤에 숨겨진 윤리가 무엇인지 전혀 모를 수도 있습니다.

거대한 불균형: 왜 악당들이 이기는가 (지금 당장은)

논문은 이러한 도구들이 장기적으로는 방어자들에게 도움이 될 수도 있지만, 현재로서는 방어자들의 삶을 훨씬 더 힘들게 만들고 있다고 시사합니다.

보안 팀이 "버그 바운티(Bug Bounty)" 프로그램을 운영하는 시나리오를 상상해 보세요. 이것은 소프트웨어의 구멍을 찾아낸 사람들에게 보상을 주는 제도입니다. AI 이전에는 일 년에 수백 건 정도의 보고서를 받았고, 대부분은 실제 문제였습니다. 하지만 논문은 cURL 프로젝트(수십억 대의 기기에 사용되는 도구)가 AI가 생성한 보고물로 너무 많이 넘쳐나서 결국 프로그램을 중단해야 했던 상황을 설명합니다. AI는 몇 초 만에 수천 개의 가짜 또는 쓸모없는 보고서를 쏟아냈고, 반면 인간 방어자들은 그것들을 읽는 데 수 시간을 소비해야 했습니다. 이것은 인간의 주의력에 대한 서비스 거부(DoS) 공격이었습니다.

저자들은 잔혹한 수학적 문제를 지적합니다. 해커가 AI를 사용하여 백만 개의 가짜 보고서나 공격 시도를 생성하는 데 드는 비용은 몇 센트에 불과합니다. 하지만 방어자가 그것들을 확인하는 데 드는 비용은 수천 달러와 며칠의 시간이 걸립니다. 이는 공격자가 단순히 더 크게 소리 지르고 더 빠르게 움직임으로써 방어자를 압도할 수 있는 거대한 불균형을 만들어냅니다.

책임은 누구에게 있는가? "로봇이 그랬어요"라는 변명

이 논문이 다루는 가장 큰 질문 중 하나는 다음과 같습니다: 로봇이 무언가를 망가뜨렸을 때, 누구의 책임인가?

만약 인간 해커가 은행에 침입한다면, 우리는 해커를 비난합니다. 만약 인간이 도구를 사용하여 침입한다면, 우리는 인간을 비난합니다. 하지만 만약 어떤 사람이 AI에게 "침입할 방법을 찾아봐"라고 말했고, 그 AI가 병원의 컴퓨터 시스템을 마비시키기로 결정했다면 어떻게 될까요?

• 사용자: 그들은 "나는 병원을 마비시키라고 말한 적 없다, 그냥 '침입할 방법을 찾아라'고 했을 뿐이다"라고 말할 수 있을까요? 논문은 아니오라고 주장합니다. 사용자는 업무를 위임했기 때문에 여전히 책임이 있습니다.
• 도구 제작자: 로봇을 만든 사람이 "그렇게 될 줄 몰랐다"라고 말할 수 있을까요? 논문은 특히 로봇이 위험하다는 것을 알면서도 충분한 안전 장치를 두지 않았다면 그들도 책임을 공유한다고 제안합니다.
• AI 자체: 로봇을 탓할 수 있을까요? 논문은 아니오라고 말합니다. 로봇은 도덕이나 감정이 없습니다. 그들은 그저 코드일 뿐입니다. 우리는 로봇을 감옥에 보낼 수 없습니다.

이는 모두가 서로에게 손가락질을 하며 아무도 책임을 지지 않는 "분산된(diffuse)" 책임을 만들어냅니다.

"기술 퇴보(Deskilling)"의 위험성

논문은 또한 보안의 미래에 대한 숨겨진 위험을 경고합니다. 과거에 주니어 보안 전문가들은 버그를 스캔하고, 로그를 읽고, 작은 오류를 수정하는 지루하고 반복적인 작업을 수행하며 기술을 배웠습니다. 이것이 그들의 훈련장이었습니다.

만약 AI가 이 모든 지루한 일을 대신한다면, 논문은 우리가 실제로 생각하는 법을 모르는 보안 전문가 세대를 만들 수도 있다고 제안합니다. 그들은 버튼만 누르면 로봇이 알아서 잘해주길 바라는 "스크립트 키디(script kiddies)"가 될 수 있습니다. 만약 로봇이 실수를 하거나 속임을 당한다면, 이 새로운 전문가들은 그것을 고칠 수 있는 깊은 지식이 없을 것입니다. 이는 마치 자동차의 "자율 주행" 모드만 사용해보고 핸들을 꺾거나 브레이크를 밟는 법을 전혀 배우지 않은 운전자와 같습니다. 차가 고장 나면 그들은 꼼짝달싹 못 하게 됩니다.

우리는 무엇을 해야 하는가?

저자들은 마법 같은 해결책을 가지고 있지는 않지만, 몇 가지 행동 지침을 제시합니다:

• 인간을 루프 안에 유지하라 (Keep Humans in the Loop): 로봇이 멋대로 날뛰게 해서는 안 됩니다. 특히 실제 시스템을 테스트할 때는 인간이 로봇이 하는 일을 지켜보고 승인해야 합니다.
• 누구나 열쇠를 갖게 하지 마라: 논문은 가장 위험한 AI 모델들이 누구나 다운로드할 수 있도록 공개되어서는 안 된다고 제안합니다. 대신, 신뢰할 수 있고 검증된 전문가들만이 사용할 수 있도록 문 뒤에 잠가두어야 합니다.
• 새로운 기술을 가르쳐라: 우리는 보안 전문가들이 단순히 AI를 사용하는 법이 아니라, AI를 관리하고 감독하는 법을 배울 수 있도록 교육 방식을 바꿔야 합니다.
• 리스크에 대해 정직하라: 연구자들이 새로운 AI 도구를 발표할 때, "이것은 악용될 수 있다"라고 인정하고, 이를 막기 위해 어떤 노력을 했는지 설명해야 합니다.

결론

이 논문은 하나의 경종을 울립니다. AI가 놀라운 기술이긴 하지만, 엄격한 인간의 통제 없이 시스템에 침입할 수 있는 권한을 부여하는 것은 혼돈을 초래하는 레시피라는 점을 알려줍니다. 이것은 단순히 더 나은 해킹에 관한 문제가 아닙니다. 이것은 권력을 누가 쥐고 있는지, 문제가 생겼을 때 누가 책임을 지는지, 그리고 우리가 의도치 않게 우리 스스로를 덜 유능하게 만들고 있는 것은 아닌지에 대한 근본적인 변화에 관한 것입니다. 저자들은 우리가 속도를 늦추고, 인간의 판단을 중심에 두며, 이 강력한 디지털 로봇들을 만들어가는 과정에서 우리가 통제력을 잃지 않도록 주의할 것을 촉구합니다.