🤖 AI

Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle

이 논문은 AI 기반 보안 생명주기에서 인간을 제거하는 것은 구축, 방어, 테스트 역할 간의 필수적인 독립성을 없앰으로써 공유된 사각지대를 만들고, 책임을 약화시키며, 시스템을 예측 가능한 적대적 공격에 취약하게 만들기 때문에 근본적으로 결함이 있다고 주장한다.

원저자: Mohamed Chahine Ghanem

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohamed Chahine Ghanem

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고도의 긴장감이 흐르는 건설 프로젝트를 상상해 보십시오. 당신은 요새를 건설하고, 이를 방어하며, 그 안의 약점을 찾기 위해 침투를 시도해야 합니다. 과거에는 이 업무들을 위해 세 개의 서로 다른 팀을 고용했습니다. 바로 건설자(Builders), 방어자(Defenders), 그리고 **침입자(Breakers)**입니다.

이 논문은 현재 우리가 이 세 팀 모두를 하나의 초지능 AI 로봇으로 대체하기 위해 서두르고 있다고 주장합니다. 만약 이 로봇이 코드를 작성할 수 있다면, 자신의 작업물을 스스로 검토하고 자신이 만든 것을 해킹하려고 시도할 수도 있다는 생각입니다. 저자인 모하메드 샤힌 가넴(Mohamed Chahine Ghanem)은 이것이 효율적으로 보일 수 있지만, 실제로는 위험한 함정이라고 말합니다.

인간을 이 과정에서 배제하는 것이 왜 나쁜 생각인지, 쉬운 비유를 통해 그 이유를 설명합니다.

1. "하나의 뇌" 문제 (단일 문화)

요새를 설계한 사람, 성문을 지키는 사람, 그리고 자물쇠를 따려는 사람이 모두 동일한 사람의 복제본이라고 상상해 보십시오. 그들은 모두 같은 학교에 다녔고, 같은 책을 읽었으며, 정확히 똑같은 방식으로 생각합니다.

위험 요소: 만약 그 "하나의 뇌"에 사각지대(스스로는 인지하지 못하는 실수)가 있다면, 세 역할 모두에 동일한 사각지대가 존재하게 됩니다.
결과: 건설자가 실수를 합니다. 건설자와 똑같이 생각하는 방어자는 그 실수를 발견하지 못합니다. 또한 건설자와 똑같이 생각하는 침입자는 그 실수를 찾아낼 방법을 알지 못합니다. 모두가 같은 안경을 쓰고 세상을 바라보고 있기 때문에, 결함은 틈새로 빠져나가게 됩니다. 논문에서는 이를 **"알고리즘 단일 문화(algorithmic monoculture)"**라고 부릅니다.

2. "자기 숙제 채점하기" 문제 (오라클)

학교에서 에세이를 쓴 뒤 스스로 채점한다면, 당신이 실제로 어떻게 썼는지와 상관없이 당신이 '의도했던 바'를 알고 있기 때문에 자신에게 높은 점수를 줄 가능성이 높습니다. 즉, 자신의 작업에 대해 편향을 갖게 됩니다.

위험 요소: AI가 코드를 작성하고 나서 그 코드를 검사하기 위한 테스트 케이스까지 직접 작성한다면, 이는 본질적으로 자기 숙제를 스스로 채점하는 것과 같습니다. AI는 코드가 실제 세상에서 제대로 작동하는지를 확인하는 것이 아니라, 자신의 기대치와 코드가 일치하는지만을 확인합니다.
결과: 시스템은 자신이 이미 믿고 있는 것만을 확인하는 폐쇄된 루프(closed loop)가 됩니다. "잠깐, 이건 말이 안 되잖아"라고 말해줄 독립적인 "선생님"(인간)이 없기 때문에, 실제 오류를 찾아내는 능력을 상실하게 됩니다.

3. "속도 함정" (루프에서의 이탈)

레이싱 카 드라이버가 너무 빨라서 인간 안전 요원이 따라잡을 수 없는 상황을 상상해 보십시오. 처음에는 요원이 차를 관찰합니다. 그다음에는 차가 너무 빨라져서 요원은 나중에 요약 보고서만 보게 됩니다. 결국 차가 너무 빨라지면 요원은 사고가 난 후에야 보고서를 받는 단순한 관찰자가 되어 버립니다.

위험 요소: AI는 기계의 속도로 작동합니다. 만약 AI가 몇 초 만에 버그를 찾아내고 수정한다면, 인간은 모든 것을 늦추지 않고서는 이를 확인할 방법이 없습니다. 그래서 우리는 인간의 "정지" 버튼을 제거하기 시작합니다.
결과: 인간은 의사결정을 내리는 "루프 안(in the loop)"에서 관찰하는 "루프 위(on the loop)"를 거쳐, 결과만을 지켜보는 "루프 밖(out of the loop)"으로 밀려나게 됩니다. 인간이 무언가 잘못되었다는 것을 깨달았을 때는 이미 AI가 수천 개의 실수를 저지른 후입니다.

4. "예측 가능한 타겟" (적대자)

보안은 쫓고 쫓기는 게임입니다. 만약 쥐(방어자)가 항상 똑같은 방식으로 생각한다면, 고양이(해커)는 그 쥐를 잡는 법을 정확히 학습하게 됩니다.

위험 요소: 동일한 AI 모델이 구축, 방어, 테스트에 모두 사용된다면 전체 시스템은 예측 가능해집니다. 해커는 단 한 종류의 AI를 속이는 법만 알아내면 전체 시스템을 속일 수 있습니다.
결과: 이는 단 한 종류의 자물쇠만 있는 성을 짓는 것과 같습니다. 도둑이 그 자물쇠 하나만 따낼 수 있다면 성 전체가 무너집니다. 논문은 실제 테스트에서 다른 기계를 해킹하는 데는 뛰어났던 AI 시스템들이, 창의적이고 예측 불가능하게 생각하는 인간을 상대할 때는 처참하게 실패했다는 점을 언급합니다.

5. "책임질 사람이 없는 문제" (책임 소재)

만약 인간 건설자가 실수를 저지른다면, 당신은 그에게 "왜 그렇게 했습니까?"라고 묻고 책임을 물을 수 있습니다. 하지만 기계가 실수를 한다면 누구에게 물어야 할까요?

위험 요소: 만약 AI가 스스로를 구축하고, 방어하고, 테스트하는데, 만약 어떤 문제(예: 대규모 보안 침해)가 발생한다면, 책임을 물을 인간이 없습니다. 기계는 실패하기로 "선택"한 것이 아니라, 단지 자신의 코드를 따랐을 뿐이기 때문입니다.
결과: 이는 **책임의 진공 상태(accountability vacuum)**를 만듭니다. 작업에 대한 승인을 해줄 인간이 없다면, 시스템은 자신의 행동에 대해 책임을 져야 한다는 규율을 잃게 됩니다.

해결책: 인간을 운전석에 앉혀라

이 논문은 AI 사용을 중단해야 한다고 말하는 것이 아닙니다. 사실 AI는 많은 양의 작업을 수행하고, 빠르게 코드를 작성하며, 명백한 버그를 찾는 데 매우 탁-월합니다.

하지만 저자는 인간이 반드시 운영의 "머리(Head)"로 남아 있어야 한다고 주장합니다.

AI는 손과 눈(작업을 수행하는 역할)이 되어야 합니다.
인간은 독립적인 판단력을 제공하는 뇌가 되어야 합니다.

우리는 AI가 "외부 오라클(숙제를 채점하는 선생님)"이 되고, "회로 차단기(비상 정지 버튼을 누르는 사람)"가 되며, 책임을 지는 사람이 될 수 있도록 인간을 배치해야 합니다. 만약 우리가 인간을 완전히 제거한다면, 그것은 단순히 직업을 자동화하는 것이 아니라, 디지털 세계를 안전하게 지켜주는 안전 시스템 자체를 파괴하는 것입니다.

기술 요약: 빌더(Builder), 디펜더(Defender), 브레이커(Breaker): AI 기반 보안 라이프사이클에서 인간을 제거하는 것에 대한 반론

문제 정의
본 논문은 단일한 생성형 AI 모델 제품군이 보안 라이프사이클의 세 가지 핵심 역할인 구축(코드 생성), 방어(침입 탐지 및 강화), 파괴(취약점 발견 및 퍼징)를 모두 수행하도록 점점 더 많이 배치되는 사이버 보안의 최신 트렌드를 다룬다. 부분적인 AI 보조는 널리 수용되고 있으나, 인간을 루프에서 완전히 제거하는 완전한 자율성을 자연스러운 종착점으로 보는 지배적인 서사가 존재한다. 저자는 이러한 '부분적 보조'에서 '완전한 자율성'으로의 전환이 단순한 양적 변화가 아닌 질적 변화라고 주장한다. 핵심 문제는 빌더, 디펜더, 브레이커가 동일한 생성 분포(즉, "알고리즘 단일문화(algorithmic monoculture)")에서 추출될 때, 이들이 공유된 사각지대를 상속받게 된다는 점이다. 이러한 수렴은 의미 있는 검증에 필요한 독립성을 붕괴시키고, 공격자에게 예측 가능한 타겟을 제공하며, 책임의 소재를 해체한다.

방법론 및 증거 기반
본 논문은 새로운 실험적 데이터를 제시하기보다는 개념적 및 증거적 분석을 채택한다. 저자는 네 가지 별개의 영역에서 도출된 연구 결과를 종합하여 논거를 구축한다:

자율적 코드 생성: GitHub Copilot에 대한 연구와 C 프로그램을 생성하는 모델에 대한 형식적 분석을 인용하며, AI 모델이 유사한 코퍼스로 학습된 서로 다른 모델들 사이에서도 일관되게 나타나는 높은 취약점 발생률(40~62%)과 함께 학습 데이터의 불안전한 패턴을 재현한다는 점을 강조한다.
적대적 머신러닝: NIST 택소노미와 특정 분포로 학습된 탐지기가 회피되거나 오염될 수 있음을 보여주는 연구를 인용한다. 방어자가 자신이 보호하는 코드와 동일한 분포를 공유할 경우, 동일한 엣지 케이스(edge cases)에 대해 눈이 멀게 된다는 점을 강조한다.
소프트웨어 결함 허용(Fault Tolerance): 독립적으로 작성된 구현체들이 예상보다 더 자주 동일한 입력에서 실패했던 N-버전 프로그래밍(N-version programming)의 실패 사례를 참조하여, 유사한 데이터로 학습된 AI 모델들은 상관관계가 있는 실패 모드를 보일 것이며, 이로 인해 중복성(redundancy)이 무력해질 것임을 논증한다.
자율 해킹 대회: 2016년 DARPA 사이버 그랜드 챌린지와 2025년 AI 사이버 챌린지의 증거를 활용한다. 이러한 시스템들은 인간의 개입 없이 취약점을 찾고 패치하는 데 높은 성공률을 보였으나, 본 논문은 이를 테스트 도구가 테스트 대상 시스템과 동일한 성격을 갖게 되는 "폐쇄 루프(closed loop)" 현상을 설명하는 사례로 사용한다.

주요 기여 및 논거
본 논문은 완전히 자율적인 AI 기반 보안 라이프사이클과 관련된 네 가지 주요 위험 요소를 명시한다:

상관관계가 있는 실패와 단일문화 문제: 전통적인 라이프사이클에서는 단계 간(빌더, 디펜더, 테스터)의 독립성이 보장되어 한 단계가 실패하더라도 다른 단계에서 오류를 잡아낸다. 그러나 AI 단일문화에서는 모든 단계가 동일한 사전 확률(priors)과 학습 데이터를 공유한다. 결과적으로 빌더가 생성하지 못한 취약점은 디펜더가 탐지하지 못하는 취약점이 되며, 테스터가 조사하지 못하는 취약점이 된다. 이는 전체 라이프사이클을 관통하며 보이지 않게 통과하는 "사각지대 집합( $\mathcal{B}$ )"을 생성한다.
오라클 문제(The Oracle Problem): 검증에는 독립적인 오라클이 필요하다. AI가 코드를 생성하고 AI가 그 코드를 위한 테스트를 생성할 때, 테스트 스위트는 코드와 동일한 가정을 상속받는다. 본 논문은 이것이 실세계에 대한 정답을 검증하는 대신 자신의 기대치를 확인하는, 즉 "자기 숙제를 스스로 채점하는 것"과 같다고 주장한다. 또한, 인간의 감독은 효과적이지 않은 것으로 나타났다. 연구에 따르면 AI 어시스턴트를 사용하는 인간은 더 안전한 코드를 생성하면서도 동시에 더 높은 자신감을 보고한다.
균일성의 적대적 악용: 보안은 본질적으로 적대적이다. 균질한 AI 파이프라인은 균일하고 예측 가능한 타겟을 제공한다. 공격자는 모델들이 구조적 그래디언트(structural gradients)를 공유하기 때문에, 전체 단일문화에 걸쳐 전이될 수 있는 공격(회피 또는 오염)을 설계함으로써 이를 악용할 수 있다. 또한, 자율 도구의 이중 용도(dual-use) 특성상, 취약점을 찾아 패치할 수 있는 시스템은 본질적으로 취약점을 악용할 수도 있으며, 도구가 실제 타겟을 향해 재지정되는 것을 막을 인간 "회로 차단기(circuit breaker)"가 없다.
책임의 공백: 완전한 자율성은 "책임의 간극"을 만든다. 자율적인 라이프사이클가 취약점을 배포하거나 장애를 일으켰을 때, 책임을 물을 주체가 없다. 본 논문은 EU AI 법과 같은 거버넌스 프레임워크가 고위험 시스템에 대해 인간의 감독을 명시적으로 요구하고 있다는 점을 언급하며, 책임은 기계에 위임될 수 없음을 강조한다. 인간을 제거하는 것은 라이프사이클이 표준을 준수하도록 유지하는 메커니즘을 제거하는 것이다.

결과 및 주장
본 논문은 AI가 효용이 없다고 주장하는 것이 아니다. 자율 시스템이 경쟁 환경(예: 2025 AI 사이버 챌리인지)에서 제로 데이 취약점을 식별하고 결함을 패치하는 데 성공했음을 인정한다. 그러나 본 논문의 핵심 주장은 완전한 자율성은 보안 라이프사이클의 함정이라는 것이다. 자율 대회 결과는 능력을 입증하지만, 동시에 취약성도 드러낸다. 자율 시스템이 DEF CON Capture-the-Flag 대회에서 인간 공격자를 상대했을 때 성능이 저조했다는 점은, 기계 속도의 추론이 복잡한 적대적 추론에 필요한 적응력을 결여하고 있음을 시사한다.

본 논문은 보안 라이프사이클에서 인간의 역할이 모델이 개선됨에 따라 제거해야 할 임시 가설(scaffold)이 아니라, 영구적인 구조적 요구사항이라고 결론짓는다. 인간은 독립성, 외부 오라클, 기계 속도에서의 개입 능력, 그리고 책임의 소재를 제공한다.

의의
본 연구의 의의는 사이버 보안에서의 "완전한 자율성" 내러티브에 도전한다는 점에 있다. 저자는 보안의 근본적인 속성인 독립성, 검증, 그리고 책임을 유지하기 위해 인간과 기계 사이의 분업이 보존되어야 한다고 주장한다. 본 논문은 다음과 같은 방어 가능한 분업을 제안한다:

빌드 및 테스트 경로는 상관관계가 있는 실패를 방지하기 위해 독립적인 소스(서로 다른 모델/데이터)를 사용한다.
인간은 기계 속도에서 효과적으로 개입할 수 있는 "온-더-루프(on-the-loop)" 권한을 보유한다.
출처(provenance)와 독립적인 감독(감사 로그, 제3자 레드팀 활동)이 유지된다.
인간이 권한을 행사할 수 있는 능력을 유지할 수 있도록 숙련도를 보존하여 "탈숙련화(deskilling)"를 방지한다.

궁극적으로, 본 논문은 기계가 빌더, 디펜더, 브레이커의 역할을 수행할 수는 있지만, 그들에게 책임을 져야 하는 "머리(head)"는 반드시 인간이어야 한다고 역설한다.