기술 요약: 사이버 공격에 방어하기 위해서는 AI 에이전트에게 해킹을 가르쳐야 한다

1. 문제 정의

본 논문은 AI 에이전트의 등장으로 인해 사이버 보안의 경제적 및 기술적 균형이 근본적으로 변화하고 있음을 지적한다. 지난 10년 이상 방어 산업은 공격자의 전문 지식과 수동 노력을 제한하기 위해 인적 노동의 희소성에 의존해 왔다. 정교한 익스플로잇(exploit)은 깊은 전문성과 수동 작업이 필요하므로, 공격자는 고가치 자산을 목표로 삼거나 수천 개의 타겟을 대상으로 일반적인 자동화 도구를 사용하는 방식 중 하나를 선택해야만 했다.

그러나 AI 에이전트는 최소한의 인간 가이드만으로도 수천 개의 타겟에 걸쳐 취약점 발견 및 공격(exploitation)을 자동화함으로써 이 평형 상태를 무너뜨린다. 미리 프로그래밍된 규칙에 기반하여 알려진 취약점을 찾는 기존의 자동화 도구와 달리, AI 에이전트는 인간의 전략적 에이전시(agency)를 모방하고, 새로운 시스템에 적응하며, 새로운 공격 경로를 찾아낼 수 있다. 이러한 자동화는 공격의 한계 비용을 낮추어, (높은 수동 작업 비용 때문에 과거에는 무시되었던) '롱테일(long-tail)' 시스템들을 경제적으로 실현 가능한 공격 대상으로 만든다.

핵심 문제는 현재의 방어 전략이 **반응적이고 모델 중심적(reactive and model-centric)**이라는 점이다. 즉, 데이터 필터링, 안전 정렬(safety alignment), 출력 가드레일을 통해 오용을 방지하는 데 집중하고 있다. 저자들은 이러한 조치들이 다음과 같은 이유로 불충분하다고 주장한다:

1. 적대적 적응(Adversarial Adaptation): 공격자는 오픈 웨이트 모델을 제어하거나, 자체 호스팅하거나, 모델을 미세 조정하여 정렬을 제거함으로써 안전 메커니즘을 우회할 수 있다.
2. 경제적 생존 가능성: AI 에이전트는 반드시 완벽할 필요가 없다. 공격을 대규모로 병렬화할 수 있기 때문에, 낮은 성공률만으로도 수익성을 확보할 수 있다.
3. 방어 격차(Defensive Gap): 방어자는 공격이 어떤 규모로 어떻게 발생할지 예측할 수 있는 '공격적 보안 지능(offensive security intelligence)'이 부족하며, 이로 인해 AI 에이전트가 악용할 구체적인 취약점을 예측하지 못하고 있다.

2. 방법론 및 제안된 프레임워크

본 논문은 단일 실험 결과를 제시하는 것이 아니라, 방어 태세를 전환하기 위한 전략적 프레임워크를 제안한다. 방법론은 세 가지 주요 기둥을 포함한다:

A. 위협 모델링 (Threat Modeling)

저자들은 최첨단(SOTA) AI 에이전트에 접근 권한이 있는, 재정적 동기를 가진 적대자를 상정하여 위협 모델을 공식화한다. 공격자의 목표는 반드시 단일 타겟에 대한 피해를 극대화하는 것이 아니라, 이질적인 피해자 집단 전체에 걸친 **총합 이익(aggregate profit)**을 극대화하는 것이다. 이 모델에서 실패나 환각(hallucination)은 효과성을 제한하지 않는데, 이는 공격을 대규모로 시도할 수 있기 때문이다.

B. 현재 방어 체계에 대한 비판

논문은 적응형 AI 에이전트에 대한 현재의 안전 장치들의 효용성을 체계적으로 평가하고 배제한다:

• 데이터 거버넌스: AI 에이전트는 암기된 익스플로잇 텍스트에 의존하는 것이 아니라, 제1원리(first principles)로부터 추론하고 추론 시점에 새로운 정보를 습득할 수 있으므로 학습 데이터 필터링은 실패한다.
• 안전 정렬 (Safety Alignment): 정렬 기술(RLHF, 미세 조정 등)은 취약하며, 탈옥(jailbreaking), 목적 왜곡(objective distortion), 또는 무해해 보이는 단계들을 결로하여 유해한 장기 궤적(long-horizon trajectories)을 구성함으로써 우회될 수 있다.
• 표현 엔지니어링 (Representation Engineering): 내부 모델 편집은 검증하기 어렵고, 컨텍스트가 변하거나 에이전트 간의 확장된 상호작용에서 행동이 발현될 때 실패하는 경우가 많다.
• 출력 가드레일 (Output Guardrails): 유해한 결과가 일련의 무해해 보이는 행동들로부터 발생하는 에이전트 워크플로우(특히 모니터링이 없는 자체 호스팅 또는 오픈 웨이트 환경)에서는 효과가 없다.
• 액세스 제어 (Access Controls): 모델이 오픈 웨이트로 널리 보급되면, 모델이 유출되거나 복제되거나 제한을 제거하기 위해 미세 조정될 수 있으므로 효과적이지 않다.

C. 제안된 공격적 보안 전략 (Proposed Offensive Security Strategy)

저자들은 방어자가 적대자보다 먼저 공격자의 능력을 숙달하기 위해 공격적 보안 지능을 개발해야 한다고 제안한다. 여기에는 세 가지 구체적인 행동이 포함된다:

1. 포괄적인 벤치마크 구축:

   • 정적인 데이터셋을 넘어 전체 공격 라이프사이클(정찰, 익스플로잇, 포스트 익스플로잇)을 다루는 동적인 평가 환경으로 나아가야 한다.
   • 대규모의 실제 프로젝트를 포함하고 "실제 환경(in-the-wild)" 조건(예: Docker 환경, Kali/CodeQL과 같은 도구 세트)을 시뮬레이션해야 한다.
   • 벤치마크가 세밀한 카테고리(예: 익스플로잇 체이닝, 명령 및 제어)를 다루고 견고한 그라운드 트루스(ground truth) 라벨을 제공하도록 해야 한다.

2. 워크플로 기반에서 훈련된 에이전트로의 진화:

   • 현재의 공격적 에이전트는 외부 워크플로우(프롬프팅 + 도구 호출)에 의존하며 이는 취약하다.
   • 논문은 강화 학습을 사용하여 사이버 레인지(통제된 환경) 내에서 직접 에이전트를 훈련시킬 것을 권장한다. 이를 통해 에이전트는 고정된 파이프라인을 따르는 대신, 적응형 전략을 배우고 경험을 축적하며 자율적으로 제로데이(zero-day) 취약점을 발견할 수 있다.

3. 거버넌스 및 증류(Distillation) 구현:

   • 격리 (Containment): 공격적 에이전트는 엄격한 네트워크 격리가 적용된 감사된 사이버 레인지 내로 제한되어야 한다.
   • 증류 (Distillation): 공격적 에이전트의 발견 사항과 공격 궤적은 방어 전용 에이전트로 증류되어야 한다. 이 방어 에이전트는 공격자의 위험한 액션 스페이스(action space)를 상속받지 않고 탐지, 근본 원인 분석 및 복구에 집중한다.
   • 단계적 출시 (Staged Release): 공격적 능력은 측정된 역량과 버전 관리에 따라 단계적으로 출시되는 고위험 아티팩트로 취급되어야 한다.

3. 주요 기여

• 패러다임 전환: 본 논문은 공격적 AI 능력이 필수적인 방어 인프라로 취급되어야 한다고 주장한다. 선택지는 공격적 AI가 존재할 것인가가 아니라, 방어자가 책임 있는 거버넌스 하에 이를 숙달할 것인가, 아니면 성공적인 공격 이후에 이를 역공학(reverse-engineer)하게 될 것인가이다.
• 안전 정렬의 한계: 결정적인 적대자가 오픈 웨이트 모델에 접근할 경우 안전 정렬과 데이터 필터링이 불충분하다는 기술적 논거를 제공하며, 예방적이고 역량 중심적인 방어로의 전환을 촉구한다.
• 공격적 AI를 위한 로드맵: 지식 모델(Knowledge Models, 성숙 단계) $\to$ 워크플로우 에이전트(Workflow Agents, 현재 상태) $\to$ 훈련된 에이전트(Trained Agents, 제로데이 발견을 위한 미래 목표)로 이어지는 공격적 보안 에이전트의 구체적인 진화 경로(표 2)를 제시한다.
• 벤치마킹 표준: 현재의 사이버 보안 벤치마크의 결함(예: 동적 환경 부족, 제한된 라이프사이클 범위)을 강조하고, 에이전트 친화적이며 동적이고 포괄적인 평가 세트를 구축하기 위한 방법론을 제안한다.

4. 결과 및 증거

본 논문은 저자의 새로운 실험 데이터보다는 기존 문헌의 합성 및 예비 관찰에 의존한다.

• 벤치마크 성능: 표 1은 기존 벤치마크(예: CyberSecEval-3, CTF, Vul. detection)에 대한 SOTA 에이전트의 성능을 요약한다. 에이전트가 소규모 생성 작업(예: 짧은 함수의 패치)에는 잘 수행하지만, 대규모 분석 작업(예: 전체 프로젝트에 대한 PoC 생성)이나 익스플로잇 체이닝에는 어려움을 겪는다는 점을 명시한다.
• 시스템적 리스크 분석: 저자들은 AI 에이전트가 광범ity(수천 개의 타겟 스캐닝)와 깊이(적응형 포스트 익스플로잇)를 결합하여 '초인적인' 사이버 공격을 가능하게 한다고 주장한다. 에이전트는 인간보다 빠르게 작동하고 보안 조치에 실시간으로 적응할 수 있어 광범위한 침해 조건을 조성할 수 있다고 인용한다.
• 경제적 논리: 논문은 공격의 비용 구조가 근본적으로 변했다고 상정한다. 공격을 병렬화할 수 있는 능력 덕분에 낮은 시도당 성공률도 수익성이 높아졌으며, 이는 전통적인 '고가치 타겟' 방어 가정을 무효화한다.

5. 의의 및 주장

본 논문은 현재의 방어적 AI 안전 패러다임이 제한적이며 경제적 현실과 단절되어 있다고 주장한다. 오직 오용 방지(안전 정렬)에만 집중함으로써, 커뮤니티는 회복력 있는 시스템을 구축하기 위해 공격적 능력을 이해하고 숙달해야 할 필요성을 간과하고 있다.

저자들은 다음과 같이 단언한다:

1. AI 기반 공격은 불가피하다. 사이버 공격의 자동화에 대한 경제적 유인은 무시하기에 너무 강력하다.
2. 방어적 지능은 공격적 능력을 필요로 한다. 공격이 대규모로 어떻게 발생할지 예측하기 위해서, 방어자는 통제되고 감사된 환경 내에서 배치된 공격자와 동일한 능력을 보유해야 한다.
3. 책임 있는 개발은 가능하다. 엄격한 거버넌스(사이버 레인지, 방어 에이전트로의 증류, 단계적 출시)를 통해 공격적 AI의 위험을 격리하면서도, 가속화된 취약점 발견 및 복구의 이점을 얻을 수 있다.

결론적으로, 본 논문은 공격적 보안 지능에 투자하지 않는 것은 적대자가 소프트웨어 생태계의 '롱테일'을 악용하기 전에 이 능력을 독립적으로 탐구할 것에 대비하지 못하는 결과를 초래한다고 경고한다. 목표는 적대자가 활용하기 전에 기계 규모의 지능을 사용하여 발견과 수리 사이의 루프를 닫는 것이다.