기술 요약: Co-RedTeam

문제 정의

대규모 언어 모델(LLM)이 사이버 보안 분야에서 약속하는 가능성에도 불구하고, 기존의 자동화된 취약점 발견 및 공격 방식은 상당한 한계에 직면해 있습니다. 단일 에이전트 설정이나 일반적인 코딩 에이전트에 의존하는 현재의 시스템들은 다단계 추론, 적응형 공격 계획, 그리고 취약점 공간에 대한 견고한 탐색 능력에서 어려움을 겪고 있습니다. 주요 과제는 다음과 같습니다:

• 취약한 추론: 단발성 추론은 복잡한 다단계 보안 워크플로우를 처리하는 데 실패하는 경우가 많습니다.
• 실행 근거의 결여: 많은 시스템이 실제 코드 실행을 통해 가설을 검증하지 않고 정적 분석이나 가설적 추론에 의존하며, 이는 높은 오탐률(false-positive)과 공격 생성 실패로 이어집니다.
• 경험 재사용 불가능: 기존 에이전트들은 대개 고립되어 작동하며, 이전의 공격 궤적으로부터 학습하거나 시간이 지남에 따라 도메인 특화 지식을 축적하지 못합니다.
• 확장성: 수동 레드팀 활동은 노동 집약적이며 확장이 어렵고, 자동화된 시도들은 실제 코드베이스에 필요한 깊이가 부족한 경우가 많습니다.

방법론: Co-RedTeam

저자들은 실제 레드팀 워크플로우를 모방하도록 설계된 보안 인지형 멀티 에이전트 프레임워크인 Co-RedTeam을 제안합니다. 이 시스템은 중앙의 **오케스트레이터(Orchestrator)**에 의해 관리되는 두 가지 조정된 단계에 따라 타겟 코드베이스와 격리된 실행 환경(Docker 컨테이너)에서 작동합니다.

1. 시스템 아키텍처 및 오케스트레이션

오케스트레이터는 중앙 컨트롤러 역할을 수행하며, 고수준의 보안 목표를 구조화되고 실행 가능한 워크플로우로 변환합니다. 에이전트를 초기화하고, 역할별 도구를 할당하며, 발견(discovery)과 공격(exploitation) 사이의 제어 흐름을 관리합니다. 또한 입력을 검증하고, 취약점 가설이 제공되었는지 아니면 발견되어야 하는지에 따라 작업을 동적으로 라우팅합니다.

2. 1단계: 취약점 발견 (Vulnerability Discovery)

이 단계는 명시적인 설명이 제공되지 않았을 때 잠재적인 취약점을 식별하는 데 집중합니다.

• 분석 에이전트 (Analysis Agent): 코드 브라우징 도구(파일 계층 구조, 진입점, 코드 스니펫 조사용)와 구조화된 보안 지식(CWE, OWASP)에 접근할 수 있는 권한을 가집니다. 신뢰할 수 없는 입력(untrusted inputs)을 민감한 싱크(sinks)까지 추적함으로써 증거에 기반한 취약점 가설을 생성합니다.
• 비판 에이전트 (Critique Agent): 독립적인 검증자로서 분석 에이전트의 제안을 검토합니다. 증거 체인, 위험 근거 및 실현 가능성을 평가하고, 위험 수준(Critical에서 Informational까지)을 할당하며, 개선 또는 거부를 위한 피드백을 제공합니다.
• 프로세스: 안정적이고 높은 신뢰도를 가진, 증거 기반의 취약점 후보 세트가 생성될 때까지 반복 루프가 지속됩니다.

3. 2단계: 반복적 공격 (Iterative Exploitation)

이 단계는 격리된 환경에서의 실행을 통해 발견된 취약점을 검증합니다.

• 플래너 에이전트 (Planner Agent): 명시적인 다단계 **공격 계획(Exploit Plan)**을 유지합니다. 프로그램 컨텍스트와 보안 지식에 기반하여 공격을 구체화하고, 실행 피드백을 바탕으로 계획을 반복적으로 정교화합니다. 만약 특정 단계가 실패하면, 플래너는 단순히 재시도하는 대신 교정 조치를 삽입하거나 향후 단계를 수정합니다.
• 검증 에이전트 (Validation Agent): 제안된 동작(명령어/스크립트)이 의도된 목표와 일치하는지, 구문론적 정확성 및 안전성을 확인하는 안전 게이트 역할을 합니다.
• 실행 에이전트 (Execution Agent): 샌드박스 Docker 환경 내에서 검증된 명령을 실행합니다.
• 평가 에이전트 (Evaluation Agent): 실행 결과(stdout, stderr, 종료 코드)를 해석하여 목표 달성 여부를 판단하고, 편차나 오류를 식별하여 플래너의 다음 반복을 위한 구체적인 가이드를 제공합니다.
• 프로세스: 취약점이 성공적으로 재현(Proof-of-Concept 생성)되거나 실행 불가능하다고 판단될 때까지 폐쇄 루프(Plan-Execute-Evaluate) 방식으로 작동합니다.

4. 장기 메모리 (Long-Term Memory)

지속적인 개선을 가능하게 하기 위해, Co-RedTeam은 세 가지 수준에서 경험을 저장하는 계층형 장기 메모리 시스템을 채택합니다.

• 취약점 패턴 메모리 (Vulnerability Pattern Memory): 확인된 취약점 스키마와 흔한 오답(false leads)을 저장합니다.
• 전략 메모리 (Strategy Memory): 서로 다른 타겟에 적용 가능한 고수준의 공격 전략 및 워크플로우를 포착합니다.
• 기술적 액션 메모리 (Technical Action Memory): 구체적인 저수준 동작(명령어, 스크립트)과 그 결과(성공 또는 실패와 수정 사항)를 기록합니다.
  메모리는 연구 계획, 실행 추적, 평가 피드백으로부터 합성되며, 임베딩 기반 유사도 검색을 통해 검색되어 향후 추론에 활용됩니다.

주요 기여

1. 프레임워크 설계: 보안 도메인 지식, 코드 인지 분석, 실행 기반의 반복적 추론, 그리고 장기 메모리를 명시적으로 통합한 멀티 에이전트 프레임워크인 Co-RedTeam을 도입했습니다.
2. 실행 기반 검증: 정적 추론에서 벗어나 실제 코드 실행을 통해 취약점을 검증하는 폐쇄 루프 형태의 계획-실행-평가 프로세스로 전환하여 오탐을 크게 줄였습니다.
3. 경험 재사용: 패턴, 전략, 기술적 동작을 작업 전반에 걸쳐 축적하고 재사용할 수 있는 새로운 계층형 메모리 아키텍처를 통해 인간 전문가의 학습 곡선을 모방합니다.
4. 포괄적 평가: CyBench, BountyBench, CyberGym과 같은 도전적인 벤치마크에서 강력한 베이스라인 모델들을 상대로 우수한 성능을 입증했습니다.

실험 결과

저자들은 다양한 백본 LLM(Gemini-2.5-Pro, Gemini-3-Pro 등 포함)을 사용하여 세 가지 벤치마크에서 Co-RedTeam을 평가했습니다.

• 성능 향상: Co-RedTeam은 베이스라인(Vanilla LLMs, OpenHands, C-Agent, VulTrail, RepoAudit)보다 일관되게 우수한 성능을 보였습니다.
  • 공격 성공률: 취약점 공격 성공률에서 60% 이상의 성과를 달성했습니다 (예: Gemini-3-Pro 사용 시 CyBench에서 63.7%).
  • 취약점 탐지: 20% 이상의 탐지 정확도를 달s성했습니다 (예: BountyBench 공격 작업에서 65.0%, 탐지 정확도 20.0%). 이는 가장 강력한 베이스라인 대비 10% 이상의 절대적 향상을 나타냅니다.
• 절제 연구 (Ablation Studies):
  • 실행 피드백: 실행 피드백을 제거했을 때 가장 심각한 성능 저하가 발생했습니다 (예: CyBench에서 ASR이 59.1%에서 17.5%로 하락). 이는 실행 피드백의 필수성을 확인시켜 줍니다.
  • 메모리: 장기 메모리를 비활성화하면 특히 긴 호흡의 작업에서 상당한 하락이 나타났으며, 이는 경험 재사용의 가치를 강조합니다.
  • 구성 요소: 검증, 코드 브라우징 또는 보안 문서 접근을 제거하면 일관되게 성능이 저하되었으며, 이는 각 구성 요소의 필요성을 입증합니다.
• 효율성: 멀티 턴 아키텍처임에도 불구하고, Co-RedTeam은 경쟁력 있는 레이턴시를 보여주었으며, 종종 OpenHands나 C-Agent와 같은 복잡한 에이전트보다 빠른 실행 시간을 기록했습니다.
• 일반화: 프레임워크는 다양한 모델 제품군(gpt-oss-20b, qwen3-32b와 같은 오픈 소스 모델 포함)에 걸쳐 견고한 성능을 보여주었으며, 이는 아키텍처의 효과가 특정 LLM에 국한되지 않음을 나타냅니다.

의의 및 주장

본 논문은 Co-RedTeam이 원칙적이고, 실행에 근거하며, 경험 중심적인 프레임워크를 제공함으로써 기존의 자동화된 레드팀 접근 방식의 핵심 한계를 해결한다고 주장합니다. 전문화된 에이전트를 구조화된 워크플로우 및 장기 메모리와 긴밀하게 통합함으로써, 이 시스템은 인간의 레드팀 행동을 효과적으로 모방합니다. 저자들은 이러한 접근 방식이 정적 또는 단발성 접근 방식이 달성할 수 없는 견고하고 적응적인 취약점 검증을 가능하게 한다고 단언합니다. 결과는 도메인 지식, 반복적 실행, 그리고 메모리 기반 학습의 결 조합이 범용 사이버 보안 에이전트를 구축하는 데 결정적임을 시사합니다.