기술 요약: LLM을 이용한 CTI 기반 완전 자동화 엔드 투 엔드 적대적 에뮬레이션

문제 정의

적대적 에뮬레이션(Adversary Emulation)은 특정 위협 그룹의 전술, 기법 및 절차(TTPs)를 재현하여 조직의 방어 시스템을 검증하는 중요한 방법입니다. 그러나 완전 자동화된 엔드 투 엔드 적대적 에뮬레이션을 달로하는 것은 여전히 큰 과제로 남아 있습니다. 기존 방식들은 다음과 같은 파편화 문제를 겪고 있습니다:

• 수동 플레이북 생성: MITRE Caldera 및 PurpleSharp과 같은 도구들은 실행을 자동화하지만, 보안 전문가가 수동으로 플레이북을 작성해야 하므로 확장성의 병목 현상을 초래합니다.
• 부분적 자동화: AURORA와 같은 최근 시스템은 사이버 위협 인텔리전스(CTI) 보고서로부터 플레이북을 생성하기 위해 대규모 언어 모델(LLM)을 사용하지만, 페이로드 서빙 및 실행을 위한 수동 개입이 여전히 필요합니다. 결정적으로, 이들은 환경적 차이로 인해 명령어가 실패했을 때 이를 진단하거나 복구하는 메커니즘이 부족하며, 종종 유효하지 않은 공격 체인(attack chains)을 그대로 진행하는 문제가 있습니다.

핵가 핵심적인 문제는 비정형 자연어 CTI 보고서를 실행 가능한 공격 시나리오로 변환할 때, 플레이북 생성, 실행, 그리고 실패 복구를 인간의 개입 없이 통합하는 단일 워크플로우가 부재하다는 점입니다.

방법론

저자들은 MITRE ATT&CK에 정렬된 CTI 보고서를 실행 가능한 Caldera 플레이북으로 변환하는 완전 자동화된 프레임워크를 제안합니다. 시스템 아키텍처는 네 가지 기능 계층으로 구성됩니다:

1. 입력 계층 (Input Layer)

• CTI 보고서: 시스템은 TTP, 운영 세부 사항(IP, 파일 경로), 완화 전략을 포함하는 구조화된 CTI 보고서(예: KISA 제공)를 수집합니다.
• 환경 명세 (Environment Specification): 보안 운영자가 대상 환경(OS 버전, 네트워크 토폴로지, 자격 증명)에 대해 상세히 기술한 문서입니다. 이를 통해 LLM은 CTI 보고서에서 환경 특화적인 세부 사항을 추상화하고 이를 테스트 환경에 맞게 구체화할 수 있습니다.

2. LLM 기반 플레이북 생성 계층 (LLM-Based Playbook Generation Layer)

이 계층은 세 단계를 거쳐 입력을 Caldera Adversary로 변환합니다:

• 1단계 (추상적 흐름 - Abstract Flow): LLM은 CTI 텍스트에서 공격 목표를 추출하여, 목표, 전술, 방법을 식별하고 환경에 독립적인 추상적 공격 흐름을 생성합니다.
• 2단계 (구체적 흐름 - Concrete Flow): LLM은 추상적 흐름과 환경 명세를 결합하여 구체적인 노드를 생성합니다. 각 노드는 실행 가능한 명령어, MITRE ATT&CK 기법 ID, 그리고 구체적인 파라미터(IP, 경로)를 포함합니다. 실행 순서를 결정하기 위해 논리적 의존성이 설정됩니다.
• 3단계 (Caldera 변환 - Caldera Conversion): 노드들은 실행 단위인 Caldera Abilities로 변환되며, abilities.yml 및 adversaries.yml 형식의 Adversary(플레이북)로 조립됩니다.

3. 실행 계층 (Execution Layer)

생성된 Adversary는 MITRE Caldera 플랫폼에 업로드됩니다. 대상 호스트의 Caldera Agent는 Abilities를 실행하고 결과(종료 코드, stdout, stderr)를 시스템에 반환합니다.

4. 실패 복구 계층 (Failure Recovery Layer)

이는 공격 시뮬레이션 실패의 이질성을 처리하기 위해 설계된 새로운 구성 요소입니다.

• 실패 분류: 관찰된 에러 로그에서 유도된 정규 표현식 패턴을 사용하여 실행 오류를 네 가지 유형으로 분류합니다:
  1. 구문 오류 (Syntax Error): 명령어 파싱 또는 이스케이핑 문제.
  2. 의존성 오류 (Dependency Error): 권한 문제, 인증 실패 또는 이전 단계로부터의 연쇄 실패.
  3. 환경 누락 (Missing Environment): 필수 리소스(파일, 네트워크 엔드포인트)의 부재.
  4. 타임아웃 (Timeout): 실행 시간이 제한 시간을 초과함.
• 복구 전략: 복구 가능한 실패의 경우, 시스템은 원래의 명령어, 특정 실패 유형 정의, 누적된 수정 이력, 그리고 환경 명세를 포함하는 새로운 프롬프트를 LLM에 구성하여 전달합니다. LLM은 수정된 명령어를 생성하고 이는 재실행됩니다. 이 루프는 최대 3회 반복되거나 성공할 때까지 지속됩니다.

주요 기여

1. 통합 엔드 투 엔드 프레임워크: 본 논문은 플레이북 생성, 실행, 실패 복구를 단일 자동화된 워크플로우로 통합하여 어떤 단계에서도 수동 개입이 필요 없는 최초의 시스템을 제시합니다.
2. 실패 유형 인식 복구 메커니즘: 일반적인 코드 수정과 달리, 이 메커니즘은 도메인 특화적이며 실패를 네 가지 범주로 분류하고 맞춤형 복구 전략을 적용합니다. 또한 반복되는 오류를 방지하기 위해 누적된 수정 이력을 활용합니다.
3. 포괄적인 LLM 평가: 네 가지 상용 LLM(Claude Sonnet 4.5, GPT-4o, Gemini 2.5 Pro, Grok 4 Fast)을 평가하여, 서로 다른 모델들이 충실도(fidelity), 체인 길이, 복구 능력 측면에서 뚜렷한 강점을 보임을 입증했습니다.

실험 결과

프레임워크는 제어된 Windows 환경(PC1, PC2, PC3)에서 11개의 고품질 CTI 보고서(평균 41.5 페이지)를 대상으로 평가되었습니다.

성능 지표 (최적 모델: Claude Sonnet 4.5)

• ATT&CK 부합도: 생성된 Abilities 중 94.91%가 유효한 MITRE ATT&CK 기법에 대응했습니다.
• CTI 충실도: CTI F1-score 60.50% (정밀도: 73.95%, 재현율: 52.48%)를 달성했습니다.
• 실행 성공률:
  • 초기 실행 성공률: 69.63%.
  • 최종 실행 성공률 (복구 후): 84.22%.
  • 개선 효과: 실패 복구 메커니즘은 모든 모델에 걸쳐 평균 14.59 퍼센트 포인트의 성공률 향상을 가져왔습니다.
• 효율성: 플레이북을 생성하고 수정하는 데 평균 197.39초(약 3.3분)가 소요되었으며, 보고서당 LLM 토큰 비용은 $0.35였습니다.

최신 기술(AURORA)과의 비교

AURORA 데이터셋의 10개 CTI 보고서를 사용하여 비교했습니다:

• 실행 성공률: 제안된 시스템은 최종 성공률 **65.17%**를 기록하여 AURORA의 **60.72%**를 넘어섰습니다.
• 충실도: 제안된 시스템은 AURORA(26.07%)보다 높은 CTI F1-score(30.57%)를 달성했습니다.
• 복구 영향: AURORA는 사전 구축된 명령어 라이브러리를 사용하기 때문에 초기 성공률(60.72%)이 더 높았으나, 제안된 시스템은 명령어를 처음부터 생성하기 때문에 초기율(32.90%)이 더 낮았습니다. 그러나 복구 메커니즘을 통해 제안된 시스템의 성공률이 32.27 퍼센트 포인트 상승하여, 결과적으로 AURORA를 능가했습니다.

의의 및 주장

저자들은 본 연구가 실용적이고 확장 가능한 적대적 에뮬레이션으로 나아가는 중요한 단계라고 주장합니다. CTI 보고서로부터 성공적인 공격 실행까지의 전체 라이프사이클을 자동화함으로써, 시스템은 수동 플레이북 작성의 확장성 병목 현상을 해결합니다.

본 논문은 실패 복구 메커로니즘이 핵심적인 차별점임을 강조합니다. 공격 시뮬레이션에서는 환경적 미묘한 차이로 인해 다른 맥락에서는 성공할 명령어가 실패할 수 있습니다. 이러한 실패(예: 구문 오류와 환경 변수 누락의 구분)를 자동으로 진단하고 인간의 개입 없이 플레이북을 수정하는 능력은 공격 체인의 유효성을 유지하는 데 필수적입니다.

연구는 현재 시스템이 사전 준비된 환경을 가정하고 있지만, 완전 자동화된 엔드 투 엔드 적대적 에뮬레이션이 가능하다는 것을 성공적으로 입증했으며, 높은 수준의 충실도를 유지하면서 상당한 시간과 비용 절감을 제공한다고 결론짓습니다. 향후 연구로는 환경 프로비저닝 및 명세 생성 단계를 자동화하는 것이 제안되었습니다.