기술 요약: AI 기반 SOAR 시스템의 견고성 평가를 위한 레드팀 프레임워크

문제 제기

기업들이 자율 위협 탐지 및 대응을 위해 AI 기반 보안 오케스트레이션, 자동화 및 대응 (SOAR) 시스템을 점점 더 도입함에 따라, 적응형 전략적 적대자에 대한 이러한 시스템의 복원력은 아직 충분히 탐구되지 않았습니다. 기존 침투 테스트 및 규칙 기반 레드팀링은 실제 세계의 공격 캠페인의 역동적이고 다단계적인 특성을 포착하지 못합니다. 최근 대규모 언어 모델 (LLM) 과 강화 학습 (RL) 의 발전은 자율 레드팀링에 대한 잠재력을 제공하지만, 두 패러다임 모두 독립적으로 적용될 때 근본적인 한계를 보입니다:

• LLM: 장기 상태 추적, 행동 일관성, 환경 피드백을 통한 적응에 어려움을 겪습니다. 적응형 방어자에 맞서 다단계 공격 캠페인을 지속하는 데 종종 실패합니다.
• RL: 샘플 비효율성, 제한된 해석 가능성, 이질적인 사이버 환경 전반에 걸친 낮은 일반화 성능으로 고통받습니다. 순수 RL 에이전트는 희소 보상과 복잡한 상태 공간에 직면했을 때 퇴화한 정책 (예: 정찰 행동 반복) 으로 수렴하는 경향이 있습니다.

고수준 전략적 추론과 적응형 전술적 실행을 결합할 수 있는 에이전트에 맞서 AI 기반 사이버 방어 시스템의 견고성을 평가하는 데에는 중요한 격차가 존재합니다.

방법론

저자들은 자율 레드팀링을 위해 LLM 기반 전략적 계획과 RL 기반 전술적 실행을 통합하는 계층적 하이브리드 프레임워크를 제안합니다. 이 시스템은 부분 관측 가능 마르코프 결정 과정 (POMDP) 으로 모델링되며, 부분 관측 가능성과 조정된 AI 방어자가 특징인 고충실도 기업 네트워크 시뮬레이션인 CybORG CAGE Challenge 4 환경 내에서 작동합니다.

아키텍처

이 프레임워크는 에이전트를 두 가지 명확한 수준으로 분리합니다:

1. 전략적 플래너 (LLM): 고정된 LLM 이 coarse 시간 해상도 (예: 20 스텝마다) 에서 작동합니다. 현재 관찰과 선택적 메모리를 기반으로 구조화된 "의도 (intents)"를 생성합니다. 이러한 의도는 행동 유형, MITRE ATT&CK 전술, 대상 선택, 위험 태세와 같은 고수준 결정을 인코딩합니다. 외부 지식을 보존하기 위해 LLM 파라미터는 훈련 중 고정됩니다.
2. 전술적 컨트롤러 (RL): 학습 가능한 RL 컨트롤러 (근접 정책 최적화, PPO 사용) 가 매 시간 스텝마다 행동을 실행합니다. 이 컨트롤러는 현재 환경 관찰과 LLM 생성 의도 모두에 기반하여 정책을 조건화합니다. 이를 통해 컨트롤러는 고수준 전략적 지침을 준수하면서 환경 기반 정책을 학습할 수 있습니다.

주요 메커니즘

• 계층적 보상 형성: 희소하고 지연된 보상을 해결하기 위해 저자들은 다중 구성 요소 보상 함수 ($r_t = r_{env} + r_{progress} + r_{constraint} + r_{alignment}$) 를 도입합니다. 여기에는 유효하지 않은 행동에 대한 페널티와 MITRE ATT&CK 와 정렬된 킬체인 단계 (예: 발견, 악용, 권한 상승, 영향) 를 진행하는 데 대한 보너스가 포함됩니다.
• 반성 (기억): 선택적 메커니즘을 통해 LLM 플래너가 각 에피소드 끝에 자연어 자기 반성을 생성할 수 있습니다. 이러한 반성 (성공, 실패, 방어자 행동 요약) 은 FIFO 버퍼에 저장되어 후속 에피소드를 위한 플래너 입력으로 피드백되며, 파라미터 업데이트 없이 전략적 적응을 가능하게 합니다.
• 상태 표현: 관찰은 LLM 을 위한 텍스트 요약과 RL 컨트롤러를 위한 수치 특징 벡터로 변환됩니다. LLM 의 구조화된 의도는 RL 정책 네트워크와 호환되는 임베딩 공간으로 인코딩됩니다.

주요 기여

1. 계층적 LLM-RL 아키텍처: 이 논문은 전략적 계획 (LLM) 과 전술적 실행 (RL) 을 분리하여 고수준 의도 생성과 저수준 환경 기반 제어 간의 구조화된 상호작용을 가능하게 하는 새로운 아키텍처를 제시합니다.
2. 킬체인 정렬 RL 프레임워크: 저자들은 희소 보상 환경에서 학습을 안정화시키기 위해 MITRE ATT&CK 단계와 일관된 장기적 적대적 행동을 안내하도록 특별히 설계된 보상 형성 메커니즘을 도입합니다.
3. 포괄적인 실증 연구: 이 연구는 범용 모델 (Qwen3, Llama), 추론 전문가 (DeepSeek-R1, QwQ), 그리고 도메인 특화 사이버 보안 모델 (Foundation-Sec, DeepHat) 을 포함한 광범위한 LLM(0.6B~70B 파라미터) 을 평가합니다.
4. 엄격한 벤치마킹: 이 프레임워크는 CAGE 4 설정에 대한 가장 강력한 공개된 자율 방어자 (H-MARL Expert 정책) 에 대해 평가되어, 실제적인 적대적 조건 하에서 레드팀 역량을 검증합니다.

결과

실험은 CAGE 4 환경에서 200 에피소드에 걸쳐 수행되었습니다. 주요 지표는 **에피소드 침해율 (ECR)**이었습니다.

• 하이브리드 프레임워크 성능: 제안된 LLM+RL 에이전트는 거의 완벽한 성공을 거두었습니다.
  • Qwen3 + RL: 100% ECR(200/200 에피소드) 을 달성했습니다.
  • Foundation-Sec + RL: 94% ECR을 달성했습니다.
  • 이러한 에이전트는 권한 상승 및 영향 포함 여러 공격 단계를 신뢰성 있게 진행했습니다.
• 단독 LLM 의 한계: LLM 만의 에이전트 (zero-shot) 는 제한된 종단간 능력을 보여주었습니다.
  • 14 개 모델 중 6 개만이 초기 발판을 넘어선 어떤 침해도 달성했습니다.
  • 가장 강력한 단독 모델 (QwQ-32B) 은 에피소드의 **30%**에서만 성공했습니다.
  • 도메인 특화 모델 (예: Foundation-Sec-8B) 은 높은 행동 양을 생성했지만 이를 의미 있는 공격 진행으로 전환하지 못해 (6.5% ECR), 일관된 실행 없이는 도메인 지식만으로는 부족함을 시사합니다.
• 단독 RL 의 한계: RL 만의 에이전트는 퇴화한 정책으로 붕괴되어 거의 모든 시간 스텝에서 단일 정찰 행동을 선택했고 0% ECR을 달성했습니다. 주어진 보상 구조 하에서 다단계 공격에 필요한 구조화된 행동 시퀀스를 발견하지 못했습니다.
• 확장 관찰: Qwen3 계열의 성능은 비단조적이었습니다. 작은 모델 (0.6B, 1.7B) 은 일부 성공을 거둔 반면, 더 큰 변형 (4B+) 은 효과적인 탐색에도 불구하고 악용을 시도하지 못했습니다.

중요성 및 주장

이 논문은 AI 기반 SOAR 시스템에 맞서 자율 레드팀링을 수행하려면 전략적 추론과 학습된 실행의 긴밀한 결합이 필요하다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 단독 접근법은 불충분함: 추론만 (LLM) 또는 학습만 (RL) 하는 시스템은 적응형 방어자에 맞서 완전한 킬체인 행동을 실행할 수 없습니다.
2. 하이브리드 통합은 곱셈적 개선을 가져옴: LLM 계획과 RL 실행을 결합하면 다단계 공격 성공률과 견고성이 크게 향상됩니다.
3. 구조화된 계획이 도메인 전문화보다 더 중요함: 하이브리드 설정에서 범용 모델이 더 크고 사이버 보안 전문화된 모델보다 일관되게 우수한 성과를 거두었습니다. 이는 계층적 의사결정 시스템에서 LLM 에게 출력 신뢰성과 구조화된 제어 가능성이 특정 도메인 파인튜닝의 이점보다 중요한 요구사항임을 시사합니다.

이 연구는 이 하이브리드 프레임워크가 LLM 의 전략적 추론 능력과 RL 의 적응형 전술적 실행 사이의 격차를 해소하여, 자율 사이버 방어 시스템의 견고성을 스트레스 테스트하는 원칙적인 접근법을 제공한다고 결론지었습니다.