🤖 AI

Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

이 논문은 "Code-as-Policy" RLVR 아키텍처를 활용하여 적응형 공격 전략을 생성하는 에이전트 기반 LLM 레드팀 프레임워크인 Trident를 소개하며, 기존의 심층 강화 학습 사이버 방어 체계가 정적 휴리스틱 베이스라인에 비해 동적 위협에 의해 매우 쉽게 성능이 뒤처지며 근본적으로 취약하다는 점을 밝혀낸다.

원저자: Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

게시일 2026-08-06

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 체스라는 고도의 긴장감이 흐르는 게임을 상상해 보십시오. 하지만 체스판 위에서 말을 움직이는 대신, 두 팀이 거대하고 보이지 않는 컴퓨터 네트워크를 차지하기 위해 싸우고 있습니다. 한 팀인 '블루 팀(Blue Team)'은 침입자를 찾아내고 고장 난 컴퓨터를 실시간으로 수리하는 법을 배우는 AI 방어자를 구축합니다. 다른 한 팀인 '레드 팀(Red Team)'은 침입을 시도합니다. 수년간 과학자들은 이 블루 팀의 방어자들을, 마치 정해진 규칙대로만 움직이는 태엽 장난감처럼 엄격하고 변하지 않는 스크립트를 따르는 로봇 같은 레드 팀과 대결시키며 테스트해 왔습니다. 문제는 실제 해커들은 태엽 장난감이 아니라는 점입니다. 그들은 영리하고 적응력이 뛰어나며, 방어책을 발견하는 즉시 전술을 바꿉니다. 한편, 거대 언어 모델(LLM)로 알려진 새로운 종류의 초지능형 AI는 퍼즐을 풀고 코드를 작성하는 데 놀라울 정도로 능숙해졌습니다. 과학자들이 던지는 핵심적인 질문은 이것입니다. 만약 이 초지능형 AI에게 레드 팀이 되는 법을 가르친다면, 기존의 정적인 로봇들이 결코 할 수 없었던 방식으로 블루 팀의 방어 체계를 마침내 무너뜨릴 수 있을 것인가?

이것이 바로 연구진들이 **트라이던트(Trident)**라고 불리는 프로젝트를 통해 밝혀내고자 했던 내용입니다. 그들은 스마트한 AI 공격자가 단순히 미리 작성된 스크립트를 따르는 것이 아니라, 실행하며 배울 수 있는 새로운 동적 테스트 환경을 구축했습니다. 그들은 AI를 훈련시키기 위해 13,000개 이상의 시뮬레이션된 전투 라이브러리를 만들었습니다. AI가 한 번에 하나의 동작만을 선택하게 하는 대신, 그들은 AI가 자신만의 '공격 전략'을 컴퓨터 코드 형태로 직접 작성하여 방어자를 상대로 실행하도록 가르쳤습니다.

결과는 놀라웠습니다. 단 하나의 70억 파라미터 모델(현대 AI 기준으로는 비교적 작은 크기)로 훈련된 트라이던트 AI는 단순히 방어자를 이긴 것에 그치지 않고, 방어자의 효율성을 대폭 떨어뜨렸습니다. 기존의 정적인 공격자들은 거의 타격을 주지 못했던 반면, 트라이던트는 블루 팀의 방어 성능을 기준치 대비 평균 **522%**나 감소시켰습니다. 이는 오늘의 '스마트한' 사이버 방어 체계 중 상당수가 우리가 생각했던 것보다 훨씬 더 취약하다는 것을 시사하며, 왜냐하면 그들은 오직 멍청하고 예측 가능한 적들만을 대상으로 테스트되었기 때문입니다. 트라이던트는 단순히 규칙을 따르는 것이 아니라, 방어자가 가짜 목표(미끼)로 자신을 속이려 할 때 이를 알아차리고 무시하는 법을 깨닫거나, 어떤 컴퓨터를 가장 먼저 해킹하는 것이 가장 가치 있는지 파악하는 등 스스로 영리하고 새로운 기술을 발견해 냈습니다. 이 논문은 진정으로 안전한 시스템을 구축하기 위해서는 정적인 로봇을 상대로 테스트하는 것을 멈추고, 트라이던트와 같이 적응하고 학습하는 AI를 상대로 테스트를 시작해야 한다고 제언합니다.

기술 요약: Trident – 어떻게 딥 강화 학습을 무너뜨리는가

문제 정의

딥 강화 학습(Deep Reinforcement Learning, DRL)에 기반한 자율 사이버 방어 시스템은 네트워크를 모니터링하고 침해된 호스트를 실시간으로 복구하기 위해 점점 더 많이 배치되고 있다. 그러나 적응형 위협에 대한 이들의 견고성(robustness)은 여전히 매우 미흡하게 연구된 상태이다. 현재의 평가는 거의 전적으로 고정된 행동 시그니처를 가진 정적 휴리스틱 "레드 에이전트(red agents)"에 의존하고 있다. 결과적으로, DRL 방어자들은 이러한 정적 패턴에 암묵적으로 조건화된 정책을 개발하게 되며, 이는 전통적인 평가 방식으로는 발견할 수 없는 체계적인 사각지대를 생성한다.

동시에, 수학 및 소프트웨어 공학 분야에서 대규모 언어 모델(LLM)의 추론 능력을 발전시킨 검증 가능한 보상 기반 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)은 적절한 벤치마크 환경의 부재로 인해 사이버 보안 분야로의 통합이 저해되어 왔다. 기존의 사이버 보안 데이터셋은 일반적으로 정적인 코퍼스(corpus)나 고립된 CTF(Capture The Flag) 챌린지를 제공하며, 능동적이고 적응적인 방어자에 맞서 에이전트를 훈련하는 데 필요한 연속적이고 다단계적인 상호작용을 결능히 못한다. 따라서 RLVR을 통해 LLM 기반 레드 에이전트를 훈련하기 위한 안정적이고 반복 가능한 적대적 환경을 제공할 수 있는 인프라의 결여는 심각한 격차를 형성하고 있다.

방법론

이러한 격차를 해결하기 위해 저자들은 벤치마크 인프라, 데이터셋, 그리고 에이전트 아키텍처로 구성된 동적 레드 티밍 프레임워크인 Trident를 소개한다.

1. Trident 벤치마크 및 데이터셋

Trident는 두 가지 고충실도 시뮬레이터 상에서 작동한다: CybORG CAGE 4(협력적 멀티 에이전트 방어자가 존재하는 분할된 군사 네트워크 모델링)와 CyberWheel(MITRE ATT&CK 기법을 실제 공격에 접목).

인프라: 프레임워크는 클라이언트-서버 아키텍처를 갖춘 격리된 컨테이너 기반 샌드박스 서버를 활용한다. 생성된 공격 정책은 이 샌드박스로 전송되어 라이브 DRL 방어자를 대상으로 네이티브하게 실행되며, 결정론적이고 검증 가능한 실행 로그를 반환한다.
데이터셋: 저자들은 13,000개 이상의 고충실도 레드-블루 상호작용 궤적(trajectory) 데이터셋을 구축하였다. 이 궤적들은 부분적 관측, 차등적 호스트 인텔리전스, 그리고 액션 결과를 포착하는 구조화된 자연어 로그로 직렬화되어, RLVR 사후 훈련(post-training)의 토대로 사용된다.

2. Trident 에이전트 아키텍처

Trident Agentic은 "Code-as-Policies" 패러다임을 사용하여 레드 에이전트 훈련 문제를 분산 부분 관측 마르코프 결정 과정(Dec-POMDP)에서 컨텍스트 밴딧(Contextual Bandit) 문제로 재구성한다. 이 아키텍처는 세 가지 특화된 모듈로 구성된다:

로그 요약기(Log Summarizer): 규칙 기반 파싱과 동결된(frozen) LLM을 사용하는 하이브리드 모듈로, 원시 실행 로그를 압축한다. 이는 핵심적인 "마일스톤(milestone)" 이벤트(예: 성공적인 익스플로잇, 권한 상승)는 보존하면서 실패한 시도는 샘플링하여, 플래너를 위한 밀도 높은 의미론적 요약을 합성한다.
플래너(Planner, $\pi_\theta$ ): 유일한 훈련 가능 컴포넌트(7B 파라미터 LLM)이다. 압축된 요약을 컨텍스트로 전달받아 단 한 번의 순방향 패스(forward pass)로 고수준의 공격 전략을 생성하며, 구조화된 JSON 페이로드를 출력한다. 이는 샌드박스 실행에서 도출된 검증 가능한 보상을 사용하여 **그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO)**를 통해 최적화된다.
코더(Coder): 플래너의 JSON 전략을 실행 가능한 Python 코드로 변환하는 동결된 LLM이다. 추상 구문 트리(AST) 기반의 패칭 메커니즘과 반복적인 자기 수리 루프(최대 $K=3$ 회 시도)를 채택하여, 배포 전 구문 오류를 수정함으로써 플래너가 부수적인 구현 노이즈로 인해 불이익을 받지 않도록 보장한다.

3. 보상 설계

시스템은 실행 로그에서 직접 도출된 조밀하고 검증 가능한 보상 함수를 사용한다:

긍정적 마일스톤 ( $R^+$ ): 킬체인 진행(예: 시스템 영향, 권한 상승)에 대한 가중치 보상과 달성 대비 단계 비율에 기반한 효율성 계수를 결합한다.
부정적 이벤트 ( $R^-$ ): 실패한 익스플로잇, 잘못된 액션, 운영상의 노이즈에 대한 페널티를 부여한다.
실행 페널티: 구문 오류, 런타임 실패, 또는 관찰 불가능한 시뮬레이터 내부(예: 디코이 플래그)에 접근하려는 시도에 대해 엄격한 페널티를 적용하여, 에이전트가 특권 상태 접근이 아닌 행동 추론에 의존하도록 보장한다.

주요 기여

Trident 평가 벤치마크 및 데이터셋: CAGE 4와 CyberWheel를 아우르는 최초의 교차 환경 레드 티밍 벤치마크로서, 검증 가능한 보상을 위해 격리된 샌드박스 실행을 제공한다. 여기에는 RLVR 훈련을 지원하기 위해 특별히 설계된 13,000개 이상의 궤적 데이터셋이 포함된다.
Trident Agentic: "Code-as-Policies"를 활용하여 실행 가능한 공격 전략을 직접 생성할 수 있게 하는 삼중 구조의 에이전트 LLM 아키텍처이다. 전략 생성을 컨텍스트 밴딧으로 취급함으로써, 단계별 POMDP 계획의 계산적 난해함을 우회한다.
DRL의 취약성에 대한 실증적 증거: 본 프레임워크는 현재의 자율 방어 시스템이 정적 평가에서 나타난 것보다 훨씬 더 취약하다는 것을 입증한다.

실험 결과

저자들은 CAGE 4와 CyberWheel 모두에서 최첨단 DRL 블루 에이전트(GNN, HMARL, MARL 변형 포함)를 대상으로 Trident Agentic을 평가하였다.

성능 감소: Trident Agentic은 기본 휴리스틱 베이스라인과 비교했을 때 블루 에이전트의 방어 성능을 평균 522% 감소시켰다.
베이스라인과의 비교:
- 정적 휴리스틱: 전통적인 레드 에이전트는 학습된 정책의 약점을 찾아내는 데 실패했다.
- Zero-Shot/CoT: 제로샷 프롬프팅 및 생각의 사슬(Chain-of-Thought, CoT) 방식은 정적 베이스라인보다는 개선된 모습을 보였으나, RLVR로 훈련된 Trident Agentic에는 크게 뒤처졌다.
- 프런티어 모델: RLVR을 통해 훈련된 7B 파라미터 모델(Trident Agentic)은 제로샷 용도로 사용된 프런티어 규모의 모델(예: GPT-4o)보다 뛰어난 성능을 보였으며, 이는 모델의 규모 자체보다 작업 특화 RLVR 훈련의 효용성을 강조한다.
창발적 행동: 훈련된 에이전트는 정적 휴리스틱이 표현할 수 없었던 새로운 공격 벡터를 자율적으로 발견했다:
- 디코이 회피(Decoy Avoidance): CyberWheel에서 에이전트는 반복적인 실패를 보이는 호스트에 대한 공격을 중단하는 법을 학습하여, 효과적으로 허니팟을 식별하고 회피했다.
- 적응형 상태 우선순위 지정(Adaptive State Prioritization): CAGE 4에서 에이전트는 기초적인 정찰보다 고가치 타겟(예: Root/User 권한)을 우선시하는 법을 학습했으며, 네트워크 상태에 따라 동적으로 초점을 전환했다.

의의 및 주장

본 논문은 Trident가 자율 사이버 방어에 있어 근본적인 평가 격차를 드러낸다고 주장한다: 즉, 현재의 관행은 적응형 생성 공격자에 대한 DRL 방어자의 취약성을 심각하게 과소평가하고 있다. 7B 규모의 컴팩트한 오픈 웨이트 LLM이 최첨단 방어 체계를 체계적으로 무너뜨릴 수 있음을 보여줌으로써, 저자들은 분야가 정적 적대자 평가를 넘어 반드시 나아가야 한다고 주장한다.

Trident는 단순한 공격 도구가 아니라, 사이버 공격과 방어의 "공진화(co-evolution)"를 위한 필수적인 인프라로 제시된다. 시뮬레이터에 구애받지 않는 RESTful 샌드박스 설계를 통해 더 높은 충실도의 환경을 통합할 수 있으며, 이를 통해 생성적이고 적응적인 위협에 대해 견고한 블루 에이전트를 훈련할 수 있다. 저자들은 이러한 공격 전략이 적대자에 의해 독립적으로 배치되기 전에, 동일하게 적응적인 RL 기반 방어 시스템을 개발하기 위해 이러한 역량에 대한 투명성을 확보하는 것이 필수적임을 강조한다.