Evaluating Generalization Mechanisms in Autonomous Cyber Attack Agents

이 논문은 NetSecGame 환경에서 IP 주소 재배치와 같은 미세한 변화가 자율 공격 에이전트의 일반화 능력을 어떻게 저해하는지 평가하고, 기존 강화학습 및 적응형 에이전트보다 추론 비용과 투명성 문제가 있음에도 불구하고 프롬프트 기반 사전 훈련 LLM 에이전트가 가장 높은 성공률을 보였음을 밝혔습니다.

핵심

1. 문제 상황: "주소가 바뀌면 길을 잃어버리는 AI"

이 연구의 핵심은 **"IP 주소 변경"**이라는 아주 작지만 치명적인 변화입니다.

• 상황: AI 공격자는 가상의 기업 네트워크에서 훈련받습니다. 이 네트워크는 구조는 그대로인데, 컴퓨터들의 **주소 (IP)**만 바뀝니다. 예를 들어, "서버 A"가 192.168.1.1 에서 10.0.0.5로 주소만 바뀐 것입니다.
• 현상: 대부분의 기존 AI 는 이 주소 변화를 감당하지 못합니다. 마치 택시 기사가 "서울역은 1 번 출구에서 내려"라고 외웠는데, 갑자기 "서울역은 2 번 출구"라고 바뀌자 길을 전혀 못 찾는 것과 같습니다. AI 는 "이 주소는 내가 아는 게 아니야"라고 생각하며 공격을 포기하거나 엉뚱한 행동을 반복합니다.

2. 실험 방법: 6 가지 버전의 도시

연구진은 같은 기업 네트워크 시나리오를 만들되, 5 개는 훈련용, 1 개는 테스트용으로 IP 주소만 다르게 설정했습니다.

• 훈련: AI 는 5 가지 다른 주소 버전의 네트워크에서 공격을 연습합니다.
• 테스트: 훈련받지 않은 6 번째 주소 버전의 네트워크에서 얼마나 잘 적응하는지 봅니다.

3. 세 가지 AI 의 성격 비교

연구진은 세 가지不同类型的 AI 를 비교했습니다.

A. 전통적인 AI (기억력 좋은 학생)

• 특징: "이 주소는 이렇게 공격하면 된다"라고 구체적인 숫자 (주소) 를 외워서 공격합니다.
• 결과: 주소가 바뀌는 순간, 외운 것이 무용지물이 되어 완전 실패합니다. (비유: 주소가 바뀌자마자 택시 기사가 차를 세우고 "여긴 어디죠?"라고 묻는 상황)

B. 메타러닝 AI (적응력 좋은 학생)

• 특징: 새로운 환경에 오면 잠깐 머리를 굴려서 (학습을 해서) 적응하려고 합니다.
• 결과: 완전히 망하지는 않지만, 아직도 부족합니다. 새로운 주소에 맞춰서 다시 공부할 시간이 필요하지만, 그 시간이 부족해서 완벽한 공격을 못 합니다.

C. 개념적 AI & LLM 기반 AI (이해력이 좋은 학생)

• 개념적 AI: "주소 숫자는 중요하지 않아. '서버'라는 역할이 중요해"라고 생각합니다. 주소가 바뀌어도 "여기는 서버니까 공격해야지"라고 판단합니다.
  • 결과: 잘 작동합니다. 하지만 훈련하는 데 시간이 많이 걸리고, 공격이 조금 느립니다.
• LLM 기반 AI (ReAct 등): "지금 내 앞에 있는 컴퓨터가 뭐지? 데이터를 빼내야겠네."라고 **자연어 (말) 로 reasoning(추론)**을 합니다.
  • 결과: 가장 잘 작동합니다. 주소가 바뀌어도 상황을 읽고 바로 대응합니다. 하지만 계산 비용이 매우 비싸고, 가끔 "같은 실수를 반복"하거나 "잘못된 명령을 내리는" 버릇이 있습니다.

4. 주요 발견: "성공률"만 보면 안 되는 이유

이 논문은 단순히 "누가 이겼나?"만 보지 않고, **어떻게 행동했는지 (행동 패턴)**를 분석했습니다.

• 실패하는 AI 들: 공격을 시작하자마자 "스캔"만 계속 반복하다가 시간이 다 되어 실패합니다. (비유: 목적지를 찾지 못하고 주변을 빙빙 돌다가 시간이 다 됨)
• 성공하는 AI 들: "스캔 -> 침투 -> 데이터 탈취"라는 올바른 단계를 밟습니다.
• LLM 의 함정: LLM 은 성공률이 높지만, 가끔 "유효하지 않은 명령"을 내리거나 같은 행동을 반복하며 시간을 낭비하는 버그가 있습니다.

5. 결론: 어떤 AI 를 써야 할까?

이 연구는 상황에 따라 다른 AI 가 필요하다고 결론 내립니다.

1. 아무것도 모르는 새로운 환경이라면?
   • LLM 기반 AI가 최고입니다. 사전 훈련된 지능으로 상황을 파악하고 즉석에서 대응할 수 있기 때문입니다. 하지만 비용이 많이 듭니다.
2. 비슷한 환경이 여러 개 있다면?
   • 개념적 AI가 가장 안정적입니다. "주소"가 아니라 "역할"을 학습했기 때문에 주소가 바뀌어도 잘 작동합니다.
3. 단순히 같은 환경만 반복한다면?
   • 기존 AI 도 괜찮지만, 환경이 조금만 바뀌어도 무너집니다.

요약

이 논문은 **"AI 가 주소를 외우는 것만으로는 사이버 공격을 할 수 없다"**는 것을 증명했습니다. 주소가 바뀌면 망가진다는 것은, AI 가 **환경의 '본질 (역할)'**을 이해하지 못하고 **단순한 '기호 (주소)'**에 의존하고 있기 때문입니다.

가장 좋은 해결책은 LLM 의 추론 능력을 쓰거나, 주소가 아닌 역할로 생각하는 (개념적) AI를 만드는 것이지만, 각각의 비용과 단점도 분명히 존재한다는 점을 지적했습니다.

기술 요약

자율 사이버 공격 에이전트의 일반화 메커니즘 평가: 기술적 요약

이 논문은 NetSecGame 환경에서 훈련된 자율적 사이버 공격 에이전트가 훈련 데이터와 다른 IP 주소 할당 (재할당) 을 가진 새로운 네트워크 환경에서 어떻게 일반화 (Generalization) 되는지 평가합니다. 기존 연구들이 고정된 토폴로지나 여러 변수가 동시에 변경되는 상황에서 에이전트의 성능을 평가했다면, 이 연구는 호스트 및 서브넷 IP 재할당이라는 최소적이지만 근본적인 분포 변화 (Distribution Shift) 만을 격리하여 에이전트의 취약점과 일반화 능력을 분석합니다.

---

1. 문제 정의 (Problem Statement)

• 배경: 자율 사이버 공격 에이전트는 훈련된 네트워크 환경에서는 잘 작동하지만, 실제 기업 환경에서 IP 주소가 재할당되거나 서브넷이 변경되면 학습된 탐지, 악용, 횡적 이동 (Lateral Movement) 전략이 무너집니다.
• 핵심 문제: 에이전트가 구체적인 IP 주소나 서브넷 값에 의존하여 정책을 학습하면, 논리적으로 동일한 네트워크 구조라도 식별자 (Identifier) 만 변경되면 성능이 급격히 저하됩니다.
• 연구 목표:
  1. IP 주소 공간의 변경이 공격 정책의 일반화에 어떤 영향을 미치는지 규명.
  2. 전통적인 강화학습 (RL), 추상화 (Abstraction), 메타러닝 (Meta-learning), 그리고 LLM 기반 에이전트들의 일반화 능력을 비교.
  3. 실패 모드를 행동 분석 (Behavioral Analysis) 을 통해 진단.

2. 방법론 (Methodology)

2.1 실험 환경: NetSecGame

• 시나리오: 데이터 유출 (Exfiltration) 공격 시나리오. 에이전트는 클라이언트 서브넷에서 시작하여 서버 서브넷으로 침투하고, 데이터를 찾아 외부 C&C 서버로 유출해야 합니다.
• 변수: 동일한 기업 네트워크 시나리오를 기반으로 **5 가지 IP 범위 변형 (Training)**으로 훈련하고, **6 번째 보이지 않는 IP 변형 (Test)**에서 평가합니다.
• 제약 조건: 에이전트는 상호작용을 통해 발견된 정보 (Partial Observability) 만을 기반으로 행동해야 하며, IP 주소가 변경되어도 방화벽 규칙과 논리적 구조는 동일하게 유지됩니다.

2.2 평가 대상 에이전트 (3 가지 패밀리)

연구는 6 가지 에이전트를 3 가지 카테고리로 분류하여 비교합니다.

1. 전통적 강화학습 에이전트 (Traditional RL):
   • DQN/DDQN: 구체적인 IP 값을 상태 표현에 포함하거나 임베딩하는 방식.
   • 특징: 훈련 환경에 최적화되어 있으나, 새로운 IP 할당 시 일반화 실패 가능성 높음.
2. 추상화 및 적응 에이전트 (Generalization/Adaptation):
   • Conceptual Agent (개념 에이전트): IP 주소 대신 '호스트의 역할' (예: SSH 포트가 열린 내부 제어 호스트) 과 같은 추상적 개념으로 상태를 매핑.
   • MAML/Reptile (메타러닝): 테스트 시간에 소량의 지원 세트 (Support Set) 를 사용하여 파라미터를 빠르게 적응 (Adaptation) 시킴.
3. LLM 기반 에이전트 (LLM-based Agents):
   • ReAct: 대형 언어 모델 (GPT-OSS-120b) 을 사용하여 텍스트 기반 상태 관찰을 분석하고 행동을 추론.
   • LLM-BERT: LLM 으로 상황 분석을 수행한 후, 경량화된 BERT 모델로 구체적인 행동 유형과 파라미터를 분류/생성.

2.3 평가 지표 및 분석

• 주요 지표: 승률 (Win Rate), 에피소드 반환 (Return), 에피소드 길이 (Steps).
• 행동 서명 분석 (Behavioral Signature Analysis): 단순 승률뿐만 아니라, 시간에 따른 행동 유형 (스캔, 악용, 유출 등) 의 분포 변화를 분석하여 실패의 원인을 규명 (예: 탐지 단계에 갇힘, 무효 행동 반복 등).

3. 주요 결과 (Key Results)

3.1 성능 비교 (Unseen Topology 기준)

에이전트 유형	승률 (Win Rate)	비고
ReAct (LLM)	95%	가장 높은 성공률, 짧은 에피소드 길이. 하지만 무효 행동 루프 등 실패 모드 존재.
Conceptual Agent	65.5%	학습 기반 에이전트 중 가장 우수. 주소 불변 추상화가 효과적.
LLM-BERT	51.6%	중간 성능. 승률은 낮지 않으나 평균 반환 (Return) 이 낮음 (비효율적 행동).
MAML	40.0%	부분적 적응 가능하지만, 완전한 고수준 전략 회복에는 한계.
Reptile	2.8%	1 차 메타러닝은 이 환경에서 효과적이지 않음.
DQN/DDQN	0~3%	IP 재할당 시 완전히 실패. 상태 임베딩이 IP 에 과적합됨.
Random	6.0%	베이스라인.

3.2 행동 분석 및 실패 모드

• 전통적 RL (DQN/DDQN): IP 가 변경되면 상태 표현이 분산되어 (UMAP 분석 확인), 에이전트가 탐지 (Reconnaissance) 단계에 갇히거나 무작위 행동을 반복하며 전진하지 못함 (Representation Collapse).
• LLM 에이전트 (ReAct/LLM-BERT): 높은 추론 능력으로 새로운 IP 환경에서도 논리적 흐름을 유지하지만, **무효 행동 (Invalid Actions)**이나 **반복 행동 (Repetition)**으로 인해 에피소드가 길어지거나 실패하는 경우가 발생 (Interface-induced Stalling).
• Conceptual Agent: IP 를 제거한 추상적 표현을 사용하므로, 탐지 → 악용 → 유출의 단계적 구조가 새로운 환경에서도 잘 유지됨. 다만, 학습 비용이 높고 에피소드 길이가 상대적으로 김.

4. 주요 기여 (Key Contributions)

1. 통제된 일반화 평가 프레임워크: 복잡한 네트워크 변화 중 IP 재할당이라는 단일 요소를 격리하여 에이전트의 일반화 능력을 정밀하게 평가하는 프로토콜을 제시.
2. 다양한 에이전트 패러다임의 비교 분석: 전통적 RL, 메타러닝, 추상화, LLM 기반 접근법을 동일한 환경에서 비교하여 각 방식의 장단점과 trade-off 를 명확히 규명.
3. 행동 서명 (Behavioral Signature) 분석 도입: 단순 승률 지표의 한계를 보완하기 위해, 시간에 따른 행동 분포를 분석하여 '표현의 붕괴 (Representation Collapse)'와 '실행 단계의 정지 (Execution Stalling)'를 구분하는 진단 도구 개발.
4. 실무적 통찰:
   • LLM: 사전 지식이 없을 때 가장 강력한 일반화 능력을 보이지만, 계산 비용과 불안정성 (루프 등) 이 있음.
   • 추상화 (Conceptual): 학습 비용은 높지만, 안정적이고 해석 가능한 정책을 제공.
   • 메타러닝: 제한된 적응만 가능하여 완전한 일반화에는 부족함.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 **"사소한 식별자 (IP) 의 변경만으로도 사이버 공격 정책이 무너질 수 있다"**는 것을 입증했습니다. 동시에, 사전 학습된 LLM 기반 추론이나 **역할 기반 추상화 (Role-based Abstraction)**가 이러한 문제를 해결할 수 있는 유망한 대안임을 보여줍니다.

• 실무적 시사점:
  • 목표 네트워크에 대한 사전 지식이 전혀 없는 경우: LLM 기반 에이전트가 가장 실용적인 시작점.
  • 유사한 토폴로지가 존재하여 훈련 가능한 경우: 개념 기반 에이전트가 가장 안정적이고 해석 가능한 선택.
  • 제한된 적응이 필요한 경우: 메타러닝이 중간 정도의 해결책을 제공.
• 미래 방향: LLM 에이전트의 무효 행동 루프 방지, 추상화 메커니즘의 자동화, 그리고 계산 비용과 투명성 간의 균형을 맞추는 연구가 필요함.

결론적으로, 사이버 보안 자동화 분야에서 에이전트의 견고성 (Robustness) 을 높이기 위해서는 구체적인 식별자에 의존하지 않는 의미 불변 (Semantic Invariance) 표현과 적응적 추론 능력이 필수적임을 강조합니다.