Adversarial Intelligence: A Systematic Review of AI-Driven Cyber Threat Detection, Adaptive Malware Evasion, and Arms Race Dynamics in Zero Trust Security Environments

기술 요약: 제로 트러스트 환경에서의 적대적 지능 (Adversarial Intelligence)

문제 정의
본 논문은 사이버 방어를 위한 인공지능(AI)의 급격한 도입과 이와 병행하여 진화하는 AI 기반 적대적 공격 사이의 심각한 괴리를 다룬다. 방어자들은 침입 탐지, 악성코드 분류, 행동 분석을 위해 머신러닝(ML) 및 딥러닝(DL)을 점점 더 많이 배치하고 있지만, 공격자들은 이러한 동일한 통계적 및 생성적 도구들을 회피형 악성코드와 적대적 네트워크 트래픽을 제작하는 데 재목적으로 활용하고 있다. 이러한 역학 관계는 탐지 정확도가 회피 성공률에 의해 지속적으로 상쇄되는 연속적인 "군비 경쟁(arms race)"을 형성했다. 문헌상에는 중요한 격차가 존재한다: AI 기반 탐지, 적대적 회피, 그리고 제로 트러스트 아키텍처(ZTA) 거버넌스를 하나의 분석적 프레임워크로 통합한 연구가 거의 없다. 결과적으로, 실무자와 정책 입안자들은 특히 생성 모델과 대규모 언어 모델(LLM)이 회피에 필요한 시간과 기술을 단축시키고 있는 상황에서, 보안 스택에 AI를 배치할 때 발생하는 시스템 차원의 결과를 이해하는 데 어려움을 겪고 있다. 더욱이, ZTA 배포는 지속적인 AI 기반 검증에 의존하지만, 이러한 기저의 AI 구성 요소들이 갖는 적대적 강건성(adversarial robustness)은 ZTA 거버넌스 맥락 내에서 거의 평가되지 않고 있다.

연구 방법론
본 연구는 2010년부터 2026년 사이에 발표된 80편의 피어 리뷰 논문, 프리프린트(preprint), 기술 보고서에 대한 체계적 문헌 고찰이다. 본 검토는 IEEE Xplore, ACM Digital Library, SpringerLink, ScienceDirect, MDPI, arXiv를 포함한 데이터베이스를 검색하여 PRISMA 기반 프로세스를 따랐다. 검색 용어는 침입 탐지, 적대적 ML/악성코드 회피, 보안 분야의 GAN, 제로 트러스트 아키텍처, 사이버 보안에서의 설명 가능한 AI(XAI)라는 다섯 가지 주제 클러스터에서 추출되었다.

선정 기준은 해당 연구가 AI/ML 구성 요소를 포함하고, 사이버 보안 탐지/회피/거버넌스 과제를 다루며, 충분한 방법론적 세부 사항을 보고해야 함을 요구했다. 본 검토는 정량적 메타 분석보다는 주제적 합성(thematic synthesis) 접근 방식을 채택하여, 출처를 탐지 중심, 회피/공격 중심, 방어/강건성 중심, 거버넌스/ZTA 중심의 네 가지 중첩되는 클러스터로 그룹화하였다. 분석에는 검토된 문헌의 구성과 성장을 특징짓는 비교 표, 분류 체계 및 정량적 차트 생성이 포함된다.

주요 기여

1. 탐지 및 회피의 통합 분류 체계: 본 논문은 AI 기반 탐지 기술(고전적 ML, 딥러닝, 생성/적대적, 연합 학습, LLM 기반)에 대한 구조화된 분류 체계를 도입하고, 이를 그에 대응하는 적대적 회피 계열(그래디언트 기반, GAN 기반, 강화 학습, 탐색 기반)과 매핑한다.
2. 4세대 에스컬레이션 모델: 저자들은 네 가지 기술 세대를 통해 공격과 방어의 공동 진화를 추적한다:
   • 1세대: 시그니처 기반 방어 vs. 난독화/패킹(obfuscation/packing).
   • 2세대: 특징 공학 기반 고전적 ML vs. 특징 공간 섭동(feature-space perturbation).
   • 3세대: 딥러닝(CNN/LSTM/Transformer) vs. 그래디언트 기반 및 GAN으로 제작된 적대적 샘플.
   • 4세대: 적대적 훈련/연합 학습/XAI vs. LLM 보조 악성코드 생성 및 자동화된 레드 티밍(red teaming).
     본 검토는 높아진 탐지 정확도가 한쪽의 우위를 점하기보다, 일관되게 높아진 회피 성공률에 의해 상쇄되어 왔음을 보여준다.
3. 제로 트러스트 거버넌스 격차 분석: 본 논문은 ZTA 프레임워크가 지속적인 검증을 위해 구조적으로 AI에 의존하면서도, 통합된 적대적 강건성 평가가 결여되어 있는 "거버넌스 격차"를 식별한다. 저자들은 적대적 강건성이 별도의 ML 연구 관심사가 아니라, 제1순위의 ZTA 설계 요구사항으로 취급되어야 한다고 주장한다.
4. 설명 가능성과 신뢰의 합성: 본 검토는 탐지 정확도와 해석 가능성 사이의 트레이드오프를 분석한다. SHAP이나 LIME과 같은 기술이 사후적 설명을 제공하지만, 모델의 결정을 충실히 나타내지 못할 수 있으며 잠재적으로 공격자에게 도움을 줄 수 있음을 강조한다. 또한, 규제 프레임워크(예: EU AI 법, NIST AI RMF)가 설명 가능성을 의무화하기 시작하면서, 보안 AI를 위한 컴플라이언스 요구가 발생하고 있음을 언급한다.
5. 벤치마크 및 평가 비판: 본 논문은 오래된 데이터셋(예: KDD Cup 1999, NSL-KDD)에 대한 의존도와, 실제 실행 파일이나 네트워크 패킷(problem space)으로 변환되지 않는 "특징 공간(feature space)" 공격의 만연함을 비판한다. 저자들은 표준화된 적대적 강건성 지표와 문제 공간에서 실현 가능한 벤치마크를 촉구한다.

결과 및 발견

• 탐지 기술: 딥러닝 아키텍처(CNN, LSTM, Transformer)가 현재 문헌을 주도하며 높은 정확도(벤치마크 상 >99%)를 달성하지만, 불투명성과 높은 계산 비용이라는 문제를 겪는다. 생성적 적대 신경망(GAN)은 방어적 목적(소수 클래스 샘플 합성)과 공격적 목적(적대적 트래픽 생성) 모두에 사용된다.
• 회피 전략: 적대적 공격은 단순한 특징 섭동에서부터 악성 기능을 유지하면서 GAN 기반 합성 및 강화 학습(RL) 유도 수정으로 정교해졌다. 대체 모델이나 쿼리 기반 방법을 사용하는 블랙박스 공격이 점점 더 널리 퍼지고 있다.
• 방어 메커니즘: 적대적 훈련(섭동된 샘플으로 재학습)이 가장 많이 연구된 방어법이지만, 미지의 공격 계열에 대해 일반화되는 데 종종 실패한다. 앙상블 방법과 탐지 기반 필터링(분류 전 적대적 입력 식별)은 보완적인 보호를 제공한다.
• ZTA 통합: ZTA 구현에서 인증과 인가는 성숙한 단계이지만, AI 분석에 의존하는 "환경적 인지(environmental perception)" 및 "오케스트레이션(orchestration)" 구성 요소는 적대적 강건성 측면에서 미개척 영역으로 남아 있다.
• 열린 과제: 본 검토는 다섯 가지 핵심 클러스터의 과제를 식별한다: (1) 강건성 및 일반화(계열 간 전이성 부족), (2) 데이터 및 벤치마킹(문제 공간 실현 가능 데이터셋의 필요성), (3) 설명 가능성 및 신뢰(사후 설명의 충실도), (4) 운영 제약(강건한 훈련의 계산 비용), (5) 거버넌스 및 표준화(통합된 강건성 지표의 부재).

의의
본 논문은 파편화된 연구들을 AI가 사이버 갈등의 양측을 어떻게 재편하는지에 대한 일관된 설명으로 통합한다는 점에서 그 의의를 찾는다. 구조화된 도표와 정량적 요약을 통해 군비 경쟁의 진화를 시각화함으로써, 본 연구는 인식을 실질적인 실행으로 옮기는 경로를 단축하고자 한다.

실무자들에게 제공된 분류 체계와 군비 경쟁 모델은 왜 정적인 벤치마크에서 잘 작동하는 탐지기가 적응형 공격자에게는 실패하는지를 설명해 준다. 정책 입안자와 표준화 기구들에게는 설명 가능성, 강건성, ZTA 통합에 관한 합성된 증거가 NIST AI 위험 관리 프레임워크와 같은 프레임워크와 정렬된 섹터별 가이드라인을 작성하는 기초를 제공한다. 연구 커뮤니티에게는 현실적인 적대적 벤치마크의 희소성과 해석 가능성 및 정확도 사이의 미해결된 트레이드오프와 같은 구체적인 격차를 제시하여 향후 실험 설계를 돕는다. 궁극적으로 본 논문은 탐지 정확도와 적대적 복원력 사이의 간극을 메우기 위해서는 강건성, 설명 가능성, 지속적 검증을 단일 보안 시스템의 공동 최적화 속성으로 취급해야 한다고 주장한다.