💻 computer science

SA-DRL: Security-Aware Deep Reinforcement Learning for Ransomware Detection with Asymmetric Reward Design

본 논문은 비대칭적 보상 형성(asymmetric reward shaping)과 보안 최적 모델 선택 기준을 활용하여 기존의 대칭적 탐지 방식보다 랜섬웨어 미탐지율(false-negative rates)을 크게 낮추는 보안 인지 심층 강화 학습(Security-Aware Deep Reinforcement Learning, SA-DRL) 프레임워크를 제안한다.

원저자: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jannatul Ferdous, Rafiqul Islam, Md Zahidul Islam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 디지털 도시의 보안 책임자라고 상상해 보십시오. 당신의 임무는 특정 유형의 범죄자, 즉 **랜섬웨어(Ransomware)**를 찾아내는 것입니다. 이들은 파일을 잠가버리고 이를 해제하는 대가로 돈을 요구하는 디지털 강도들입니다.

문제는 이 강도들이 매우 빠르다는 점입니다. 그들은 단 몇 초 만에 데이터를 암호화할 수 있습니다. 만약 당신이 이들을 놓친다면 (미검출/False Negative), 도시는 봉쇄되고 그 피해는 영구적이며 막대할 것입니다. 만약 당신이 무해한 시민을 범죄자로 잘못 지목한다면 (오탐/False Positive), 그들을 잠시 조사하기 위해 구치소에 넣는 것뿐입니다. 이는 번거로운 일이지만, 해결 가능한 문제입니다.

오랫동안 컴퓨터 보안 시스템은 이 두 가지 실수를 똑같이 나쁜 것으로 취급해 왔습니다. 이는 마치 "은행 강도를 놓치는 것과 제빵사를 실수로 체포하는 것이 똑같이 나쁘다"라고 말하는 것과 같습니다. 이 논문은 이것이 보안 시스템을 운영하는 매우 잘못된 방식이라고 주장합니다.

Jannatul Ferdous와 그녀의 팀은 SA-DRL(Security-Aware Deep Reinforcement Learning, 보안 인지 심층 강화 학습)이라는 새로운 접근 방식을 사용하여 이 문제를 해결했습니다.

1. 옛날 방식: "동일한 벌점" 게임

전통적인 보안 소프트웨어를 시험을 치르는 학생이라고 생각해 보십시오. 만로 틀린 문제를 맞히면 1점을 감점합니다. 어떤 문제를 틀렸는지는 중요하지 않습니다.

결함: 현실 세계에서 랜섬웨어 공격을 놓치는 것은 기말고사에서 낙제하여 학위를 잃는 것과 같습니다. 반면 무해한 파일을 잡아내는 것은 숙제에서 점수가 조금 깎이는 것에 불ло입니다. 기존 시스템은 이 차이를 몰랐기 때문에, "작은 실수"를 줄이기 위해 종종 "큰 악당"들을 놓치곤 했습니다.

2. 새로운 방식: "보안 우선" 코치

저자들은 **심층 강화 학습(Deep Reinforcement Learning, DRL)**을 사용한 새로운 훈련 방법을 만들었습니다. AI 에이전트(보안 요원)가 수백만 번의 라운드를 플레이하며 배우는 비디오 게임을 상상해 보십시오.

보상 시스템: 이 게임에서 "코치"(보상 함수)는 범죄자를 잡으면 점수를 주고, 실수를 하면 점수를 깎습니다.
- 옛날 코치 (대칭형): "제빵사를 잡으면 1점을 깎는다. 강도를 놓쳐도 1점을 깎는다."
- 새로운 코치 (비대칭형 - SA-DRL): "제빵사를 잡으면 1점을 깎는다. 하지만 강도를 놓치면 4점을 깎는다!"
이처럼 랜섬웨어 공격을 놓쳤을 때의 벌점을 오탐 시의 벌점보다 4배 더 무겁게 설정함으로써, AI는 매우 중요한 교훈을 배웁니다. "조심해서 나쁠 것 없다(Better to be safe than sorry)." 이로 인해 AI는 약간 더 의심스럽게 행동하기 시작하며, 몇 명의 무고한 제빵사를 더 조사하게 되더라도 거의 모든 강도를 잡아내기 시작합니다.

3. 훈련장: "섞인 카드 덱"

AI가 파일의 순서를 단순히 암기하지 않도록 하기 위해, 연구진은 영리한 트릭을 사용했습니다. 카드 덱에서 카드를 나누는 것을 상상해 보십시오.

트릭: AI가 새로운 훈련 세션을 시작할 때마다, 그들은 파일 덱을 완전히 섞습니다.
결과: AI는 "파일 #1은 착한 파일, 파일 #2는 나쁜 파일" 식의 학습을 할 수 없습니다. 대신 파일의 행동 양식을 배워야 합니다. "나쁜" 파일(랜섬웨어)이 누락될 때마다 4점의 무거운 벌칙을 계속 받기 때문에, AI는 더욱 주의 깊게 살펴봐야 한다는 것을 배웁니다. 이는 수동으로 표시하지 않아도 가장 위험한 파일들을 자동으로 "하이라이트" 하는 역할을 합니다.

4. 경주: 누가 승리하는가?

연구진은 네 가지 다른 유형의 AI "플레이어"(알고리즘)를 테스트하여 누가 이 "보안 우선" 교훈을 가장 잘 배웠는지 확인했습니다:

DQN
DDQN (Double DQN)
PPO
A2C

그들은 또한 다양한 **할인 계수(Discount Factors)**를 테스트했습니다. 이것은 AI가 미래를 얼마나 중요하게 생각하는지, 아니면 현재를 중요하게 생각하는지에 대한 것입니다.

높은 할인 계수: "나는 전체 게임을 생각하고 있다."
낮은 할인 계수: "나는 지금 당장 올바른 움직임을 가져야 한다."

승자: DDQN 플레이어가 낮은 할인 계수(즉각적인 행동에 집중)와 비대칭 보상(강도에 대한 무거운 벌칙)을 사용하여 챔피언이 되었습니다.

5. 결과: 엄청난 개선

연구진이 이 승리한 AI를 기존 방식들과 비교 테스트했을 때의 결과입니다:

기존 최선책: 랜섬웨어 공격의 약 2.47%를 놓침.
새로운 SA-DRL: 단 **0.80%**의 공격만을 놓침.

이는 놓친 랜섬웨어가 67.6% 감소했음을 의미합니다. AI는 실제 위협을 포착하는 데 훨씬 더 능숙해졌습니다. 이 과정에서 오탐(무고한 제빵사를 잡는 것)을 매우 낮은 수준으로 유지하면서도, 다른 복잡한 모델들보다 오히려 더 빠르게 훈련되었습니다.

6. "보안 최적화" 규칙

마지막으로, 저자들은 가장 좋은 모델을 선택하기 위한 새로운 규칙인 SOMS를 도입했습니다.

기존 규칙: "전체 점수가 가장 높은 모델을 선택하라."
새로운 SOMS 규칙: "먼저, 강도를 가장 적게 놓치는 모델을 선택하라. 그다음, 점수를 본다. 그다음에, 속도를 본다."

이 방식은 선택된 모델이 단순히 스프레드시트상에서 좋아 보이는 것이 아니라, 보안을 최우선으로 하도록 보장합니다.

요약

이 논문은 우리가 AI에게 실수에 대해 어떻게 "지불"하는지(즉, 랜섬웨어 공격을 놓치는 벌점을 오탐에 대한 벌점보다 훨씬 무겁게 만드는 것)를 바꿈으로써, 데이터를 훨씬 더 잘 보호할 수 있는 보안 시스템을 구축할 수 있음을 보여줍니다. DDQN 모델과 이 새로운 "보안 인지" 마인드셋은 이전 방식들보다 훨씬 더 많은 랜섬웨어를 잡아내면서도 빠르고 효율적으로 작동하는 가장 효과적인 도구임이 밝혀졌습니다.

기술 요약: 랜섬웨어 탐지를 위한 SA-DRL

문제 정의
랜섬웨어는 현대 인프라에 치명적인 위협을 가하고 있으며, 2025년 기준 전 세계적 복구 비용은 153만 달러에 달하고 공격은 2초마다 발생하고 있습니다. 머신러닝(ML) 및 딥러닝(DL) 탐지기들이 높은 정확도(종종 98% 이상)를 달着했음에도 불구하고, 이들은 일반적으로 미탐(False Negative, FN)과 오탐(False Positive, FP)을 동일한 비용으로 취급하는 대칭적 손실 함수(예: 이진 크로스 엔트로피)에 의존합니다. 그러나 운영 현실에서 이러한 가정은 결함이 있습니다. 미탐은 돌이킬 수 없는 데이터 암호화와 시스템 침해를 허용하는 반면, 오탐은 가역적인 격리 또는 분석가 검토로 끝납니다. 나아가, 기존의 랜섬웨어 탐지 분야에서의 심층 강화 학습(DRL) 응용은 주로 정적 특징(예: PE 헤더)이나 대칭적 보상 구조를 활용해 왔으며, 운영 비용의 비대칭성을 학습 목표에 직접 내재화하는 데 실패했습니다.

방법론
저자들은 행동 기반 런타임 텔레메트리를 사용하여 랜섬웨어 탐지를 유한 수평 마르코프 결정 과정(MDP)으로 모델링하는 SA-DRL (Security-Aware Deep Reinforcement Learning) 프레임워크를 제 제안합니다.

데이터셋 및 환경:
- 2,000개의 Windows 실행 파일 샘플(30개 패밀리에 걸친 1,000개의 랜섬웨어, 1,000개의 정상 파일)로 구성된 균형 잡힌 데이터셋을 구축했습니다.
- 샘플을 ANY.RUN 샌드박스(Windows 11)에서 실행하여 103개의 행동 특징(API 호출, 레지스트리 수정, 파일 작업, 네트워크 활동, CryptoAPI 사용 등)을 추출했습니다.
- 환경은 **에피소드 수준의 무작위 순열(episode-level random permutation)**을 채택하여, 각 에피소드 시작 시 샘플 순서를 섞음으로써 고정된 순서 편향을 제거하고 암묵적인 적응형 샘플 가중치 효과를 유도합니다.
보상 설계:
- 기본형 ( $R_1$ ): 대칭적 보상 (정답 시 +1, 오답 시 -1).
- 보안 인식형 ( $R_2$ ): 운영 비용을 반영하도록 설계된 비대칭 보상 함수입니다. 정답 예측에는 +1을 부여하고, 오탐(FP)에는 -0.5를, 미탐(FN)에는 더 무거운 페널티인 -2.0을 부여합니다 (4:1 비용 비율). 이 구조는 에이전트가 놓친 탐지를 최소화하는 것을 우선시하도록 명시적으로 유도합니다.
에이전트 및 학습:
- 네 가지 DRL 에이전트(DQN, DDQN, PPO, A2C)를 평가했습니다.
- 실험은 네 가지 할인 계수( $\gamma \in \{0.1, 0.5, 0.9, 0.99\}$ ), 두 가지 보상 함수, 5-겹 층화 교차 검증, 세 개의 무작위 시드를 포함하여 총 480회의 통제된 학습 실행을 수행했습니다.
- 비교를 위해 동등한 클래스 가중치를 적용한 베이스라인 지도 학습 모델(MLP, CNN1D, 로지스틱 회귀)을 학습시켰습니다.
모델 선택 (SOMS):
- 본 연구는 보안 최적 모델 선택(SOMS) 기준을 도입합니다. 종합 정확도가 아닌 SOMS는 다음과 같은 사전식 최적화(lexicographic optimization)를 사용합니다:
  1. 미탐율(FNR) 최소화.
  2. F1-Score 최대화.
  3. 학습 시간 최소화.

주요 기여

비대칭 보상 통합: 사후적인 임계값 조정을 넘어, 행동 기반 랜섬웨어 탐지를 위해 DRL 보상 신호에 FN-FP 비용 비대칭성을 직접 내재화한 최초의 프레임워크입니다.
포괄적 평가: 여러 보상 구조와 하이퍼파라미터에 걸쳐 네 가지 DRL 알고리즘을 통제된 팩토리얼 비교(480회 실행)를 통해 검증하여 강력한 통계적 타당성을 제공합니다.
SOMS 기준: 종합 정확도보다 미탐을 최소화하는 것을 우선시하는 보안 우선 모델 선택 프로토콜을 제시합니다.
암묵적 적응형 가중치: 에피소드 수준의 무와 순열을 활용하여, 명시적인 샘플별 가중치 계산 없이도 비대칭 보상 기반의 시간차 업데이트를 통해 어려운 샘플을 자연스럽게 강조합니다.
통계적 검증: 성능 향상이 확률적 변동에 의한 것이 아니라 통계적으로 유의미함을 확인하기 위해 Friedman 및 Wilcoxon 부호 순위 검정을 사용했습니다.

실험 결과

최적 구성: 비대칭 보상( $R_2$ )과 낮은 할인 계수( $\gamma = 0.1$ )로 학습된 DDQN 에이전트가 SOMS에 의해 최적으로 선택되었습니다.
성능 지표: 이 구성은 **0.0080 (0.80%)**의 FNR, 0.9915의 F1-score, 그리고 0.998의 AUC를 달성했습니다.
비교 개선 사항: 베이스라인 지도 학습 모델(FNR = 0.0247인 MLP)과 비교했을 때, SA-DRL 구성은 미탐(missed detections)을 67.6% 감소시켰습니다.
보상의 영향: 모든 구성에서 비대칭 보상( $R_2$ )은 대칭적 베이스라인( $R_1$ ) 대비 평균 FNR을 43% 감소시켰으며, 오탐율(FPR)의 증가는 0.20% 포인트로 미미했습니다.
알고리즘 민감도: 가치 기반 방법(DDQN, DQN)은 정책 경사 방법(PPO, A2C)보다 특히 높은 할인 계수에서 더 우수한 안정성과 더 낮은 FNR을 보였습니다. 보안이 중요한 분류 작업에서는 낮은 할인 계수( $\gamma=0.1, 0.5$ )가 더 효과적인 것으로 나타났습니다.

의의 및 주장
본 논문은 SA-DRL이 학습 목표를 운영 보안 우선순위와 직접 일치시킴으로써 랜섬웨어 탐격의 패러다임 전환을 나타낸다고 주장합니다. 저자들은 다음과 같이 단언합니다:

보상 함수 설계는 단순한 튜닝 파라미터가 아니라 보안 민감 의사결정을 위한 핵심 메커니즘입니다.
제안된 프레임워크는 런타임 행동 특징, 비대칭 보상 설계, 그리고 엄격한 통계적 검증을 거친 공식적인 보안 우선 선택 기준(SOMS)을 결합한 최초의 모델입니다.
결과는 비용 인식 강화 학습이 전체적인 탐지 성능을 높게 유지하면서도 가장 치명적인 오류 유형(놓친 랜섬웨어)을 효과적으로 최소화할 수 있음을 입증하며, 이는 전통적인 대칭 손실 접근 방식보다 고위험 환경에 더 견고한 솔루션을 제공합니다.