A Deep learning framework for early detection of Ransomware communication patterns in encrypted network using transfer learning Case study: Financial Enterprise Networking

기술 요약: 암호화된 네트워크 내 랜섬웨어 통신 패턴의 조기 탐지를 위한 딥러닝 프레임워크

문제 정의
암호화된 네트워크 프로토콜(HTTPS/TLS)의 광범위한 채택은 기존의 시그니처 기반 랜섬웨어 탐지 도구(예: Snort, Suricata, YARA)를 구조적으로 무력하게 만들었다. 전체 엔터프라이즈 트래픽의 80% 이상이 암호화됨에 따라, 능동적인 복호화 없이 페이로드 검사를 수행하는 것은 기술적으로 불가능하며, 이는 GDPR과 같은 프레임워크 하에서 지연 시간 및 규제 리스크를 초발한다. 또한, 현대의 랜섬웨어 공격은 암호화된 명령 제어(C2) 통신, 측면 이동(Lateral Movement), 그리고 이중 갈취형 데이터 유출을 특징으로 한다. 행동 기반 플로우 분석(Behavioral Flow Analysis)이 개인정보를 보호하는 대안을 제시하지만, 기존 문헌은 두 가지 핵심 요소가 결여되어 있다: 즉, 위협 환경이 진화함에 따라 머신러닝(ML) 모델이 어떻게 성능 저하를 겪는지에 대한 경험적 정량화, 그리고 엔터프라이즈급 보안 정보 및 이벤트 관리(SIEM) 시스템과의 검증된 엔드 투 엔드 통합이다.

방법론
제안된 프레임워크는 페이로드 복호화 없이 암호화된 트래픽으로부터 랜섬웨어를 완전히 탐지하기 위해 4개의 처리 계층에 걸쳐 작동한다:

1. 데이터 캡처: Zeek v8.0.5가 프로미스큐어스 모드(Promiscuous Mode)에서 라이브 암호화 트래픽의 연결 메타데이터를 캡처한다.
2. 특징 추출: 커스텀 파이프라인이 conn.log, ssl.log, dns.log로부터 23개의 플로우 수준 행동 특징을 추출한다. 이 특징들은 시간적 지표(지속 시간, 인터-어라이벌 타임), 볼륨(바이트/패킷 비율), 행동 상태(연결 이력, 프로토콜), 그리고 TLS 속성(사이퍼 스위트, 서버 이름)을 포함한다. 범주형 특징은 레이블 인코딩(Label Encoding)되며, 수치형 특징은 정규화된다.
3. 탐지 엔진: 핵심은 전이 학습(Transfer Learning)에 의해 강화된 이중 모델 양방향 LSTM(BiLSTM) 아키텍처를 활용한다.
   • 모델 V1: 과거 2017년 제품군(Cerber, Locky)으로 학습됨.
   • 모델 V2: 현대적인 2019–2021년 제품군(Ryuk, REvil, Maze, Phobos 등)으로 학습됨.
   • 아키텍처: 두 모델은 재사용 가능한 특징 추출 계층(128-유닛 및 64-유닛 BiLSTM 계층)을 공유한 후, 작업별 밀집 계층(Dense Layers)으로 이어진다.
4. 앙상블 투표: 신뢰도 기반의 계층적 투표 시스템이 V1과 V2의 예측을 결합한다. 이 시스템은 정밀도(Precision)보다 재현율(Recall)을 우선시하며, 특정 신뢰도 임계값을 기준으로 트래픽을 "Critical", "High", "Suspicious", "Normal"로 분류한다.
5. 지속적 학습: 자율 파이프라인은 SIEM으로부터 분석가의 피드백을 수집하고, 1,000개의 새로운 레이블링된 샘플이 수집되거나 90일이 경과하면 재학습을 트리거하며, 품질 게이트(정확도, 정밀도, 재현율, F1-score)를 통해 새 모델을 검증한 후 제로 다운타임 배포를 수행한다.
6. 통합: 시스템은 Wazuh SIEM(v4.7)과 통합되어, 커스텀 탐지 규칙과 함께 MITRE ATT&CK T1486(암호화된 통신)에 매핑된다.

주요 기여

• 시간적 성능 저하의 경험적 측정: 본 연구는 랜섬웨어 탐지에서 발생하는 모델 드리프트(Model Drift)를 최초로 정량화하였다. 본 연구는 ML 기반 탐지기가 연간 3.97%의 정확도로 저하됨을 입증한다.
• 전이 학습 효율성: 프레임워크는 단 3,627개의 훈련 플로우만으로 암호화된 과거 트래픽에 대해 95.15%의 정확도를 달자, 데이터가 부족한 보안 환경에서의 높은 샘플 효율성을 입증했다.
• 세대 간 실패 분석: 본 연구는 과거 모델을 현대적 위협에 적용했을 때 거의 무작위 수준(정확도 43%)의 성능을 보임을 밝혀내어, "파괴적 시간적 특수화(Catastrophic Temporal Specialization)"를 확인하였다. 반대로, 현대적 모델은 과거 데이터에 대해 일정 수준의 역량을 유지(62.5%)하여, 시간적 전이의 방향성 비대칭성을 나타냈다.
• 운영 SIEM 통합: 프레임워크는 Wazuh와의 완전한 통합을 통해 19/19개의 엔드 투 엔드 테스트를 통과하였으며, 2.5초 미만의 지연 시간과 MITRE ATT&CK T1486 매핑을 달성했다.
• 자율적 적응: 제안된 지속적 학습 프레임워크는 자동화된 피드백과 재학습을 통해 적응 주기를 수동 방식의 36개월에서 **13개월**로 단축한다.

결과

• 모델 V1 (과거): 2017년 데이터셋에 대해 95.15%의 정확도, 98.53%의 정밀도, 94.08%의 재현율을 달성했다.
• 모델 V2 (현대): 2019–2021년 데이터셋에 대해 79.29%의 정확도와 64.35%의 재현율을 달성했다. 상당한 재현율 하락(29.73% 감소)은 현대적인 회피 기술(예: 저용량 저속 공격, 그럴듯한 TLS 핑거프린트)을 탐지하는 것이 점점 더 어려워지고 있음을 나타낸다.
• 앙상블 성능: 결합된 시스템은 800개의 혼합 샘플에 대해 96.67%의 재현율을 달성하여, 랜섬웨어 인스턴스의 96.67%를 성공적으로 식별했으나, 두 모델의 특징 공간 간 전처리 불일치로 인해 전체 정확도는 67.25%에 머물렀다.
• 지연 시간: 엔드 투 엔드 탐지 지연 시간은 평균 2.5초 미만이었으며, CPU 추론 시간은 V1 650ms, V2 720ms였다.

의의 및 주장
본 논문은 주요 과학적 기여가 랜섬웨어 탐지에 있어서 시간적 성능 저하에 대한 최초의 경험적 정량화라고 주장한다. 저자들은 정밀도는 안정적이지만 재현율이 붕괴되는 비대칭적 저하 패턴을 근거로, 운영 KPI를 정확도에서 재현율 모니터링으로 전환해야 한다고 주장한다.

연구 결과는 12~18개월마다 체계적인 재학습을 수행하는 것이 지속적인 효과 유지를 위한 필수적인 운영 요구사항임을 확립한다. 본 논문은 딥러닝이 암호화된 트래픽 분석을 위한 실행 가능한 경로를 제공하지만, 이러한 모델의 "반감기"는 짧으며, 지속적인 보안 커버리지를 유지하기 위해서는 자율적인 지속적 학습 파이프라인이 필수적이라고 결론짓는다. 본 연구는 시간적 유지보수와 SIEM 통합이 사후 고려 사항이 아닌 핵심 인프라 구성 요소로 다뤄질 때, 페이로드 복호화 없이도 고성능 탐지가 가능하다는 것을 검증한다.