기술 요약: 다중 샤드 SISA 및 심층 강화 학습을 이용한 감사 가능한 머신 언러닝 기반 프라이버시 준수 랜섬웨어 탐지

1. 문제 정의

랜섬웨어 공격은 난독화와 다형성 변종을 활용하여 빠르게 진화하고 있으며, 이는 전통적인 시그니처 기반 탐지를 무력화한다. 행동 기반 머신 러닝(ML) 및 딥러닝(DL) 탐지기는 강력한 예측 능력을 보여주었으나, 일반적으로 고정된 학습 데이터를 가정하고 작동한다. 이는 GDPR 및 CCPA와 같은 현대적 프라이시 규정에서 명시하는 "잊힐 권리"와 심각한 충돌을 일으킨다. 사이버 보안 맥락에서 조직은 배포된 모델에서 특정 사용자 데이터, 잘못 레이블링된 샘플 또는 적대적 흔적을 제거해야 할 수도 있다. 이러한 요청을 충족하기 위한 기존 방식은 전체 모델을 재학습하는 것을 포함하며, 이는 계산 비용이 많이 들고 지속적으로 업데이트되는 시스템에서는 비현실적이다. 또한, 기존의 강화 학습(RL) 기반 탐지 시스템은 샘설을 선택적으로 제거하면서도 정책 안정성을 유지하고, 프라이버시를 침해하지 않고 제거가 성공적으로 이루어졌는지 검증하는 방법을 충분히 다루지 못했다.

2. 방법론

저자들은 감사 가능한 랜섬웨어 탐지를 위해 **이중 심층 Q-네트워크(DDQN)**와 다중 샤드 SISA (Sharded, Isolated, Sliced, and Aggregated) 아키텍처를 통합한 통합 프레임워크를 제안한다.

2.1. 데이터셋 및 환경

• 데이터셋: 30개의 서로 다른 랜섬웨어 패밀리를 사용하여 구축된 2,000개의 Windows 11 샘플(랜섬웨어 1,000개, 정상 1,000개)로 구성된 균형 잡힌 행동 데이터셋을 사용하였다. 특징(Feature)은 샌드박스 실행 트레이스(ANY.RUN)로부터 추출되었으며, 파일 시스템, 레지스트리, 프로세스, API 및 네트워크 활동을 포함하는 103차원 행동 벡터로 구성되었다.
• RL 정식화: 랜섬웨어 탐지는 마르코프 결정 과정(MDP)으로 모델링된다.
  • 상태(State): 103차원 행동 특징 벡터.
  • 행동(Action): 이진 분류 (0: 정상, 1: 랜섬웨어).
  • 보상 함수(Reward Function): 보안 비용을 반영하기 위해 비대칭 보상 구조를 채택하였다: 올바른 분류 시 +1, 미탐지(False Negative) 시 -2, 오탐(False Positive) 시 -0.5. 이는 보안에 치명적인 결과에 우선순위를 둔다.
  • 할인 계수(Discount Factor): 장기적 수익보다 즉각적인 분류 정확도를 강조하기 위해 $\gamma=0.1$로 설정되었다.

2.2. DDQN–SISA 프레임워크

프레임워크는 네 단계로 작동한다:

1. 샤딩(Sharding): 데이터셋을 클래스 균형을 유지하기 위한 층화 할당(stratified allocation)을 사용하여 $M$개의 중복되지 않는 샤드($M \in \{5, 10, 20\}$)로 분할한다.
2. 격리 학습(Isolated Training): 독립적인 리플레이 버퍼와 타겟 네트워크를 가진 독립적인 DDQN 에이전트들을 각 샤드에 대해 학습시킨다. 이는 특정 샘플의 영향력을 해당 샤드로 격리한다.
3. 슬라이스 삭제(Sliced Deletion, 언러닝): 삭제 요청이 발생하면, 제거할 샘플을 포함하는 영향을 받는 샤드를 식별한다. 오직 이 특정 샤드들만이 남은 데이터($\mathcal{D}_r = \mathcal{D} \setminus \mathcal{D}_f$)를 사용하여 재학습된다. 영향을 받지 않은 샤드들은 변경되지 않은 채 유지된다.
4. 집계(Aggregation): 최종 예측은 모든 샤드 모델에 대한 다수결 투표를 통해 생성된다. 앙상블 Q-마진(랜섬웨어 대 정상에 대한 Q-값의 차이)은 신뢰도 점수 산출 및 프라이버시 감사를 위해 사용된다.

2.3. 검증 및 감사 프로토콜

프레임워크가 컴플라이언스 및 보안 표준을 충족하는지 확인하기 위해 세 가지 평가 메커니즘이 구현되었다:

• 오라클 검증 망각(Oracle-Verified Forgetting): 잔류 데이터셋($\mathcal{D}_r$)에 대해 처음부터 다시 학습된 "오라클" 모델을 사용한다. 언러닝된 모델의 예측을 이 오라클 모델과 비교하여, 삭제 프로세스가 이상적인 전체 재학습에 근사하는지 검증한다.
• 멤버십 추론 공격(MIA) 감사: 앙상블 Q-마진을 사용하여 프록시 MIA를 수행한다. 목표는 잊혀진 샘플이 관찰되지 않은 데이터와 구별 불가능해졌는지(즉, MIA 성공률이 무작위 추측 수준인 $\approx 0.5$로 떨어지는지) 확인하는 것이다.
• 계산 효율성: 시스템은 전체 재학습과 비교하여 재학습 시간, 통신 오버헤드 및 메모리 사용량을 측정한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. DDQN–SISA 프레임워크: 가치 기반 RL 탐지기와 다중 샤드 SISA를 결부터 결합하여, 전체 모델을 재구축하지 않고도 프라이버시 명령을 충족하기 위한 선택적 샤드 수준 재학습을 가능하게 하는 최초의 랜섬웨어 탐지 프레임워크이다.
2. 이중 메커니즘 검증: 삭제 정확도를 확인하기 위한 오라클 검증된 망각과 프라이버시 누출을 검증하기 위한 멤버십 추론 감사를 결합한 새로운 감사 프로토콜을 제공하며, 이는 특히 RL 기반 보안 시스템에 맞춤화되어 있다.
3. 체계적인 삭제 스트레스 평가: 샤드 수, 삭제 비율(1%, 5%, 10%), 반복적인 삭제 라운드(1, 5, 10회)를 변화시키며 270개의 구성을 대상으로 유틸리티, 프라이버시, 효율성 간의 트레이드오프를 특성화하는 포괄적인 경험적 연구를 수행하였다.

4. 실험 결과

프레임워크는 5-겹 교차 검증을 사용하여 Windows 11 행동 데이터셋에 대해 평가되었다.

• 베이스라인 성능: 베이스라인 DDDN 탐지기는 0.9925의 F1-score와 0.9983의 AUC를 달성하여, 최신 기술(SOTA) 방법론과 견줄만한 높은 탐지 정확도를 입증하였다.
• 유틸리티 보존:
  • 단일 샤드: 언러닝 결과, 모든 삭제 시나리오에서 최소한의 유틸리티 저하($\Delta F1 < 0.003$)가 나타났다.
  • 다중 샤드: 중간 정도의 샤드 수($M=5, 10$)는 저~중도의 삭제 압력 하에서 안정성을 유지하였다. 그러나 높은 세분화($M=20$)와 공격적인 삭제(10%를 10라운드 동안 수행)가 결합될 경우, 작은 샤드에서의 데이터 기아 현상으로 인해 심각한 불안정성과 유틸리티 붕괴(F1이 0에 가깝게 하락)가 발생하였다.
• 오라클 검증: 단일 샤드 재학습은 오라클 모델과의 불일치가 낮았다. 다중 샤드 구성은 높은 삭제 스트레스 하에서, 특히 $M=10$ 및 $M=20$인 경우 더 높은 불일치를 보였으며, 이는 영향을 받는 샤드의 수가 증가함에 따라 국소적 재학습의 정확도가 떨어진다는 것을 나타낸다.
• 프라이버시 (MIA): 멤버십 추론 점수는 대부분의 구성에서 0.5(무작위 추측)에 가깝게 유지되어 프라이버시 누출이 제한적임을 나타냈다. 공격적인 삭제 상황에서도 구별 가능성의 증가는 미미했다.
• 효율성:
  • 재학습 시간: 단일 샤드 언러닝은 약 5~6초가 소요되었다. 다중 샤드 언러닝은 영향을 받는 샤드 수에 따라 20~30초가 소요되었다.
  • 비교: 이는 80~330초가 소요되는 전체 재학습보다 현저히 빠른 속도이다.
  • 통신 오버헤드: 단일 샤드는 약 11ms, 다중 샤드는 53~55ms로 낮게 유지되었다.

5. 의의 및 주장

본 논문은 자신의 연구를 고위험 사이버 보안 분야에서 "잊힐 권리"를 실현하는 실용적인 솔루션으로 포지셔닝한다.

• 타협 없는 컴플라이언스: 본 프레임워크는 조직이 과도한 계산 비용을 들이지 않고도 특정 학습 샘플을 제거함으로써 GDPR/CCPA 준수를 달 수 있음을 보여준다.
• 감사 가능한 보안: 오라클 검증과 MIA 감사를 통합함으로써, 시스템은 삭제된 데이터가 더 이상 모델에 영향을 미치지 않으며 프라이버시가 보호된다는 검증 가능한 보장을 제공하여 기존 RL 기반 탐지 문헌의 공백을 메운다.
• 운영적 트레이드오프: 연구는 프레임워크가 매우 효과적이지만, 안정성-효율성 간의 트레이드오프가 존재함을 완곡하게 결론짓는다. 저자들은 재학습 효율성과 정책 안정성 사이의 균형을 맞추기 위해 **중간 정도의 샤드 수($M=5–10$)**를 최적의 운영 체제로 권장한다. 또한, 데이터 파편화로 인해 매우 높은 샤드 세분화($M=20$)는 지속적인 삭제 압력에 부적합함을 명시적으로 언급한다.
• 독창성: 저자들은 이것이 가치 기반 RL, 샤드 로컬 언러닝, 그리고 이중 채널 감사 검증을 단일 평가 파이프라인 내에 결합한 최초의 랜섬웨어 탐지 프레임워크라고 주장한다.

본 논문은 중간 규모의 데이터셋(2,000개 샘플) 사용, 적응형 공격 대신 Q-마진 기반의 MIA 프록시 사용, 그리고 스트리밍 데이터에 대한 평가 부재를 한계점으로 인정한다. 향-후 연구로는 더 큰 데이터셋, 더 강력한 프라이버시 공격, 그리고 분산 배포 시나리오에 대한 탐색을 제안한다.