Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection

기술 요약: 네트워크 트래픽 이상 탐지를 위한 드리프트 인지형 RL 기반 웨이브릿 디노이징

문제 정의
네트워크 트래픽 모니터링은 운영 의사결정, 특히 이상 탐지(단기 부하 변동 식별) 및 용량 추정(95 백분위수 활용도 $C_{95}$ 정량화)을 수행하기 위해 미세한 활용도 측정값에 의존한다. 그러나 텔레메트리 데이터는 두 가지 뚜렷한 요인, 즉 정적인 배경 노이즈와 **통계적 드리프트(statistical drift)**에 의해 오염된다. 드리프트란 신호의 평균, 분산, 분포 형태 또는 꼬리(tail) 거동이 시간에 따라 변화하는 것을 의미한다.

전통적인 웨이브릿 디노이징 방식(예: VisuShrink, SureShrck)은 정적이고 독립 항등 분포(i.i.d.)인 가우시안 가정을 기반으로 보정된 정적 임계값에 의존한다. 드리프트가 발생하면 이러한 정적 규칙은 불일치를 일으킨다. 중고도 이상의 신호 대 잡음비(SNR)에서 공격적인 고정 임계값은 유용한 신호 구조를 과도하게 억제하여, 이상 탐지에 필수적인 과도적 버스트(transient bursts)를 지워버리고 용량 추정에 필요한 상위 꼬리 통계량을 왜곡할 수 있다. 결과적으로, 재구성 충실도(평균 제곱 오차 최소화)를 최적화하는 것이 다운스트림 작업의 성능을 저하시키는 경우가 발생한다.

방법론
저자들은 적응형 웨이브릿 디노이징을 단순한 신호 재구성 충실도가 아닌, 다운스트림 작업의 유용성을 최적화하기 위한 전처리 계층으로 취급하는 드리프트 인지형 프레임워크를 제안한다. 이 시스템은 두 단계로 작동한다:

1. 드리프트 탐지 게이트(Drift Detection Gate):
   디노이징 전, 윈도우 기반 신호를 4개의 탐지기 앙상블로 분석하여 통계적 체제(regime)가 변화했는지 판단한다. 탐지기는 다음과 같다:

   • Page-Hinkley (PH): 평균 변화를 탐지한다.
   • Variance-Ratio: 분산 변화(이분산성)를 탐지한다.
   • Jensen-Shannon Divergence (JSD): 구조적 발산(분포 형태 변화)을 탐지한다.
   • Anderson-Darling (AD): 꼬리 증폭(충격성 노이즈)을 탐지한다.

   이 탐지기들은 이진 플래그와 연속 통계량을 생성하며, 이들은 논리적 OR 연산을 통해 융합되어 게이트 신호($G_m$)를 생성한다. 드리프트가 감지되지 않으면 고정된 베이스라인 디노이저(VisuShrink)가 적용된다. 드리프트가 감지되면 강화 학습(RL) 에이전트가 호출된다.

2. RL 기반 적응형 디노이징:
   적응형 구성 요소는 **근사 정책 최적화(PPO)**를 사용하여 해결되는 마르코프 결정 과정(MDP)으로 정식화된다.

   • 상태 공간(State Space): 신호 기술자(평균, 분산, MAD), 변화 민감형 기술자(이력 대비 상대적 변화), 그리고 전체 탐지기 증거 벡터(플래그 및 통계량)를 포함한다.
   • 행동 공간(Action Space): 웨이브릿 구성을 선택하는 혼합 이산-연속 공간이다: 모 웨이브릿(mother wavelet), 분해 깊이, 임계값 함수(soft/hard), 임계값 선택 전략, 연속 임계값 이득(gain), 그리고 스케일별 셰이핑 파라미터.
   • 보상 함수(Reward Function): 이전 연구들과 달리, 보상은 작업 유용성 중심이다. 이는 다음의 볼록 결합(convex combination)으로 구성된다:
     • 이상 탐지 F1 점수의 이득 (정상 신호 대비 디노이징된 신호와 원본 신호 간의 비교).
     • 용량 추정 오차($| \hat{C}_{95} - C_{95} |$)의 감소.

   이상 타겟은 클린 신호(clean signal)에 대해 정의되며, 드리프트 게이트는 오염된 신호에 대해 작동하므로 두 단계 간의 순환 오류를 방지한다.

주요 기여

• 작업 인지형 정식화: 적응형 웨이브릿 디노이징을 일반적인 재구성 충실도가 아닌, 특정 다운스트림 모니터링 작업(탐지 및 용량 추정)에 최적화된 순차적 결정 문제로 정식화하였다.
• 상보적 드리프트 게이트: 4종의 탐지기 게이트(PH, VAR, JSD, AD)를 통해 RL 정책이 드리프트의 존재 여부, 유형 및 강도에 따라 조건화될 수 있도록 하여 표적화된 적응을 가능하게 한다.
• 차별적 작업 설계: 이상 현상을 멀티 스케일 과도적 버스트(저역 통과 필터는 제거하지만 웨이브릿은 보존하는 특성)로 정의함으로써, 본 프레임워크가 단순한 평활화(smoothing)와 웨이브릿 디노이징을 명확히 구분하도록 설계하였다.
• 혼합 행동 공간 RL: 혼합 이산-연속 행동 공간에 대한 PPO의 통합을 통해 웨이브릿 파라미터(모 웨이브릿 선택, 분해 깊이, 임계값 전략 및 연속 이득)에 대한 세밀한 제어를 가능하게 한다.
• 포괄적 벤치마킹: 제안된 방법은 네 가지 드리프트 유형과 넓은 범위의 입력 SNR 환경에서 저역 통과 이동 평균 필터, 고전적 수축 규칙(VisuShrink, SureShrink, BayesShrink) 및 위너 필터(Wiener filter)와 비교 검증되었다.

실험 결과
프레임워크는 네 가지 드리프트 유형(평균 이동, 분산 변화, 구조적 발산, 꼬리 증폭)이 추가된 합성 트래픽 활용도 데이터에 대해 -10 dB에서 30 dB 사이의 SNR 환경에서 평가되었다.

• 드리프트 탐지: 융합된 게이트는 낮은 오경보율(no-drift 제어군에서 1.23%)과 함께 91.54%의 드리프트 탐지 진양성률(true-positive rate)을 달와 성, 효과적으로 적절한 디노이징 경로로 라우팅하였다.
• 디노이징 성능 (SNR 개선): RL 정책은 SNR 개선($\Delta$SNR) 측면에서 고정된 VisuShrink 베이스라인보다 일관되게 우수한 성능을 보였다. 특히 높은 입력 SNR(20–30 dB)에서 고정 베이스라인은 신호 에너지를 파괴하여 역효과(음의 $\Delta$SNR)를 냈으나, RL 정책은 이득을 유지하거나 미미한 저하만을 보였다.
• 이상 탐지: 제안된 방법은 네 가지 드리프트 유형 중 세 가지에서 모든 디노이징 방법 중 가장 높은 AUC(과도적 이상 탐지 기준)를 달성하며 오라클(클린 신호) 성능에 근접하였다. 이는 과도적 버스트를 뭉개버리는 저역 통과 필터보다 크게 우수한 성능을 보였다.
• 용량 추정: RL 정책은 모든 드리프트 유형과 SNR에서 $C_{95}$ 추정 오차가 가장 낮았다. 고정 수축 규칙은 노이즈 팽창으로 인해 과다 프로비저닝하거나, 과도한 평활화로 인해 과소 프로비저닝하는 경향이 있었으나, 적응형 정책은 상위 꼬리를 더 정확하게 추적하였다.
• 통계적 유의성: 쌍체 윌콕슨 부호 순위 검정(Paired Wilcoxon signed-rank test)을 통해 제안된 방법의 AUC 및 용량 오차 개선이 모든 베이스라인 대비 통계적으로 유의미함을 확인하였다.

의의 및 주장
본 논문은 비정상적(non-stationary) 네트워크 환경에서 디노이징을 다운스트림 작업 유용성에 맞춰 최적화하는 것이 재구성 충실도를 최적화하는 것보다 우월하다고 주장한다. 주요 의의는 학습된 정책이 통계적 드리프트에 동적으로 적응하여, 고정된 웨이브릿 규칙의 "일률적(one-size-fits-all)" 실패를 방 evit 할 수 있음을 입증한 데 있다. 특히, 본 프레임워크는 고 SNR에서 실제 부하 역학을 뭉개버리는 고정 임계값 방식의 치명적인 결함을 방지한다. 저자들은 현재의 결과가 데이터 가용성 제약으로 인해 합성 데이터를 사용했음을 언급하였으나, 드리프트 탐지 결과는 원래의 실험 파이프라인에서 도출되었으며, 프레임워크는 향후 실제 네트워크 텔레메트리 데이터로 검증될 수 있도록 설계되었다.