Predicting Tail-Risk Escalation in IDS Alert Time Series

기술 요약: IDS 경보 시계열의 꼬리 위험(Tail-Risk) 에스컬레이션 예측

문제 정의
네트워크 방어자들은 침입 탐지 시스템(IDS)으로부터 지속적인 경보 스트림을 받으며, 이는 종종 인간의 분류 역량을 초과하는 경보의 양과 가변성으로 인한 "경보 피로(alert fatigue)"를 유발한다. 전통적인 연구는 개별 경보를 분류하거나 노이즈를 줄이기 위해 이를 상관 분석하는 데 집중하지만, 보안 모니터링의 운영 실패는 대개 일반적인 배경 발생률이 아니라, 분석가와 자동화된 파이프라인을 압도하는 에피소드적 급증(surges)에 의해 발생한다. 본 연구의 핵심 질문은 IDS 경보 도착의 단기적 시간 미세구조(temporal microstructure)가 운영 리스크를 유발하는 극단적인 고강도 체제로의 임박한 전이를 예측할 수 있는 정보를 포함하고 있는지 여부이다.

방법론
저자들은 이 문제를 금융 모델링에서 차용된 극단적 체제 예측(extreme-regime forecasting) 방법을 적용하여, IDS 경보 스트림을 시계열 예측 작업으로 재정의하여 접근한다.

1. 데이터셋 및 계층화:

   • 본 연구는 미국의 한 대규모 공립 대학교 네트워크에서 3개월 동안 수집된 2억 5,100만 개의 Suricata IDS 경보를 활용한다.
   • 이질성을 관리하기 위해, 경보는 심각도(Critical, High, Medium, Low, Unknown)에 따라 계층화되었다. 심각도는 프로토콜이나 MITRE ATT&CK 매핑에 비해 필드 완결성이 높고 시간적 행동이 안정적이기 때문에 최적의 축으로 선택되었다.
   • 원시 경보는 분당 카운트 시계열인 $N(t)$로 집계된다.

2. 특징 공학(Feature Engineering):
   저자들은 지수 이동 평균(EMA)을 통해 계산된 평활화된 경보 강도 $\lambda(t)$로부터 세 가지 해석 가능한 시간적 특징을 도출한다:

   • 강도 ($\lambda_t$): 평활화된 경보 도착률.
   • 단기 모멘텀 ($m_t$): 강도의 표준화된 1차 차분으로, 경보량의 방향성 변화(가속 또는 감속)를 포착한다.
   • 이동 변동성 ($v_t$): 이동 윈도우 내 모멘텀의 표준 편차로, 도착 프로세스의 국소적 불확실성 또는 불안정성을 측정한다.
   • 참고: 파라미터 기반 확률 과정(예: Hawkes process)을 사용하여 데이터를 모델링하려는 초기 시도는, 매우 미세한 시간 규모(1~2분)에서는 자기 흥분(self-excitation) 현상이 존재하지만, 운영 단위인 분(minute) 수준의 해상도에서는 감소한다는 것을 보여주었다. 이는 감독 학습 기반의 예측을 위한 특징 공학(engineered features)으로의 전환을 유도했다.

3. 예측 프레임워크:

   • 타겟 정의: 문제는 다음 30분 동안의 경보 강도가 강도 분포의 경험적 95백분위수($P_{95}$)를 초과할지 여부를 예측하는 이진 분류 작업으로 정식화된다. 이는 운영 리스크에 대한 VaR(Value-at-Risk)의 유사체 역할을 한다.
   • 모델: 특징 벡터 $(\lambda_t, m_t, v_t)$를 학습하기 위해 지도 학습 기반의 XGBoost(Gradient-Boosted Decision Trees) 분류기를 사용한다.
   • 검증: 시계열 데이터 누수(leakage)를 방지하기 위해 엄격한 연대순 분할(70% 훈련, 30% 테스트)을 사용한다. 훈련-테스트 경계 내의 데이터 포인트들을 제거하는 "퍼징(purging)" 단계를 거쳐 미래 정보가 훈련 세트를 오염시키지 않도록 보장한다.

주요 결과
모델은 모든 심각도 계층에서 강력한 예측 성능을 입증하며, 전체 작업에 대해 약 **91%의 정확도(accuracy), 로는 89%의 재현율(recall), 98%의 정밀도(precision)**를 달와한다.

• 특징 중요도 (Ablation Study):

  • **강도 ($\lambda_t$)**는 지배적인 예측 신호이다. 이를 제거하면 성능이 붕괴된다(예: 여러 계층에서 F1 점수가 0에 가깝게 하락).
  • 변동성과 모멘텀은 보완적이며 필수적이지는 않지만 유의미한 가치를 제공한다. 이들을 포함할 때 가장 큰 개선 효과가 나타나며, 특히 고심각도 계층에서 두드러진다(예: 강도만 사용했을 때보다 시간적 특징을 추가했을 때 "Critical" 계층의 F1 점수가 97% 개선됨).
  • 세 가지 특징의 조합을 통해 모델은 안정적인 배경 활동, "빌드업(buildup)" 단계(중간 정도의 변동성을 동반한 양의 모멘텀), 그리고 "서지(surge)" 이벤트(높은 변동성과 높은 모멘텀)를 구분할 수 있다.

• 시각화:
  저자들은 예측된 꼬리 위험 확률을 실시간 경보 강도 위에 오버레이하는 개념 증명(PoC) 시각화 도구를 개발하였다. 이 도구를 통해 운영자는 서로 다른 심각도 계층의 리스크 점수를 동시에 확인하고, 특정 공격 유형이 본격적인 서지가 발생하기 전에 어떻게 에스컬레이션되는지 식별할 수 있다.

의의 및 기여
본 논문은 침입 탐지 데이터에 **예측적 꼬리 조건 기대값(predictive tail conditional expectation)**을 적용한 첫 사례라고 주장한다. 주요 기여는 다음과 같다:

1. 시간적 리스크 측정: 정적인 경보 분류를 넘어, 경보 스트림의 시간 미세구조를 분석함으로써 위협 도착 리스크를 정량화하는 프레임워크를 구축하였다.
2. 운영적 조기 경보: 변동성, 모멘텀, 강도의 조합인 "빌드업 신호"가 경보 서지에 앞서 나타남을 입증함으로써, 사후 대응적 분류가 아닌 선제적 자원 계획(예: 분석가의 주의력 사전 배분)을 가능하게 한다.
3. 해석 가능성: 설계된 특징과 XGBoost를 사용함으로써, 변동성-모멘텀 평면에서 해석 가능한 결정 경계를 제공하여 방어자가 왜 경고가 트리거되었는지 이해할 수 있게 한다.

겸허한 태도 및 한계점
저자들은 이 결과를 확정적인 범용 조기 경보 시스템이라기보다 **개념 증명(proof-of-concept)**으로 명시적으로 규정한다. 저자들은 다음과 같은 몇 가지 한계를 인정한다:

• 본 연구는 단일 모델 제품군(XGBoost)과 단일 극단 이벤트 임계값(95백분위수)에 의존한다.
• 본 분석은 오직 물량적 리스크(경보 카운트)에 초점을 맞추고 있으며, 현재로서는 적대적 행위, 기술 전환 또는 계층 간 의존성을 통합하지 않는다.
• HMM(Hidden Markov Models) 및 GMM(Gaussian Mixture Models)을 사용한 초기 시도가 일반화에 실패했는데, 이는 IDS 스트림이 표준 파라미터 모델보다 더 유연한 시간적 클러스터링을 필요로 할 수 있음을 시사한다.
• 본 연구는 "보편적 전조 현상"을 식별한다고 주장하는 것이 아니라, 단순하고 해석 가능한 특징들이 가속화되는 공격 패턴을 높은 정확도로 구분할 수 있음을 보여주는 것이다.

결론적으로, 이 연구는 경보 피로 문제 전체를 해결하는 것은 아니지만, IDS 텔레메트리가 극단적인 고볼륨 체제로의 전이를 예측하기에 충분한 통계적으로 측정 가능한 단기적 시간 정보를 포함하고 있음을 검증한다.