기술 요약: CALIBURN: 운영 보정 스트리밍 침입 탐지를 위한 레짐 민감도 연구

1. 문제 제기

실무 환경의 네트워크 침입 탐지 시스템 (NIDS) 은 통계적 이상 점수와 운영상 경고 요구 사항 사이의 만성적인 간극에 직면해 있습니다. 현재의 학술적 방법들은 일반적으로 임계값 선택을 사후 조정 문제로 취급하며, 실제 보안 운영 센터 (SOC) 에서 종종 이용 불가능하거나 지연되거나 희소한 검증 레이블을 기반으로 F1 또는 AUC-ROC 와 같은 지표를 최적화합니다.

운영자는 배포 전에 운영 입력을 사용하여 경고 행동을 정의해야 합니다. 이는 위음성 (false negatives) 과 위양성 (false positives) 의 상대적 비용과 유한한 경고 예산 (예: 서비스 수준 목표에서 유도된) 을 포함합니다. 또한, 스트리밍 탐지기는 유한한 메모리 내에서 흐름을 지속적으로 처리해야 하지만, 대부분의 기존 스트리밍 이상 탐지 방법은 점수를 실행 가능한 경고로 변환하는 문제를 별도의 휴리스틱 문제로 남겨둡니다. 본 논문은 레이블 의존적 탐색이 아닌 운영자가 지정한 비용과 예산에서 직접 임계값을 도출하는 운영적으로 보정된 스트리밍 파이프라인의 필요성을 해결합니다.

2. 방법론: CALIBURN 파이프라인

CALIBURN 은 통계적 점수 매기기, 운영적 의사결정, 경고 에스컬레이션을 분리하도록 설계된 5 가지 구성 요소의 스트리밍 경고 파이프라인입니다. 이는 보편적인 해결책이 아니라 다양한 공격 발생률에 걸친 성능을 평가하는 레짐 민감도 연구로 제시됩니다.

핵심 구성 요소

1. 단순화된 베이지안 온라인 변화점 탐지 (Truncated Bayesian Online Change-Point Detection, BOCPD):

   • 기능: 네트워크 흐름을 순차적으로 처리하여 확률적 이상 점수 $s_t = P(r_t = 0 | x_{1:t})$를 생성합니다. 이는 현재 흐름이 새로운 레짐 (런-길이 재설정) 을 시작할 사후 확률을 나타냅니다.
   • 제약 조건: 유한한 업데이트 비용과 상수 메모리를 보장하기 위해 잘린 런-길이 근사 (최대 길이 $L$) 를 사용합니다. 이는 연속적인 스트리밍에 적합합니다.
   • 모델: 온라인 충분 통계량 업데이트를 사용하는 가우시안 관측 모델을 적용합니다.

2. 등적 보정 계층 (Isotonic Calibration Layer):

   • 기능: 원시 BOCPD 점수 $s_t$(레짐 전환 확률) 를 경험적 조건부 공격 확률 $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$로 매핑합니다.
   • 방법: 검증 분할에서 등적 회귀 (Pool-Adjacent-Violators 알고리즘) 를 사용하여 단조 보정 맵을 적합시킵니다.
   • 근거: 원시 BOCPD 점수는 직접적인 공격 확률이 아닙니다. 보정은 사용 가능한 레이블을 사용하여 "레짐 전환"과 "공격" 사이의 간극을 연결합니다.

3. 비용 민감 의사결정 임계값:

   • 기능: 운영자가 지정한 오분류 비용을 기반으로 의사결정 임계값 $\tau^*$를 도출합니다.
   • 공식: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$이며, 여기서 $C_{FP}$와 $C_{FN}$은 각각 위양성과 위음성의 비용입니다.
   • 구별: 이 임계값은 검증 세트 최적화가 아닌 비용 비율에서 도출됩니다.

4. 준수 위험 제어 (Conformal Risk Control, CRC) 래퍼:

   • 기능: 운영자가 지정한 경고 예산 $\alpha$(예: 최대 위양성률) 를 검증 및 테스트 음성 간의 교환성 가정을 하에서 유효한 임계값 $\hat{\tau}_\alpha$로 변환합니다.
   • 보장: 위양성률에 대한 주변 기대값 상한을 제공합니다: $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$.
   • 메커니즘: 검증 음성에서의 경험적 FPR 에 여유 항 $1/(n_0+1)$을 더한 값이 $\alpha$ 미만으로 유지되도록 하한 임계값 $\tau$를 선택합니다.

5. 다중 창 버닝 레이트 경고 (Multi-Window Burn-Rate Alerting):

   • 기능: 사이트 신뢰성 엔지니어링 (SRE) 관행에서 적응된 에스컬레이션 계층입니다.
   • 논리: 임계값 초과를 경고로 변환하는 것은 짝을 이룬 짧은 및 긴 시간 창에서 "버닝 레이트"(경고 예산의 소모) 가 임계값을 초과할 때만 수행됩니다. 이는 일시적인 노이즈를 필터링하면서 지속된 이상을 에스컬레이션합니다.

3. 주요 기여

본 논문은 일관된 우위를 주장하기보다는 파이프라인의 운영 범위와 한계를 매핑하는 것을 기여로 제시합니다:

1. 레짐 민감도 매핑: 이 연구는 세 가지 서로 다른 공격 발생률 레짐에 걸쳐 파이프라인을 평가합니다:

   • 희귀 (LITNET-2020, 약 5.2%): CALIBURN 이 탁월합니다.
   • 중간 (CICIDS2017, 약 22.06%): CALIBURN 은 여전히 가장 강력한 스트리밍 방법이지만, 배치 밀도 방법에는 미치지 못합니다.
   • 높음 (UNSW-NB15, 약 64%): 모든 스트리밍 방법 (CALIBURN 포함) 은 기저율 역전으로 인해 무작위 수준으로 성능이 저하됩니다.

2. CRC 붕괴 메커니즘 식별: 저자들은 작은 경고 예산 $\alpha$에서 준수 위험 제어 (CRC) 가 실패할 수 있는 두 가지 메커니즘을 식별하고 정량화합니다:

   • 이론적 초과: 상한 $2B/(n_0+1)$로 인해 절차가 목표 $\alpha$를 초과할 수 있습니다.
   • 경험적 밀도 실패: 검증 음성 점수의 분포가 후보 임계값 아래에 집중되어 있을 때, 절차는 상한을 공허하게 만족시키기 위해 0 개의 경고를 생성하는 임계값 (퇴화) 을 선택할 수 있습니다.

3. 명시적 보정 분석: 본 논문은 등적 보정이 원시 BOCPD 사후 확률에 비해 브라이어 점수를 크게 감소시킨다는 것을 보여줍니다 (데이터셋 전반에 걸쳐 30~63% 감소). 이는 레짐 전환 점수를 조건부 공격 확률로 매핑하는 필요성을 검증합니다.

4. UNSW-NB15 특성 인공물 제거 분석: 저자들은 UNSW-NB15 에서 스트리밍 방법의 붕괴가 인공 TTL 특성 인공물에 의해 발생한다는 가설을 테스트합니다. 이러한 특성을 제거하면 성능이 저하되지 않고 오히려 약간 향상됩니다. 이는 붕괴가 제거 가능한 특성 누출의 인공물이 아니라 높은 발생률 (기저율 역전) 하의 스트리밍 탐지에 고유한 것임을 확인합니다.

5. 운영 지침: 본 논문은 CALIBURN 이 적합한 구체적인 조건을 명시합니다:

   • 공격 발생률 < 약 25%.
   • 경고 예산 $\alpha$가 이론적 초과 상한 $2B/(n_0+1)$보다 충분히 큼.
   • 보정 분포가 배포 스트림과 대략적으로 교환 가능함.

4. 실험 결과

데이터셋 및 베이스라인

• 데이터셋: LITNET-2020(공격률 5.2%), CICIDS2017(공격률 22.06%, 수정된 버전), UNSW-NB15(공격률 64%).
• 베이스라인: 다섯 가지 스트리밍 방법 (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) 과 세 가지 배치 참조 (LOF, ECOD, COPOD).

레짐별 성능

• 희귀 공격 레짐 (LITNET-2020):

  • CALIBURN 은 AUC-PR 0.943을 달성했습니다.
  • 가장 우수한 스트리밍 베이스라인 (LODA) 보다 2.21 배, 가장 우수한 배치 참조 (ECOD) 보다 4.12 배 더 나은 성능을 보였습니다.
  • 비용 민감 트레이드오프를 반영하여 높은 정밀도 (0.976) 와 중간 정도의 재현율 (0.451) 을 달성했습니다.
  • 등적 보정은 브라이어 점수를 30% 감소시켰습니다.

• 중간 발생률 레짐 (CICIDS2017):

  • CALIBURN 은 AUC-PR 0.545를 달성하여 여전히 가장 강력한 스트리밍 방법이었습니다.
  • 그러나 배치 방법인 LOF(AUC-PR 0.863) 에는 미치지 못했습니다.
  • 저자들은 이를 스트리밍 참조 분포가 더 많은 공격량에 의해 오염되었기 때문으로 보며, 배치 방법은 전체 훈련 세트를 사용하여 이를 피합니다.

• 높은 발생률 레짐 (UNSW-NB15):

  • CALIBURN 은 AUC-PR 0.653을 달성했는데, 이는 발생률 바닥 (0.676) 과 구별되지 않습니다.
  • 모든 스트리밍 방법은 무작위 순위 수준으로 붕괴되었습니다 (AUC-ROC 약 0.5).
  • 배치 방법 (LOF, ECOD) 은 더 잘 수행되었지만, 이는 "정상" 기준이 더 이상 선량하지 않은 환경이었습니다.

제거 분석 결과

• 희귀 공격 레짐에서 전체 파이프라인 (V1) 은 높은 위양성률 (9.6%) 을 겪었던 "스트로맨" 변형 (V4: 원시 점수 + 비용 임계값) 보다 훨씬 더 나은 성능을 발휘했습니다.
• 높은 발생률 레짐에서 전체 파이프라인 (V1) 은 CRC 제약으로 인해 종종 0 개의 경고로 퇴화하는 반면, 원시 점수 변형 (V4) 은 더 실용적 (정밀도는 낮음) 인 결과를 생성합니다.

5. 중요성 및 주장

본 논문은 CALIBURN 이 모든 침입 탐지 방법을 대체하는 보편적인 해결책이 아니라고 겸손하게 주장합니다. 그 중요성은 다음과 같습니다:

1. 운영 정렬: 경고 임계값이 사후 레이블 조정이 아닌 운영자가 지정한 비용과 예산에서 도출되는 프레임워크를 제공합니다. 이는 배포 전 시스템이 설명 가능하고 방어 가능하게 만듭니다.
2. 레짐 인식: "희귀 공격" 레짐을 스트리밍, 비용 민감, 보정된 탐지를 위한 최적의 지점으로 명시적으로 식별합니다. 공격 발생률이 기저율을 역전시킬 때 (즉, 공격이 다수가 될 때) 스트리밍 방법이 구조적으로 제한된다는 것을 실무자에게 경고합니다.
3. 실무 지침: CRC 초과 상한에 대한 경고 예산 $\alpha$를 확인하고, CRC 가 0 개의 경고를 생성하는 "경험적 밀도 실패" 모드를 모니터링하는 것과 같은 구체적인 배포 점검을 제공합니다.

저자들은 CALIBURN 이 공격이 드물고 분석가 역량이 유한하며 경고 정책이 데이터셋별 조정이 아닌 운영 제약에 의해 정의되어야 하는 보안 운영 센터 (SOC) 에 가장 적합하다고 결론지었습니다. 향후 작업으로는 개념 드리프트를 처리하고 적응적 비용 비율 추정을 위한 온라인 재보정이 제안됩니다.