기술 요약: 결정 규칙(Decision Rule)으로부터 독립적인 CPS 이상 탐지기 평가

1. 문제 정의

사이버 물리 시스템(CPS)은 센서 및 액추에이터 텔레메트리에 대한 적대적 조작에 맞서는 최후의 방어선으로서 이상 탐지기에 의존한다. 그러나 이러한 탐지기를 평가하는 표준 방식은 다음의 두 가지 구별되는 구성 요소를 혼재시키기 때문에 결함이 있다:

1. 1단계 (표현, Representation): 관측치를 잔차 신호(예: 예측 오차, 재구성 오차 또는 불변성 위반)로 매핑하는 과정으로, 관측된 행동과 기대되는 정상 행동 사이의 격차를 나타낸다.
2. 2단계 (결정 규칙, Decision Rule): 임계값, 평활화(smoothing) 또는 순차적 검정(예: CUSUM)을 통해 잔차를 이진 알람으로 매핑하는 과정이다.

현재의 벤치마크는 일반적으로 단일 동작 지점(operating point)에서 정밀도(precision), 재현율(recall), F1 점수를 보고한다. 이러한 지표들은 잔차 표현의 품질과 결정 규칙의 보정(calibration)을 혼합하여 보여준다. 결과적으로, 낮은 F1 점수는 미탐지된 공격이 다음 중 무엇 때문인지 구분할 수 없게 만든다:

• 약한 잔차 증거 (공격이 모델에 의해 보이지 않음).
• 훈련-테스트 드리프트 (훈련 시의 정상 분포가 테스트 시에 변화함).
• 차원 희석 (모든 채널에 걸쳐 증거를 통합할 때 국소적 공격이 가려짐).
• 부적절한 임계값 보정 (증거는 존재하지만 알람 규칙이 이를 추출하지 못함).

이 문제는 서로 다른 잔차 공간을 가지며 독립적으로 튜닝된 결정 규칙과 결합된 이질적인 탐지기들(예: 그래프 예측기 vs 불변성 검사기)을 비교할 때 더욱 심화된다.

2. 방법론

저자들은 CPS 이상 탐지기를 2단계 파이프라인으로 취급하고 1단계를 직접 평가하는 **결정 규칙 독립적 평가 프레임워크(decision-rule-free evaluation framework)**를 제안한다.

2단계 분해

• 1단계 ($\phi$): 관측 윈도우를 잔차 벡터 $r_t$로 매핑한다.
• 2단계 ($\pi$): 잔차를 알람 $a_t$로 매핑한다.
  본 프레임워크는 알람 규칙이 적용되기 전에 $\phi$를 분리하여 평가한다.

잔차 정보-에너지 프레임워크

핵심 지표는 정규화된 잔차 에너지(Normalized Residual Energy) ($e_t$)이며, 이는 훈련된 정상 참조 모델로부터의 잔차의 마할라노비스 거리(Mahalanobis distance)를 1/2로 스케일링하여 정의된다:
$$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$$
여기서 $\mu_0$와 $S_0$는 공격이 없는 훈련 데이터로부터 추정된 잔차 분포의 평균과 공분산이다.

이론적 기초:
모멘트 매칭된 가우시안 관점에서, 이 에너지의 기댓값은 테스트 분포와 훈련-정상 참조 간의 쿨백-라이블러(KL) 발산과 정확한 연결 고리를 갖는다. 구체적으로:
$$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$$
이 항등식을 통해 에너지 스케일은 다음을 동시에 측정할 수 있다:

1. 공격 분리도 (Attack Separation): 공격이 정상 상태로부터 얼마나 잘 분리되는가.
2. 훈련-테스트 드리프트 (Train-Test Drift): 정상 분포가 얼마나 이동했는가.
3. 잔차 공간 구조 (Residual Space Structure): 표현의 압축성(compactness).

평가 지표

프레임워크는 에너지 스트림으로부터 다음과 같은 진단 지표들을 도출한다:

• 순위 지표 (Rank Metrics): 점 단위의 분리도를 측정하기 위한 ROC-AUC 및 pAUC@1% (낮은 오경보율에 집중).
• 공격 윈도우 에너지 (Attack-Window Energy): 통합된 KL 추정치($D_{FULL}$) 및 공격 윈도우가 동일한 기간의 정상 윈도우보다 우세할 확률($P_{FULL}$).
• 드리프트 진단 (Drift Diagnostics): 공격 신호와 정상 분포의 이동을 구분하기 위한 훈련-테스트 드리프트($D_{drift}$) 및 드리프트 교정 증거($D_{eff}$).
• 압축성 (Compactness): 유효 차원($p_{eff}$)과 명목 차원($p$)의 비율로, 잔차 공간이 얼마나 활용되는지를 나타냄.
• 제어된 2단계 프로브 (Controlled Stage-2 Probe): 공유된 규칙이 얼마나 많은 증거를 추출할 수 있는지 확인하기 위해 훈련-정상 에너지의 99 백분위수에서의 고정 임계값($F1@p99$)을 사용하며, 이는 주요 순위 지표가 아닌 프로브로만 사용된다.

3. 실험 설정

프레임워크는 개별 탐지기 튜닝 없이 5개의 탐지기를 3개의 CPS 벤치마크에 일관되게 적용되었다:

• 탐지기: GDN, FuSAGNet, TranAD (그래프/트랜스포머 예측기), NSIBF (관측기 기반), GeCo (대수적 불변성).
• 벤치마크: SWaT (수처리), WADI (대규모 용수 배분), HAI (전력/보일러).
• 프로토콜: 탐지기들은 공격이 없는 데이터로 훈련되었으며, 라벨링된 공격 트레이스에 대해 평가되었다. 평가는 정상 참조를 추정하기 위한 고정 프로토콜(Ledoit–Wolf 축소 공분산)과 에너지 지표 계산을 사용하였다.

4. 주요 결과 및 발견

연구는 탐지 실패의 본질에 관한 4가지 진단적 연구 질문(RQ)에 답한다:

RQ1: 알람 규칙 이전에 공격 증거가 존재하는가?

• 발견: 유사한 ROC-AUC 값은 자칫 수 자릿수 차이가 나는 알람 성능을 은폐할 수 있다. 예를 들어, SWaT에서 TranAD는 ROC-AUC가 0.750이었으나 $F1@p99$는 0.025에 불과했던 반면, 유사한 ROC-AUC를 가진 다른 탐지기들은 훨씬 높은 F1을 달了했다. 이는 잔차 표현이 순위 정보를 포함하고 있었지만, 저오경보 영역에서의 분리도가 약했음을 의미한다.

RQ2: 정상 잔차 참조는 안정적인가?

• 발견: 훈련-테스트 드리프트는 실패의 주요 원인이다. 유사한 공격 순위를 보이는 탐지기들도 드리프트 값은 판이하게 달랐다. 예컨대 SWaT에서 GDN은 거대한 드리프트($1.9 \times 10^5$)를 보인 반면, NSIBF는 최소한의 드리프트($6.2 \times 10^2$)를 보였다. 높은 드리프트는 고정 임계값의 여유를 줄여, 모델이 "정확함"에도 불구하고 알람이 누락되는 현상을 설명한다.

RQ3: 증거가 잔차 공간에 표현되어 있는가, 아니면 희석되었는가?

• 발견: 잔차 공간의 선택이 어떤 공격을 포착할지를 결정한다. WADI에서 국소적 공격은 전체 관측량을 사용하는 탐지기들에 의해는 놓쳐졌으나, 센서 혁신(sensor-innovation) 하위 공간을 점수화하는 NSIBF에 의해서는 성공적으로 탐지되었다. 모든 채널의 증거를 통합하는 과정에서 국소적 신호가 희석된 것이다. 이는 왜 벤치마크에 따라 순위가 바뀌는지 설명한다. NSIBF는 WADI에서 1위를 했으나 HAI에서는 최하위를 기록했고, TranAD는 HAI에서 1위였으나 SWaT에서는 최하위를 기록했다.

RQ4: 2단계 규칙이 가용 증거를 추출하는가?

• 발견: 제어된 2단계 프로브를 통해 유사한 미탐지 사례가 서로 다른 원인에서 비롯될 수 있음을 밝혔다. 어떤 실패는 약한 잔차 증거(공격이 잔차를 거의 변화시키지 못함) 때문이었고, 어떤 것은 드리프트가 지배적인 증거(공격 에너지 < 드리프트) 때문이었으며, 또 다른 경우는 임계값 추출 실패(증거는 존재하나 고정 임계값이 이를 놓침) 때문이었다.

5. 의의 및 기여

본 논문은 네 가지 주요 기여를 주장한다:

1. 결정 규칙 독립적 평가 대상의 공식화: 알람 규칙과 별개로 1단계 잔차 표현을 평가함으로써, 임계값 설정이나 평활화 이전에 공격 증거가 실제로 존재하는지를 질문할 수 있게 한다.
2. 잔차 정보-에너지 스케일 도입: KL-발산 해석이 가능한 정규화된 잔차 에너지 지표를 도입하여, 서로 다른 잔차 공간을 가진 이질적인 탐지기들(그래프, 트랜스포머, 관측기, 불변성 기반)을 공통된 척도로 비교할 수 있게 한다.
3. 실패 원인 진단 도구 제공: 특정 실패 모드(약한 증거, 참조 불안정성, 차원 희석, 2단계 보정 실패)를 구분할 수 있는 일련의 지표를 제공한다. 이는 단순한 리더보드 숫자를 넘어 진단 도구로서의 역할을 한다.
4. 균일한 교차 탐지기 연구: 탐지기의 순위가 테스트베드 간에 신뢰할 수 있게 전이되지 않으며, 유사한 알람 수준의 실패라도 근본 원인(예: 표현 재설계 vs 참조 안정화)은 다를 수 있음을 입증한다.

결론:
저자들은 CPS에서의 탐지 실패는 다면적이라고 주장한다. 제안된 프레임워크는 잔차 표현과 결정 규칙을 분리함으로써, "탐지 실패"가 단일한 개념이 아님을 드러낸다. 이는 모델이 공격을 보지 못하는 능력, 정상 베이스라인의 불안정성, 고차원 공간에서의 신호 희석, 또는 알람 정책의 최적화되지 않은 증거 추출 등 다양한 원인에서 기인할 수 있다. 이러한 접근 방식은 단순히 임계값을 튜닝하는 것을 넘어, 국소적 공격을 위한 표현 재설계나 드리프트에 대한 참조 안정화와 같이 더 목표 지향적인 개선을 가능하게 한다.