Between Zeros and Ones: Behavioral Characterization Beyond Binary Labeling Across Public ICS Datasets

기술 요약: 0과 1 사이에서: 공개 ICS 데이터셋 전반의 이진 레이블링을 넘어선 행동 특성 규명

문제 정의
현재 산업 제어 시스템(ICS)을 위한 침입 탐지 시스템(IDS)은 SWaT, WADI, HAI와 같은 공개 벤치마크에 크게 의존하고 있다. 이러한 데이터셋들은 일반적으로 이진 레이블("정상" 대 "공격")과 정밀도(precision), 재현율(recall), F1-스코어와 같은 집계된 지표를 사용하여 평가된다. 이러한 관행은 "공격" 클래스가 균질하다는 것을 암묵적으로 가정한다. 그러나 사이버-물리 공격은 점진적인 센서 드리프트(drift), 급격한 스파이크(spike), 고정된 텔레메트리(frozen telemetry), 진동하는 제어 루프(oscillatory control loops), 강제된 액추에이터 전환과 같이 다양한 시간적 행동을 통해 나타난다. 이진 레이블링은 이러한 질적으로 다른 긴급성을 하나의 신호로 붕괴시키며, 이는 행동적 다양성을 은폐하고 차별화된 운영자 대응(예: 즉각적인 안전 차단 vs 장기적인 재교정)에 필요한 구체성을 제공하지 못할 수 있다. 더욱이, 기존의 평가는 특정 벤치마크가 특정 공격 형태를 과대표하거나 다른 형태를 과소대표하는 데이터셋 편향을 간과하는 경우가 많다.

방법론
저자들은 공격자의 의도나 의미론적 공격 유형을 추론하지 않고, 다섯 가지 해석 가능한 물리적 프리미티브(primitives)를 사용하여 ICS 공격 궤적을 특성화하는 순수 관찰 및 탐색적 프레임워크를 제안한다. 방법론은 네 단계로 진행된다:

1. 전처리 및 윈도잉(Preprocessing and Windowing): 다변량 ICS 궤적(연속형 센서 및 이산형 액추에이터)은 변수 간의 동등한 기여를 보장하기 위해 정상 운영 데이터를 기반으로 한 z-score 정규화를 사용하여 정규화된다. 데이터는 중첩되는 시간 윈도우(60개 샘플, 50% 중첩)로 분할된다. 윈도우 내 구성 샘플의 최소 50%가 그라운드 트루스(ground truth)에서 공격으로 레이블링된 경우 해당 윈도우를 "공격"으로 레이블링한다.
2. 행동 프리미티브 추출(Behavioral Primitive Extraction): 각 윈도우에 대해, 기초적인 시계열 통계에 기반한 다섯 가지의 가볍고 계산 비용이 적은 프리미티브를 계산한다:
   • 드리프트(Drift): 지속적인 단조 증가/감소 편차 (선형 기울기 크기 $\times$ 회귀 적합 품질).
   • 스파이크(Spike): 급격한 과도 변화 (최대 절대 1차 시간 차분).
   • 진동(Oscillation): 반복적인 방향 전환 (1차 미분의 부호 변화 빈도를 정규화).
   • 반복(Repetition): 반복되는 시간적 패턴 (제한된 지연 구간에서의 최대 자기상관).
   • 스위칭(Switching): 과도한 이산 상태 전이 (액추에이터 신호의 상태 변화 횟수).
3. 특징 벡터 구축(Feature Vector Construction): 고립된 노이즈에 의해 왜곡되지 않도록, 모든 프로세스 변수에 대한 프리미티브 점수를 95 백분위수 연산자를 사용하여 집계함으로써 하나의 5차원 특징 벡터를 생성한다.
4. 지배적 속성 할당(Dominant Property Assignment): 시각화 및 거친 분석을 위해, 각 윈도우는 임계값($\tau = 0.30$)을 초과하는 가장 높은 정규화된 프리미티브 활성화 값을 기준으로 단일 "지배적" 행동 속성을 할당받는다.

주요 기여

• 행동 특성 규명 프레임워크: 원시 다변량 프로세스 궤적을 다섯 가지 해석 가능한 시간적 프리미티브로 매핑하여, 이진 레이블에 의해 숨겨진 행동적 다양성을 드러내는, 휴대 가능하고 도메인 불가지론적인 방법론을 제공한다.
• 데이터셋 편향 분석: SWaT, WADI, HAI가 서로 다른 행동 공간 영역을 점유하고 있음을 실증적으로 보여줌으로써, 특정 데이터셋으로 벤치마킹하는 것이 특정 행동 프로파일을 강조하는 동시에 다른 프로파일을 과소대표할 수 있음을 입증한다.
• 평가에 대한 시사점: 집계된 이진 지표가 다양한 행동 프록시(proxies)에 따른 성능 변화를 가릴 수 있음을 보여주는 비교 분석을 수행한다. 저자들은 표준 이진 벤치마킹을 보완하기 위해 행동 계층화 평가(behavior-stratified evaluation) 방식을 도입한다.

결과
프레임워크는 SWaT, WADI, HAI에 적용되어 네 가지 연구 질문(RQ)을 다루었다:

• RQ1 (행동 변화): 공격 윈도우는 정상 운영과 비교하여 측정 가능한 행동 변화를 보이지만, 그 변화의 성격은 데이터셋에 따라 다르다. 예를 들어, HAI 공격은 드리프트와 스파이크의 유의미한 증가를 보이는 반면, SWaT 공격은 진동의 증가와 반복성 감소를 특징으로 한다.
• RQ2 (데이터셋 차이): 데이터셋들은 행동 공간을 서로 다르게 채운다. HAI는 스파이크와 드리프트가 지배적이며, WADI는 반복성이 특징이고, SWaT는 진동과 "텔레메트리 고정(frozen-telemetry)" 행동으로 정의된다.
• RQ3 (데이터셋 내 다양성): 단일 데이터셋 내에서도 공격 이벤트는 균질하지 않다. 공격 윈도우는 종종 공존하는 행동(예: HAI에서의 동시 스파이크 및 드리프트)을 나타내며, 이진 레이블은 이를 하나의 클래스로 붕괴시킨다.
• RQ4 (평가 영향): Random Forest 베이스라인을 사용한 결과, 저자들은 이진 분류가 높은 매크로 F1 점수(예: SWaT에서 85.44%)를 생성하지만, 과업이 행동 프록시에 기반한 다중 클래스 분류로 재구성될 때 성능이 크게 하락함(SWaT에서 37.84%로 하락)을 발견했다. 이는 모델이 "이상 징식"은 탐지할 수 있을지라도, 서로 다른 유형의 행동적 발현을 균일하게 구별하는 데는 어려움을 겪고 있음을 시사한다.

의의 및 주장
본 논문은 이진 탐지가 필수적인 첫 단계이지만, 견고한 ICS 보안 평가를 위해서는 불충분하다고 주장한다. 저자들은 이진 평가가 탐지 실패 자체를 숨긴다고 주장하는 것이 아니라, 성능이 어떻게 다양한 행동적 발현에 따라 달라지는지를 가린다고 주장한다. 행동 계층화 평가를 통해 전통적인 이진 벤치마킹을 보완함으로써, 본 프레임워크는 다음을 목표로 한다:

1. 집계된 점수가 숨기고 있는 "사각지대(blind spots)"를 노출한다.
2. 교차 데이터셋 편향과 데이터셋 내 다양성을 밝혀낸다.
3. 행동적 구체성을 제공함으로써 표적화된 사고 대응을 더 잘 지원한다.

저자들은 이 연구를 행동적 다양성을 이해하기 위한 "휴대 가능한 첫 단계"로 위치시키며, 이 프레임워크가 의미론적 공격 분류 체계나 공격자의 의도를 추론하는 것이 아니라 관찰 가능한 시간적 형태를 설명한다는 점을 강조한다. 저자들은 물리적 변수에 영향을 주지 않는 순수 사이버 공격을 포착할 수 없다는 점과 단일 레이블 할당이 혼합된 행동을 가릴 수 있다는 한계를 인정한다. 향후 연구로는 행동 어휘의 확장, 다중 레이블 표현으로의 이동, 그리고 이러한 특성화를 운영 트리아지(triage) 및 사고 대응 워크플로우에 통합하는 것을 제안한다.