Network Dominance and the MITM Exception: A Modality-Aware Analysis of IIoT Intrusion Detection on the DataSense Benchmark

기술 요약: IIoT 침입 탐지에서의 네트워크 지배성과 MITM 예외성

문제 정의
산업용 사물인터넷(IIoT)은 핵심 인프라의 공격 표면을 확장하며, 이에 따라 강력한 자동화된 방어 체계가 필수적이다. DataSense와 같은 최근의 벤치마크 데이터셋은 교차 모달리티 침입 탐지 시스템(IDS)을 가능하게 하는 동기화된 네트워크 트래프 및 장치 텔레메트리(telemetry)를 제공한다. 그러나 문헌상에 만연한 가정은 이러한 모달리티들을 융합하는 것이 본질적으로 탐지 성능을 향상시킨다는 것이다. 하지만 각 모달리티(네트워크 대 텔레메트리)가 개별 공격 범주에 기여하는 바는 이러한 최신 동기화 벤치마크에서 경험적으로 검증된 바 없다. 기존 연구들은 종종 공격 유형별로 세분화하지 않은 채 총체적인 융합 성능만을 보고하거나, 엄격한 단일 모달리티 베이스라인과 비교하는 데 실패한다.

연구 방법론
본 연구는 DataSense 벤치마크를 사용하여 IIoT 침입 탐지에 대한 모달리티 인식 분석을 수행한다. 방법론은 다음 단계들로 구성된다:

• 데이터셋 분할: DataSense의 84개 사전 추출된 특징(feature)을 컬럼 접두사에 따라 두 가지 모달리티로 분할하였다: 데이터 누수(leakage)를 방지하기 위해 12개의 고카디널리티(high-cardinality) 문자열 컬럼을 제거한 후의 64개 네트워크 유도 특징과 7개의 텔레메트리(로그) 특징.
• 실험 설계: 세 가지 특징 구성을 구축하였다: 네트워크 전용, 텔레메트리 전용, 그리고 융합(결합) 모델. 이들은 네 가지 고전적 머신러닝 모델(Random Forest, XGBoost, LightGBM, RBF 커널을 사용한 Support Vector Machine)과 세 가지 분류 세밀도(이진 분류, 7개 클래스 분류, 84개 클래스의 미세 분류)에 대해 평가되었다. 결과적으로 36개의 실험 조건이 생성되었다.
• 평가 지표: 성능은 macro F1, 정확도(accuracy), 정밀도(precision), 재현율(recall), 그리고 추론 지연 시간(inference latency)을 사용하여 측정되었다.
• 모달리티 분석: 각 범주별 모달리티 기여도를 정량화하기 위해 "모달리티 관측 가능성 지도(modality observability map)"를 개발하였다. 여기에는 "모달리티 리프트(modality lift)"(최적의 단일 모달리티 대비 융합의 한계 이득) 계산과 각 클래스에 대한 "지배적 모달리티(dominant modality)" 식별이 포함되었다.
• 설명 가능성: 융합 모델에 SHAP(SHapley Additive exPlanations) 귀속(attribution)을 적용하여, 각 공격 범주에 대해 네트워크 특징과 텔레메트리 특징이 설명적 가중치를 어느 정도의 비율로 운반하는지 결정하였다.
• 민감도 분석: 1초 및 10초 시간 윈도우에서 이진 분류 작업을 재현함으로써 견고성을 검증하였다.

주요 결과
본 연구는 이 맥락에서 다중 모달 융합의 효용성에 관한 몇 가지 반직관적인 발견을 제시한다:

1. 네트워크 지배성: 네트워크 채널 단독으로도 DataSense에서 침입 탐지에 거의 충분하다. 네트워크 전용 특징으로 학습된 XGBoost는 이진 탐지에서 0.9890, 7개 클래스 작업에서 0.9819의 macro F1을 달{%}성했다. 이 결과들은 모든 범주에서 융합 구성과 0.6 퍼센트 포인트 이내의 차이를 보였다.
2. 텔레메트리 무효성: 텔레메트리 전용 구성은 작업에 따라 0.06에서 0.61 사이의 macro F1 점수를 기록하며 상당히 낮은 성능을 보였다.
3. 미미한 융합 리프트: 7개 공격 범주 중 6개(Reconnaissance, DDoS, DoS, Malware, Brute Force, Web)에서 텔레메트리를 네트워크 데이터와 융합했을 때의 모달리티 리프트는 사실상 제로였다. "Web" 범주는 0.0059(0.6 퍼센트 포인트)의 미미한 리프트를 보였다.
4. MITM 예외성: Man-in-the-Middle(MITM) 범주가 유일한 예외였다. SHAP 분석 결과, MITM 탐지에 있어 텔레메트리 특징이 약 10%의 설명적 가중치를 기여한 반면, 다른 모든 범주에서는 1% 미만이었다. 그럼에도 불구하고, 네트워크 전용 모델은 여전히 높은 F1(0.9798)을 달성했다는 점에서, 텔레메트리 기여는 정보력이 있었으나 전체적인 정확도를 달성하는 데 있어서는 중복적이었다.
5. 시간적 견고성: 네트워크 채널의 지배성은 1초 및 10초 윈도우의 세밀도 모두에서 유효했으나, 모든 구성에서 더 미세한 1초 세밀도에서 성능이 약간 저하되었다.
6. 특징 중요도: SHAP 귀속은 패킷 간 타이밍 통계 및 패킷 수 통계(네트워크 특징)가 가장 영향력 있는 상위 15개 특징을 지배함을 확인했다.

의의 및 주장
본 논문은 DataSense 벤치마크에 대한 최초의 범주별 모달리티 인식 분석을 제공하며, 교차 모달 융합이 보편적으로 유익하다는 가정에 이의를 제기한다고 주장한다.

• 실무적 시사점: 현재의 방식으로 설계된 DataSense의 텔레메트리 특징은 MITM 클래스 공격을 구별할 때를 제외하고는 네트워크 채널에 비해 추가적인 가치를 거의 제공하지 못하므로, 비용 제약이 있는 IIoT 모니터링에 적합하다. 운영자는 이질적인 장치 텔레메트리를 수집하고 처리하는 운영 복잡성과 비용을 피하면서 네트워크 계층 모니터링만으로도 최적에 가까운 탐지를 달성할 수 있다.
• 벤치마크 설계: 본 결과는 현재 텔레메트리 특징의 집계 수준(예: 메시지 수 및 범위)이 상호 보완적인 신호를 포착하기에는 너무 거칠 수 있음을 시사한다. 향후 벤치마크는 교차 모달리티 전제를 제대로 테스트하기 위해 더 미세한 텔레메트리(예: 원시 센서 시계열 데이터)를 노출해야 할 수도 있다.
• 방법론적 기여: 본 연구는 융합 가정을 당연하게 받아들이는 대신, 그 경험적 타당성을 테스트하기 위한 엄격한 프레임워크와 "모달리티 관측 가능성 지도"를 도입한다.

저자들은 다중 모달 융합이 유효한 연구 방향이기는 하지만, DataSense에서의 구체적인 구현은 네트워크 신호에 의해 지배되며, 융합이 모든 공격 범주에서 균일하게 탐지를 개선한다는 가정은 범주별 경험적 테스트 없이는 성립하지 않는다고 결론짓는다.