기술 요약: 경량 IIoT 네트워크용 침입 탐지 모델의 교차 도메인 일반화 실패

문제 정의

경량 머신러닝 모델은 자원이 제한된 에지(edge) 배포에 적합하기 때문에 산업용 사물인터넷(IIoT) 네트워크를 위한 침입 탐지 시스템(IDS)으로 점점 더 많이 제안되고 있습니다. 기존 문헌은 이러한 모델들에 대해 높은 수준의 탐지 정확도를 보고하고 있으나, 이러한 평가는 거의 예외 없이 해당 모델이 학습에 사용된 것과 동일한 데이터셋 내(in-domain)에서만 수행됩니다. 이는 심각한 격차를 만듭니다: 즉, 서로 다른 장치 구성, 트래픽 패턴, 공격자 행동을 가진 미지의 산업 네트워크에 배치되었을 때도 이 모델들이 성능을 유지할 수 있는지 여부가 검증되지 않았다는 점입니다. 더욱이, 이전 연구들은 종종 인위적으로 균형 잡힌 클래스 분포에 의존하며, 데이터셋 특정적인 지름길(예: 원시 포트 번호)에 대한 의존성이나 제한된 적응을 통한 회복 능력과 같은 구체적인 실패 메커니즘을 테스트하는 데 실패했습니다.

방법론

본 연구는 이러한 격차를 해소하기 위해 체계적인 교차 데이터셋 평가를 수행합니다.

데이터셋 및 특징 공학(Feature Engineering):
저자들은 세 가지 서로 다른 IIoT/IoT 데이터셋을 활용하였습니다:

1. Edge-IIoTset: 소스(학습) 도메인으로 사용되었습니다.
2. Gotham 2025: 첫 번째 타겟 도메인(패킷 레벨 캡처)으로 사용되었습니다.
3. WUSTL-IIoT-2021: 두 번째 타겟 도메인(플로우 레벨 Argus 익스포트)으로 사용되었습니다.

구조적으로 상이한 이 소스들 간의 비교 가능성을 보장하기 위해, 세 데이터셋 모두에서 사용 가능한 특징들(소스/목적지 포트, 전송 프로토콜, 4개의 TCP 플래그 비트)만을 사용하여 최소한의 공통 스키마를 구축했습니다. 결정적으로, 원시 포트 번호는 사용되지 않았습니다. 대신, 포트는 네 가지의 거친 범주형 버킷(없음, 잘 알려진 포트, 등록된 포트, 동적 포트)으로 매핑된 후 원-핫 인코딩(one-hot encoding)되었습니다. 이 설계는 모델이 "원시 포트 암기"라는 알려진 지름길을 학습하는 것을 명시적으로 방지하고자 했습니다.

모델:
네 가지 대표적인 경량 아키텍처가 Edge-IIoTset 소스 도메인에서 학습되었으며, 재학습 없이 두 타겟 도메인에서 평가되었습니다:

1. DecisionTree: 깊이가 제한된 트리 (max_depth = 10).
2. SmallMLP: 3개 층의 피드포워드 신경망.
3. Small1DCNN: 컴팩트한 1D 합성곱 신경망.
4. SmallLSTM: 특징 벡터를 시퀀스로 취급하는 단일 레이어 LSTM.

평가 프로토콜:

• 교차 도메인 전이(Cross-Domain Transfer): 모델들은 재학습 없이(zero-shot 설정) 타겟 데이터셋에서 평가되었습니다.
• 클래스 분포: (이전 연구에서 흔히 쓰이는) 인위적으로 균형 잡힌 클래스 분포와 실제 배포 환경에서 나타나는 자연스러운, 심하게 양성(benign) 편향된 분포 모두에서 평가를 수행했습니다.
• 설명 가능성(Explainability): 특정 특징에 대한 의존도를 식별하기 위해 SHAP 값과 고유 특징 중요도(native feature importances)를 분석했습니다.
• 적대적 강건성(Adversarial Robustness): 회피 공격에 대한 취약성을 평가하기 위해 HopSkipJump 블랙박스 공격을 적용했습니다.
• 소량 학습 회복(Few-Shot Recovery): 모델의 성능 회복 능력을 평가하기 위해, 라벨링된 타겟 도메인 데이터의 소량 비율(0% ~ 25%)을 사용하여 파인튜닝(fine-tuning)을 수행했습니다.

주요 결과

1. 교차 도메인 성능의 붕괴
네 가지 아키텍처 모두 Edge-IIoTset에서 높은 인도메인(in-domain) F1 점수(~0.97)를 달성했습니다. 그러나 타겟 데이터셋에 적용했을 때 재학습 없이 성능이 급격히 무너졌습니다.

• Gotham의 경우, 자연스러운 클래스 분포 하에서 F1 점수가 0.18–0.28 범위로 떨어졌습니다.
• WUSTL-IIoT-2021의 경우, F1 점수가 0.09–0.13으로 더욱 하락했습니다.
• 어떤 모델도 외부 네트워크에 적용되었을 때 인도메인 F1 점수의 29% 이상을 유지하지 못했습니다.

2. 포트 버킷 지름길의 지속
설명 가능성 분석 결과, 원시 포트 번호를 제거했음에도 불구하고 모델들은 여전히 거친 포트 버킷 범주에 압도적으로 의존하고 있음이 드러났습니다.

• DecisionTree의 경우, 최상위 특징인 dst_port_none이 중요도의 상당 부분을 차지했습니다.
• 결정적 발견: 소스 도메인의 공격 트래픽에서 이 특정 포트 버킷이 나타나는 빈도는 Gotham의 공격 트래픽보다 96배 높았고, WUSTL-IIoT-2021보다 435배 높았습니다.
• 이는 특징 해상도를 낮추는 것이 지름길 의존성을 제거하는 것이 아니라, 지름길 의존성이 발생하는 위치를 옮길 뿐임을 확인시켜 줍니다. 모델들은 소스 도메인에서 특정 포트 버킷을 공격과 연관 짓도록 학습했으며, 이 상관관계는 타겟 도메인에서는 유효하지 않았습니다.

3. 클래스 분포가 평가에 미치는 영향
평가 프로토콜의 선택은 타겟 네트워크의 난이도를 인식하는 방식을 크게 변화시켰습니다.

• 균형 vs 자연 분포: 균형 잡힌 평가 하에서는 모델들이 더 나은 성능을 보이는 것처럼 나타났습니다 (예: WUSTL-IIoT-2021에서 F1 ~0.53). 자연스러운 분포 하에서는 성능이 붕괴되었습니다 (F1 ~0.13). 이는 대규모의 양성 트래픽에 맞서 정밀도(precision)가 급감했기 때문입니다.
• 난이도 역전: 균형 잡힌 평가는 WUSTL-IIoT-2021이 Gotham보다 일반화하기 더 쉽다고 시사했습니다. 반면 자연스러운 평가는 이를 뒤집어, WUSTL-IIoT-2021이 훨씬 더 어렵다는 것을 보여주었습니다. 이는 모델의 일반화 난이도에 대한 비교적 주장이 프로토콜에 따라 달라질 수 있음을 나타냅니다.

4. 아키텍처별 적응력
제한된 파인튜닝을 통한 성능 회복 능력은 아키텍처마다 달랐습니다:

• DecisionTree: 타겟 데이터의 25%를 사용할 때까지 개선이 없다가, 그 이후에 F1 점수가 거의 4배로 상승했습니다.
• SmallLSTM: 적은 양의 데이터(5%)만으로도 즉각적으로 개선되었으나, 데이터가 더 추가됨에 따라 성능이 오히려 하락했습니다.
• SmallMLP: 완만하고 점진적인 개선을 보였습니다.
• Small1DCNN: 어떤 데이터 비율에서도 개선되지 못했습니다.
  이는 적응력이 경량 모델의 일반적인 특성이 아니라, 특정 아키텍처의 속성임을 입증합니다.

5. 속성의 독립성
교차 도메인 일반화, 적대적 강건성, 그리고 계산 효율성은 서로 독립적인 축임이 밝혀졌습니다. 예를 들어, SmallLSTM은 Gotham에 대한 교차 도메인 전이 성능은 가장 좋았으나 적대적 공격에는 가장 취약했고, 반대로 DecisionTree는 강건하고 적응력이 좋았지만 성능 회복을 위해 더 많은 데이터를 필요로 했습니다.

의의 및 주장

본 논문은 경량 IIoT 침입 탐지를 평가하는 현재의 표준 방식—즉, 단일 데이터셋 조건 하에서의 높은 인도메인 정확도에 의존하는 방식—이 실제 배포 준비성을 평가하기에는 불충분하다고 주장합니다.

• 일반화 실패는 구조적 문제입니다: 강력한 인도메인 성능이 교차 네트워크 능력을 의미하지는 않습니다. 이러한 실패는 (원시 식별자를 제거하더라도) 특징 분포(특히 포트 버킷)에 대한 의존성에 의해 발생합니다.
• 평가 편향: 인위적으로 균형 잡힌 평가 프로토콜은 실제 세계의 성능을 과대평가하며, 타겟 네트워크의 난이도 순위를 오해하게 만들 수 있습니다.
• 적응력은 보편적이지 않습니다: 소량 학습을 통해 성능을 회복하는 능력은 아키텍처에 따라 다릅니다. 어떤 모델(DecisionTree 등)은 충분한 로컬 데이터를 통해 회복할 수 있는 반면, 다른 모델(Small1DCNN 등)은 그렇지 못합니다.
• 권고 사항: 저자들은 교차 네트워크 평가와 현실적인 불균형 클래스 분포 하에서의 평가가 경량 IIoT IDS 연구에서 선택적 확장이 아닌, 필수적인 표준 요구사항으로 취급되어야 한다고 결론짓습니다. 또한, 인도메인 정확도만으로는 배포 준비성을 추론할 수 없다고 경고합니다.