기술 요약: TITAN – 3계층 침입 탐지 트리 기반 적응형 네트워크 (Three-Tier Intrusion-Detection Tree-Based Adaptive Network)

1. 문제 정의

본 논문은 산업용 사물인터넷(IIoT) 침입 탐지를 위한 연합 학습(Federated Learning, FL)에서 발생하는 두 가지 결정적이고 복합적인 과제를 다룹니다:

1. 심각한 Non-IID 분할: IIoT 환경에서 개별 장치는 공격 트래픽의 서로 다른 조각만을 관찰합니다. 특정 장치에는 전체 공격 클래스가 아예 존재하지 않을 수 있으며, 이는 표준 FL이 의존하는 독립 동일 분포(IID) 가정을 위반합니다.
2. 극단적인 클래스 불균형: 운영 중인 공격 클래스(예: 웹 공격, 브루트 포스)는 샘플이 0.1% 미만으로 매우 드문 반면, 지배적인 흐름(DoS/DDoS)은 94%를 초과할 수 있습니다.

기존 솔루션들은 이 두 문제가 교차하는 지점을 해결하지 못합니다. 파라미터 공간 방식(예: FedAvg, FedProx)은 미분 가능한 모델(신경망)을 가정하므로, 표 형식의 플로우 데이터에 탁월한 효율성을 보이는 LightGBM과 같은 트리 기반 학습기를 배제하게 됩니다. 또한, 이러한 방식들은 가중치를 평균화하는 과정에서 소수 클래스의 전문성을 희석시켜, 다수 클래스의 정확도를 위해 재현율(Recall)을 희생하는 미교정 글로벌 모델을 생성합니다. 예측 레벨 방식은 지식 증류(Knowledge Distillation)를 위해 공유된 공개 데이터셋을 요구하는 경우가 많은데, 이는 IIoT의 데이터 최소화 및 데이터 거주성 규정과 충돌합니다.

2. 방법론: TITAN 아키텍처

TITAN은 원시 데이터, 그래디언트 또는 모델 파라미터를 절대 교환하지 않고, 오직 예측 출력값과 작은 요약 통계만을 교환하는 계층적 연합 아키텍처입니다. 이는 미분 불가능한 트리 기반 학습기에 특화되어 설계되었습니다.

1계층: 장치 수준 학습 (Device-Level Training)

각 장치($D=20$)는 자신의 Non-IID 데이터를 사용하여 4단계 적응형 부스팅 스케줄을 통해 독립적인 LightGBM 분류기를 학습합니다:

• 1단계 (균형 잡힌 베이스): 클래스 균형 가중치를 적용하여 학습합니다.
• 2단계 (하드 샘플 정제): 1단계의 F1 점수로부터 도출된 적응형 포컬 로스(Focal Loss) 지수를 사용하여, 다수 클래스의 경계를 덮어쓰지 않으면서 어려운 샘플에 집중합니다.
• 3단계 (클래스별 재균형): 단일 샘플에 의한 과적합을 방지하기 위한 최소 샘플 수 가드레일을 준수하는 조건 하에, F1 점수가 낮은 클래스를 조건부로 재균형합니다.
• 4단계 (소수 클래스 강화): 두 번째로 큰 클래스와의 비율에 맞춰 지배적 클래스를 다운샘플링하는 동시에 모든 소수 샘플을 유지하여, 모델이 희귀 클래스를 위한 리프 노드를 형성할 수 있도록 합니다.

RAW 학습 이후, META 모델이 Out-of-Fold(OOF) 설계를 통해 학습됩니다. 이 모델은 홀드아웃 파티션에 대한 RAW 모델의 예측값을 입력 피처로 사용합니다. 이는 모델이 자신의 훈련 데이터에 대해 완벽하게 예측하여 발생하는 "퇴보한 교사(Degenerate Teacher)" 문제를 방지합니다. 장치는 오직 이러한 META 확률 벡터($K$-클래스 출력)와 작은 라벨 요약 정보만을 엣지로 전달합니다.

2계층: 엣지 수준 지식 증류 앙상블 (Edge-Level Knowledge-Distilled Ensemble)

장치들은 엣지 클러스터($E=5$)로 그룹화됩니다. 각 엣지는 특정 클래스에 대해 특정 장치를 신뢰하도록 학습하는 LightGBM 앙상블을 학습합니다.

• 적응형 지식 증류 (KD): 엣지는 구성 장치들의 META 출력을 사용하여 구축된 자체적인 $k$-폴드 OOF 교사를 사용하여 소프트 라벨(Soft Labels)을 생성합니다.
• 게이팅 메커니즘: 신뢰할 수 없는 교사가 학생 모델을 오염시키는 것을 방지하기 위해, 네 가지 곱셈 게이트가 KD 신호를 조절합니다:
  1. 엔트로피 게이트: 교사가 과잉 확신(Near-one-hot)할 경우 KD를 억제합니다.
  2. 서포트 게이트: 엣지의 로컬 라벨에 해당 클래스가 없는 경우 KD를 비활성화합니다.
  3. 재현율 게이트: 교사의 클래스별 재현율에 따라 KD 규모를 조절합니다.
  4. 클래스 빈도 게이트: 다수 클래스의 편향이 소수 클래스 학습을 희석하는 것을 방지합니다.
• 집계: 평가 시, 엣지는 정적 전문성 가중치(훈련 샘플 수 기반)와 동적 신뢰도 가중치를 사용하여 장치 출력을 집계합니다.

3계층: 글로벌 베이지안 퓨전 (Global Bayesian Fusion)

글로벌 계층은 베이지안 제품-전문가(Product-of-Experts, PoE) 프레임워크를 사용하여 5개 엣지의 예측을 융합합니다.

• 전문성 마스킹 (Expertise Masking): 특정 클래스에 대한 훈련 지원이 부족한 엣지를 침묵시켜($m_{e,k}$), 정보가 없는 전문가가 희귀 클래스를 억제하는 "확신에 찬 제로(Confident near-zero)" 형태의 거부권을 행사하는 것을 방지합니다.
• 희귀 클래스 구조 (Expert Panel): 베이지안 퓨전이 희귀 클래스에 대해 다수 확률을 할당하지 못하거나 클래스가 전역적으로 희귀한 경우, 상위 5개 장치(로컬 전문성 기준 순위)로 구성된 "전문가 패널"이 신호를 구조합니다.
• 안전 게이트형 캘리브레이션 (Safety-Gated Calibration): 3단계 캘리브레이션 파이프라인이 최종 확률을 정교화합니다:
  1. 온도 스케일링 (Temperature Scaling).
  2. 메타 학습자 블렌딩 (엣지 출력 스태킹).
  3. 클래스별 로그-오즈 바이어스 피팅 (Per-class log-odds bias fitting).
     *결정적으로, 각 단계는 매크로-F1에 의해 "안전 게이트"가 설정됩니다. 만약 특정 단계가 매크로-F1을 개선하지 못하면, 시스템은 상위 단계의 값으로 되돌아갑니다.*

3. 주요 기여

1. 트리 기반 학습기를 위한 예측 레벨 연합 학습: TITAN은 공유된 공개 데이터셋 없이도 LightGBM을 위한 연합 학습을 가능하게 합니다. 이는 파라미터 평균화를 대신하여 예측 공간에서의 교환을 사용하며, 로컬에서 소프트 타겟을 생성하기 위해 OOF 교사를 활용함으로써 데이터 최소화 규칙을 준-수합니다.
2. 클래스별 전문성 게이팅: 이 아키텍처는 베이지안 퓨전 레이어에 (엣지, 클래스)별 전문성 마스크를 도입합니다. 이를 통해 특정 클래스에 대한 정보가 없는 전문가를 차단할 수 있으며, 이는 특정 파티션에 클래스 자체가 존재하지 않는 연합 환경에서 필수적인 메커니즘입니다.
3. 안전 게이트형 다단계 캘리브레이션: 단독으로 캘리브레이션 지표(ECE 등)를 최적화하는 기존 연구와 달리, TITAN은 캘리브레이션을 매크로-F1에 의해 구동되는 안전 게이트와 함께 연합 파이프라인에 통합합니다. 이는 캘리브레이션 조정이 소수 클래스의 탐지 성능을 저하시키지 않도록 보장합니다.
4. 엄격한 평가 프로토콜: 본 논문은 행 단위 중복 제거를 엄격히 적용하여 정확도 인플레이션을 방지하면서, 16가지 구성(4개 데이터셋 $\times$ 2개 Non-IID 심각도 $\times$ 2개 그룹화 전략)에 걸친 재현 가능한 프로토콜을 수립했습니다.

4. 실험 결과

4개의 IoT 벤치마크(CIC IoT-DIAD 2024, CIC IoT 2023, NF-BoT-IoT-V3, NF-ToN-IoT-V3)를 엄격한 Non-IID 조건($\alpha=0.1$) 하에서 평가했습니다:

• 베이스라인 대비 성능: TITAN은 모든 구성에서 FedAvg보다 평균 6.2 퍼센트 포인트 높은 매크로-F1을 기록했습니다.
• Non-IID 심각도: 데이터 이질성이 높아질수록 성능 격차가 벌어집니다. 가장 이질적인 분할에서 TITAN은 FedAvg보다 23.3 퍼센트 포인트 높은 성능을 보였습니다.
• 오라클 비교: TITAN은 16개 구성 중 14개에서 "최적 장치 오라클(Best-Device Oracle, 최상의 단일 로컬 모델)"을 능가했으며, 11개 구성에서는 중앙 집중형 천장(Centralized Ceiling)을 넘어섰습니다.
• 성능 향상의 원천: 논문은 이러한 이득이 원시 판별력보다는 주로 캘리브레이션 개선에서 기인함을 명시하며, 클래스 불균형을 처리하는 데 있어 캘리브레이션 파이프라인의 중요성을 강조합니다.
• 대안의 실패: 연구 결과, FedProx는 트리 기반 학습기에서 FedAvg보다 나은 성능을 보여주지 못하며, 단일 지표(정확도) 평가는 심각한 소수 클래스 실패를 은폐하는 "정확도의 역설(Accuracy Paradox)"을 드러낸다는 점을 관찰했습니다.

5. 의의 및 주장

본 논문은 데이터 거주성, 극단적 불균형, 그리고 Non-IID 분포로 인해 표준 파라미터 평균화 FL을 사용할 수 없는 IIoT 환경에서 TITAN이 실질적인 경로를 제공한다고 주장합니다.

• 아키텍처의 참신함: TITAN은 트리 기반 학습기, 공유 데이터셋 미사용, 클래스별 전문성 게이팅, 그리고 매크로-F1 게이트형 캘리브레이션을 단일 프레임워크로 결-합한 최초의 연합 IDS입니다.
• 운영적 관련성: 매크로-F1과 캘리브레이션에 집중함으로써, TITAN은 높은 정확도가 희귀 공격 탐지 실패를 가리는 "기저율 오류(Base-rate Fallacy)" 문제를 해결합니다.
• 확장성: TITAN 아키텍처는 장치당 28개에서 2백만 개 이상의 샘플에 이르는 이질적인 파티션을 지원하며, 다양한 데이터 규모에 대한 견고함을 입증합니다.

저자들은 TITAN을 단순한 성능 개선 도구가 아니라, 표준 신경망 중심의 접근 방식이 계산적으로 비효율적이거나 통계적으로 타당하지 않은 고위험 산업 보안 분야를 위한 필수적인 진화 모델로 정의합니다.