💻 computer science

Personalized Federated Intrusion Detection for Non-IID IIoT Traffic via DDPG-Guided Adaptive Aggregation

본 논문은 비독립적 동일 분포(Non-IID) 및 클래스 불균형 IIoT 트래픽 문제를 효과적으로 해결하기 위해 심층 결정적 정책 경사(Deep Deterministic Policy Gradient) 에이전트를 사용하여 모델을 적응적으로 집계하고 클라이언트별 오토인코더 디코더를 활용함으로써, 데이터 프라이버시를 유지하면서 희귀 공격 클래스에 대한 탐지 성능을 크게 향상시키는 개인화된 연합 학습 프레임워크인 PAEDDPG를 제안한다.

원저자: Junyi Hou, Wenzhong Yang, Yabo Yin, Shuying Xu

게시일 2026-10-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junyi Hou, Wenzhong Yang, Yabo Yin, Shuying Xu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 산업 세계에서 공장과 전력망은 서로 끊임없이 대화하는 스마트 센서와 기계들의 네트워크에 의해 점점 더 많이 운영되고 있습니다. '산업 사물 인터넷(IIoT)'으로 알려진 이 상호 연결된 시스템은 실시간 모니터링과 자동화된 생산을 가능하게 하지만, 동시에 운영을 중단시키거나 값비싼 장비에 손상을 입힐 수 있는 사이버 공격의 문을 열어주기도 합니다. 이러한 위협을 막기 위해 엔지니어들은 네트워크 트래포를 스캔하여 악성 활동의 징후를 찾아내는 보안 요원 역할을 하는 침입 탐지 시스템을 사용합니다. 전통적으로 이러한 시스템은 모든 공장의 데이터를 보유한 거대한 중앙 컴퓨터에서 학습되었습니다. 그러나 이 방식은 기업들이 자신들의 가공되지 않은 운영 데이터를 공유하기를 꺼린다는 점에서 심각한 개인정보 보호 문제를 제기하며, 중앙 서버가 해킹당할 경우 단일 장애 지점이 될 수 있다는 위험도 안고 있습니다.

이를 해결하기 위해 연구자들은 '연합 학습(federated learning)'이라는 방법을 활용했습니다. 여러 명의 학생이 어려운 수학 문제를 풀려고 노력하는 상황을 상상해 보십시오. 모든 학생이 자신의 노트를 선생님에게 가져가서 선생님이 그것들을 하나의 거대한 책에 옮겨 적는 대신, 각 학생은 집에서 자신만의 복사본으로 문제를 풉니다. 그들은 오직 최종 정답만을 선생님에게 보내고, 선생님은 이를 결합하여 모두를 위한 더 나은 해답을 만들어냅니다. 이 방식을 통해 학생들은 자신의 개인적인 노트를 안전하게 지키면서도 그룹의 집단 지성으로부터 혜택을 얻을 수 있습니다. 산업계에서 이는 각 공장이 자신의 데이터가 어떻게 생겼는지 전혀 드러내지 않고도 자체적인 로컬 데이터를 통해 보안 모델을 학습할 수 있음을 의미합니다. 하지만 문제는 모든 공장이 서로 다르다는 점입니다. 어떤 공장은 가끔 발생하는 해킹 시도가 섞인 정상적인 트래픽을 주로 보는 반면, 다른 공장은 특정 유형의 바이러스로부터 지속적인 공격을 받을 수도 있습니다. 이처럼 매우 다른 경험들을 하나의 글로벌 모델로 통합하려고 할 때, 그 결과물은 종종 가장 취약한 사이트들을 보호하는 데 실패하곤 합니다. 특히 드물거나 특이한 공격에 직면한 곳들에게 더욱 그렇습니다.

신장대학교(Xinjiang University)의 한 연구팀은 이 문제를 해결하기 위해 PAEDDPQ라는 새로운 접근 방식을 개발했습니다. 그들의 연구는 서로 다른 공장의 데이터가 동일한 형태를 띠지 않을 때 표준적인 방법들이 겪는 구체적인 문제를 다룹니다. 일반적인 설정에서 중앙 서버는 각 공장이 솔루션에 동등하게 기여한다고 가정하고 각 공장이 보낸 업데이트를 단순히 평균화합니다. 연구진은 이러한 '일률적인' 평균화 방식이 결함이 있다고 발견했는데, 이는 흔한 트래픽 패턴을 가진 공장들이 희귀한 공격에 직면한 공장의 독특한 신호를 덮어버리게 만들기 때문입니다. 이를 방지하기 위해 그들은 중앙 서버가 고정된 규칙을 사용하는 대신, 각 공장의 기여도를 동적으로 가중치를 두어 학습하는 시스템을 만들었습니다.

그들 솔루션의 핵심은 두 가지 영리한 메커니즘이 함께 작동하는 것입니다. 첫째, 로컬 측면에서 각 공장은 사업장 외부로 절대 유출되지 않는 보안 모델의 개인적인 구성 요소를 유지합니다. 모델의 주요 부분은 일반적인 패턴을 학습하기 위해 중앙 서버와 공유되지만, 이 개인적인 조각은 해당 공장의 네트워크가 가진 고유한 특성을 기억하도록 돕습니다. 이는 공유된 모델이 새로운 것을 학습하는 동안 로컬 데이터의 독특한 특성을 잊어버리지 않도록 보장하는 규제자(regularizer) 역할을 합니다. 이를 통해 공장은 로컬 데이터와 개인 모델 구성 요소를 완전히 안전하게 유지하면서도, 자신의 환경에 고도로 최적화된 개인화된 탐지기를 유지할 수 있습니다.

둘째, 중앙 서버 측에서 연구진은 각 공장의 업데이트를 얼마나 신뢰할지 결정하는 인공지능 에이전트를 도입했습니다. 이 에이전트는 단순히 공장이 가진 데이터 포인트의 개수를 세는 것이 아니라, 공장이 모델에 가한 변화를 분석하고 이를 다른 공가들이 만든 변화와 비교합니다. 에이전트는 특정 공장이 이미 알려진 내용을 반복하는 것인지, 아니면 희귀한 공격에 대한 유용한 지식을 기여하고 있는지의 징후를 포착합니다. 이 에이전트는 전체적인 정확도보다는 희귀하고 까다로운 공격 유형을 탐지하는 것에 특별히 가치를 두는 보상 시스템을 통해 학습됩니다. 만약 어떤 공장이 그룹이 희귀한 위협을 포착하는 데 도움을 준다면, 에이전트는 다음 학습 라운드에서 그 공장에 더 많은 영향력을 부여하도록 학습합니다. 이 과정은 지속적으로 발생하며, 네트워크 조건이 변함에 따라 시스템이 적응할 수 있게 합니다.

연구진은 두 개의 대규모 실제 산업 네트워크 트래픽 데이터셋(하나는 50만 개 이상의 샘로, 다른 하나는 약 50만 개의 샘플 포함)을 사용하여 이 새로운 프레임워크를 테스트했습니다. 그들은 6개의 서로 다른 공장이 매우 다른 유형의 트래픽을 가지고 있으며, 일부는 흔한 공격에 직면하고 다른 일부는 극도로 희귀한 공격에 직면하는 시나리오를 시뮬레이션했습니다. 이러한 까다로운 조건에서 그들의 새로운 방식은 기존 기술들을 일관되게 능가했습니다. 가장 주목할 점은, 가장 희귀한 공격 유형을 탐지할 때 그들의 시스템이 기존의 최고 방식보다 성공률을 약 18%포인트 향상시켰다는 것입니다. 예를 들어, 한 데이터셋에서 새로운 시스템은 가장 희귀한 공격을 85.25% 정확도로 식별해 낸 반면, 이전의 최고 방식은 67%만을 잡아냈습니다.

단순히 더 정확할 뿐만 아니라, 이 새로운 시스템은 또한 더 안정적이었습니다. 연구진은 그들의 방식이 기존 방식보다 더 빠르게, 그리고 더 적은 변동을 보이며 높은 성능 수준에 도달한다는 것을 관찰했습니다. 이는 그들의 시스템이 단순히 운 좋게 결과를 낸 것이 아니라, 진정으로 더 나은 협업 방식을 학습하고 있음을 시사합니다. 또한 연구는 개인적인 로컬 구성 요소나 지능형 서버 에이전트 중 하나라도 제거하면 성능이 하락한다는 것을 보여주었으며, 이는 두 부분이 시스템 작동에 모두 필수적임을 입증합니다. 다만 연구진은 현재의 작업이 모든 공장이 참여하고 정직하다는 가정하에 이루어졌다고 언급했습니다. 그들은 향후 연구에서 공장이 오프라인 상태가 되거나 악의적인 행위자가 시스템을 속이려 할 때 어떻게 대응해야 할지를 다뤄야 한다고 인정했습니다.

궁극적으로, 이 연구는 개인정보를 침해하지 않으면서 산업 네트워크를 보호할 수 있는 유망한 경로를 제시합니다. 공장들이 데이터를 로컬에 유지하면서도 스마트하고 적응력 있는 협업으로부터 혜택을 얻을 수 있게 함으로써, 이 시스템은 진화하는 사이버 위협의 지형에 맞서 강력한 방어책을 제공합니다. 이 연구 결과는 산업 보안의 미래가 단일하고 거대한 모델이 아니라, 각 참가자의 고유한 경험이 실제 안전에 대한 기여도에 따라 가치가 매겨지고 가중치가 부여되는 유연한 네트워크에 있음을 시사합니다.

기술 요약: DDPG 기반 적응형 집합을 통한 Non-IID IIoT 트래픽용 개인화된 연합 침입 탐지

문제 정의

산업 사물 인터넷(IIoT)은 사이버 위협이 급증함에 따라 강력한 침입 탐지 시스템(IDS)을 필요로 하고 있습니다. 연합 학습(Federated Learning, FL)은 분산된 클라이언트가 원시 트래픽을 공유하지 않고도 협력적으로 모델을 훈련할 수 있게 해주지만, 표준적인 FL 방식은 IIoT 데이터의 본질적인 특성인 Non-IID(비독립 동일 분포) 및 클래스 불균형 문제로 인해 어려움을 겪습니다.

클라이언트 드리프트(Client Drift): 서로 다른 산업 현장은 각기 다른 정상 동작 패턴과 공격 노출도를 관찰하므로, 최적화 방향이 서로 어긋나게 됩니다. 단일 글로벌 모델은 이러한 이질적인 분포 전반에 걸쳐 일반화되는 데 실패하는 경우가 많습니다.
소수 클래스 방치(Minority Class Neglect): 표준 집합 방식(예: FedAvg)은 다수 클래스(정상 트래픽)나 지배적인 클라이언트를 선호하는 경향이 있어, 희귀 공격 클래스(예: Man-in-the-Middle, 특정 악성코드)에 대한 재현율(Recall)이 낮아지는 결과를 초래합니다.
기존 솔루션의 한계: 현재의 FL-IDS 방법들은 고정된 집합 규칙이나 정적인 개인화 전략(예: 고정된 레이어 분할)에 의존하며, 이는 각 클라이언트의 기여도에 따른 경험적 효용성을 동적으로 반영하지 못합니다. 또한, 집합을 위한 기존의 심층 강화 학습(DRL) 접근 방식은 프라이버시를 보존하는 로컬 개인화와 통합되지 않거나, 소수 클래스에 민감한 IDS 목적에 특화되어 있지 않습니다.

방법론: PAEDDPG 프레임워크

저자들은 온디바이스 개인화와 서버 측 적응형 집합을 결합한 PAEDDPG(Personalized AutoEncoder–Deep Deterministic Policy Gradient) 프레임워크를 제안합니다.

1. 클라이언트 측: 프라이빗 재구성 디코더(Private Reconstruction Decoder)
각 클라이언트 $k$ 는 공유 모델(특징 추출기 $g_\theta$ 및 분류기 $h_\theta$ )과 클라이언트 전용 재구성 디코더 $\psi_{\phi_k}$ 를 유지합니다.

로컬 목적 함수: 클라이언트는 다음의 결합 손실 함수를 최소화합니다:
$L_k^{local} = \ell_{ce}(h_\theta(g_\theta(x)), y) + \lambda_{rec} \| \psi_{\phi_k}(g_\theta(x)) - x \|_2^2$
첫 번째 항은 지도 학습 기반의 분류 손실이며, 두 번째 항은 자기 지도 학습 기반의 재구성 손실입니다.
프라이버시 및 개인화: 디코더는 오직 로컬 데이터로만 훈련되며 절대 업로드되지 않습니다. 이는 정규화 도구로서 작용하여, 공유 인코더가 원시 데이터나 디코더 파라미터를 노출하지 않으면서도 클라이언트 특유의 특징 통계량(희귀 클래스에 필수적임)을 보존하도록 강제합니다.
통신: 업데이트된 공유 모델 파라미터( $\theta_k$ )만 업로드되므로, 표준 FedAvg와 동일한 통신 페이로드를 유지합니다.

2. 서버 측: DDPG 가이드 적응형 집합
서버는 최적의 집합 가중치를 동적으로 학습하기 위해 심층 결정론적 정책 경사(DDPG) 에이전트를 사용합니다.

상태 ( $s_t$ ): 참여하는 클라이언트들의 인코더 업데이트 통계량으로 구성됩니다:
- 샘플 비율 ( $\rho_k$ ): 데이터 양적 기여도.
- 업데이트 노름 ( $\nu_k$ ): 로컬 모델 변화의 크기.
- 평균 업데이트 거리 ( $\bar{d}_k$ ) 및 코사인 유사도 ( $\bar{c}_k$ ): 타 클라이언트와의 이격도 및 일관성 측정치.
행동 ( $a_t$ ): 에이전트는 공유 모델을 집합하기 위한 확률 심플렉스 벡터인 가중치 ( $w_k$ )를 출력합니다: $\theta_t = \sum w_k \theta_k$ .
보상 ( $r_t$ ): 서버 측 검증 세트에서의 세 가지 지표에 대한 라운드별 개선도를 기반으로 하는 소수 클래스 민감 보상을 사용합니다:
$r_t = 100 \times (\beta_1 \Delta \text{Macro-F1} + \beta_2 \Delta \text{BalancedAcc} + \beta_3 \Delta \text{WorstClassRecall})$
이는 에이전트가 단순히 전체 정확도를 높이는 것이 아니라, 희귀 공격 클래스의 탐지 성능을 개선하는 협업을 우선시하도록 명시적으로 유도합니다.

주요 기여

새로운 아키텍처: 공유 글로벌 모델과 클라이언트 전용 재구성 디코더를 결합한 클라이언트-서버 설계입니다. 이는 프라이버시를 보호하고 통신 비용을 동일하게 유지하면서, 자기 지도 학습을 통해 개인화를 유도합니다.
DDPG를 통한 적응형 집합: 집합 가중치 선택을 연속 제어 문제로 정식화했습니다. 단일 서버 측 에이전트가 인코더 업데이트 통계량을 집합 가중치로 매핑하는 법을 학습하여, 클라이언트별 정책 생성에 따른 오버헤드를 피하고 현재의 협업 상태에 적응합니다.
소수 클래스 민감 보상 설계: Macro-F1, Balanced Accuracy, Worst-Class Recall을 결합한 IDS 지향적 보상 함수를 제공합니다. 이를 통해 학습된 집합 정책이 부정적 전이(Negative Transfer)를 능동적으로 완화하고, 이질적이고 불균형한 트래픽 환경에서도 희귀 공격 탐지 성능을 높이도록 보장합니다.

실험 결과

본 프레임워크는 Edge-IIoTset 및 NF-ToN-IoT-v3 데이터셋을 대상으로 IID 및 세 가지 Non-IID 설정( $\alpha \in \{1.0, 0.5, 0.1\}$ )에서 평가되었습니다.

성능: PAEDDPG는 Macro-F1, Balanced Accuracy, Worst-Class Recall 측면에서 베이스라인(FedAvg, FedProx, FedProto, MOON, FedGH)보다 일관되게 우수한 성능을 보였습니다.
희귀 클래스 탐지: 가장 강력한 Non-IID 설정( $\alpha=0.1$ $α = 0.1$ )인 Edge-IIoTset에서:
- PAEDDPG는 85.25%의 Worst-Class Recall을 달성하였으며, 이는 가장 우수한 베이스라인인 FedProto(67.00%)보다 약 18 퍼센트 포인트 향상된 수치입니다.
- 모든 공격 클래스에 대해 per-class recall을 85% 이상으로 유지한 유일한 방법이었습니다.
수렴성: 해당 방법은 빠른 안정적 수렴을 보여주었으며, 약 30 라운드 이내에 최종 성능의 90%에 도달하였고 베이스라인들에 비해 라운드 간 변동폭이 현저히 낮았습니다.
절제 연구(Ablation Study): 프라이빗 디코더, DDPG, 또는 전체 보상 중 하나라도 제거하면 성능이 저하되었습니다. DDPG 기반 집합이 가장 지배적인 요인으로 식별되었으며, 프라이빗 디코더와 특정 보상 설계 또한 일관되고 상호 보완적인 개선 효과를 제공하는 것으로 나타났습니다.

의의 및 한계

본 논문은 PAEDDPG가 프라이버시를 보존하는 로컬 적응과 태스크 중심의 적응형 집합을 공동으로 최적화함으로써 Non-IID 연합 침입 탐지의 핵심적인 격차를 해결한다고 주장합니다.

의의: 협업 구조를 사전에 고정하거나 일반적인 강건성 목적에 의존하는 기존 방식과 달리, PAEDDPG는 희귀 클래스 탐지에 대한 경험적 피드백을 바탕로 각 클라이언트가 얼마나 기여해야 하는지를 동적으로 학습합니다.
한계: 저자들은 현재 프레임워크가 실제 IIoT 배포 시 흔히 발생하는 적대적 위협(예: 집합 가중치를 조작하는 악의적 클라이언트)이나 동적인 클라이언트 참여(클라이언트 탈퇴/변동)를 아직 고려하지 못하고 있음을 인정하였습니다. 향후 연구를 통해 이러한 강건성 및 동적 가용성 문제를 해결할 것을 제안하였습니다.