Incremental Federated Learning for Intrusion Detection in IoT Networks under Evolving Threat Landscape

이 논문은 CICIoMT2024 데이터셋을 활용하여 IoT 환경의 변화하는 위협에 대응하기 위해 연쇄적 학습 (incremental learning) 과 연방 학습 (federated learning) 을 결합한 LSTM 기반 침입 탐지 시스템의 성능을 분석하고, 개념 변화 (concept drift) 하에서 안정적인 성능을 유지하는 최적의 학습 전략을 제시합니다.

핵심

이 논문은 **"사물인터넷 (IoT) 기기들을 지키는 지능형 경비원"**에 대한 이야기입니다.

미래의 집이나 병원에는 수많은 IoT 기기 (스마트 시계, 의료 기기 등) 가 연결되어 있습니다. 하지만 해커들은 새로운 방식으로 공격을 해오기 때문에, 과거에 배운 지식만으로는 이들을 막을 수 없습니다. 이 논문은 **"변화하는 해커의 공격 방식을 실시간으로 배우면서도, 이전 지식을 잊어버리지 않는 방법"**을 연구한 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: 왜 새로운 방법이 필요한가요?

비유: "날씨가 변하는 해변의 경비원"

• 문제 상황: 해커들은 마치 날씨가 매일 변하듯, 새로운 공격 방식을 만들어냅니다. (예: 비가 오면 우산을 들고, 눈이 오면 눈보라를 피하는 식으로).
• 기존의 한계: 과거에는 경비원 (AI 모델) 이 한 번 교육을 받으면 끝났습니다. 하지만 해커가 새로운 공격을 해오면, 경비원은 "아, 이거 전에 본 적 없어!"라며 당황해서 실패합니다. 이를 **'개념 드리프트 (Concept Drift)'**라고 합니다.
• 개인정보 보호: 각 IoT 기기 (병원, 가정) 는 데이터를 중앙 서버로 보내면 안 됩니다. (비밀 유지 필요). 그래서 각 기기에서 학습하고, 결과만 모아서 합치는 연방 학습 (Federated Learning) 방식을 썼습니다.
• 새로운 문제: 그런데 연방 학습을 하다가 해커가 새로운 공격을 하면, 경비원은 "새로운 것을 배우느라 예전에 배운 것을 다 잊어버리는 (Catastrophic Forgetting)" 현상이 일어납니다.

2. 해결책: "기억력 좋은 경비원" 만들기

이 연구는 **"새로운 공격을 배우면서도, 옛날 공격도 잊지 않는 6 가지 학습 전략"**을 비교했습니다.

🏆 최고의 전략들 (성공한 방법)

1. 누적 학습 (Cumulative Learning): "모든 책을 다시 읽는 학생"

   • 방식: 새로운 공격이 나올 때마다, 과거의 모든 공격 데이터를 다시 한 번 공부합니다.
   • 결과: 정확도가 가장 높습니다. 하지만 시간이 너무 오래 걸려서 (컴퓨터가 지쳐서), IoT 기기처럼 자원이 적은 곳에서는 쓰기 힘듭니다.
   • 비유: 시험을 볼 때마다 과거 10 년 치 기출문제 전부를 다시 풀어서 공부하는 학생입니다. 점수는 100 점이지만, 공부하는 데 너무 많은 시간이 듭니다.

2. 대표 학습 (Representative Learning): "핵심 요약본을 보는 학생"

   • 방식: 과거의 모든 데이터를 다 보는 대신, 각 공격 유형별로 대표되는 '핵심 예시' 하나만 기억해 둡니다.
   • 결과: 정확도도 매우 높고, 시간도 적게 걸립니다.
   • 비유: 10 년 치 기출문제를 다 풀지 않고, 각 유형별로 가장 중요한 '핵심 요약 노트'만 외우는 학생입니다. 효율이 매우 좋습니다.

3. 유지 학습 (Retention Learning): "작은 메모장에 적어두는 학생"

   • 방식: 과거 데이터 중 일부 (100 개, 500 개 등) 만을 작은 메모장에 적어두고, 새로운 것을 배울 때 이 메모장을 함께 봅니다.
   • 결과: 정확도와 속도 사이의 균형이 가장 좋습니다.
   • 비유: 중요한 공식만 작은 메모장에 적어두고, 새로운 문제를 풀 때 그 메모장을 옆에 두고 참고하는 학생입니다.

❌ 실패한 전략들

• 단순 학습 (Simple Incremental): "새로운 것만 보고 잊어버리는 학생"
  • 방식: 새로운 공격만 배우고, 예전 것은 완전히 잊어버립니다.
  • 결과: 시간이 지날수록 점수가 뚝 떨어집니다. (예: 처음엔 90 점, 나중엔 10 점).
  • 비유: 오늘 배운 것만 외우고, 어제는 무엇을 배웠는지 기억도 안 하는 학생입니다. 해커가 옛날 방식으로 다시 공격하면 바로 당합니다.

3. 실험 결과: 무엇이 가장 좋을까요?

연구진은 CICIoMT2024라는 실제 의료 IoT 데이터를 이용해 시뮬레이션을 했습니다.

• 정확도 vs 속도:
  • 가장 정확한 방법: 모든 데이터를 다시 공부하는 것 (누적 학습). 하지만 너무 느립니다.
  • 가장 균형 잡힌 방법: 대표 학습과 유지 학습. 이 두 방법은 정확도는 높으면서도, 학습 속도는 훨씬 빠릅니다. IoT 기기처럼 전력과 계산 능력이 부족한 환경에 딱 맞습니다.
• 특이한 발견: 해커의 공격 방식 중 MQTT(메시지 전송 방식) 와 DDoS(대규모 공격) 는 서로 너무 달라서, 한 가지를 잘 아는 모델이 다른 것을 막기 힘들었습니다. 이는 마치 "비 오는 날 우산 쓰는 법"을 잘 아는 사람이 "눈 오는 날 눈보라 피하는 법"을 잘 모를 수 있는 것과 같습니다.

4. 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"IoT 기기를 지키는 보안 시스템은 멈춰서는 안 된다"**고 말합니다.

1. 변화는 당연하다: 해커는 계속 새로운 방법을 개발하므로, 보안 시스템도 계속 업데이트되어야 합니다.
2. 잊지 않는 것이 중요하다: 새로운 것을 배우면서 예전 지식을 잃어버리면 안 됩니다.
3. 효율이 핵심: IoT 기기는 전력이 약하므로, 모든 데이터를 다시 공부하는 대신 **'핵심 요약'**이나 '작은 메모' 방식을 사용하는 것이 현실적인 해결책입니다.

한 줄 요약:

"해커의 새로운 공격을 막기 위해, 보안 경비원 (AI) 은 과거의 지식을 잊지 않으면서도, IoT 기기라는 작은 공간에서 빠르게 학습할 수 있어야 합니다. 이 연구는 **'핵심 요약'**과 '작은 메모' 방식이 그 해답임을 증명했습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• IoT 환경의 보안 위협: 사물인터넷 (IoT) 장치의 급격한 증가는 네트워크 공격 표면을 확대하여, 적응적이고 강력한 침입 탐지 시스템 (IDS) 의 필요성을 대두시켰습니다.
• 개념 드리프트 (Concept Drift) 의 문제: 사이버 공격 기법은 지속적으로 진화하므로, 학습된 데이터 패턴이 시간이 지남에 따라 변합니다. 기존에 훈련된 정적 (Stationary) 머신러닝 모델은 이러한 새로운 공격 패턴을 탐지하지 못해 성능이 급격히 저하됩니다.
• 기존 방법론의 한계:
  • 중앙 집중식 학습: 데이터 프라이버시 문제와 통신 오버헤드가 발생합니다.
  • 기존 연방 학습 (Federated Learning, FL): 프라이버시를 보호하지만, 데이터 분포가 변하는 드리프트 상황에서 모델 성능이 떨어집니다.
  • 재학습 (Full Retraining): 새로운 데이터로 모델을 처음부터 다시 훈련하는 것은 IoT 장치의 제한된 컴퓨팅 자원과 대역폭을 고려할 때 비효율적입니다.
  • 단순 점진 학습: 새로운 데이터만 학습하면 이전 공격 패턴을 잊어버리는 '파괴적 망각 (Catastrophic Forgetting)' 현상이 발생합니다.

핵심 문제: IoT 환경의 자원 제약과 프라이버시 요구사항을 충족하면서, 변화하는 위협 환경 (드리프트) 에 적응하고 과거 지식을 유지할 수 있는 효율적인 IDS 모델 구축 방법론이 필요합니다.

---

2. 제안 방법론 (Methodology)

이 연구는 점진적 연방 학습 (Incremental Federated Learning, IFL) 프레임워크를 제안하며, 개념 드리프트 하에서 모델의 장기적 성능을 유지하기 위한 다양한 전략을 비교 평가합니다.

• 데이터셋 및 환경:

  • CICIoMT2024 데이터셋: 의료 IoT (IoMT) 환경을 기반으로 하며, MQTT, DoS, DDoS, Reconnaissance, Spoofing 등 5 가지 주요 공격 카테고리와 18 가지 공격 변형을 포함합니다.
  • 시간적 드리프트 시나리오 (t0–t6): 공격 유형이 시간 단계별로 순차적으로 도입되는 시뮬레이션을 구성했습니다.
    • 예: t1(MQTT), t2(DoS 추가), t3(DDoS 추가) 등으로 점진적으로 공격 범위가 확장됩니다.
  • 클라이언트 설정: Flower 프레임워크를 사용하여 5 개의 클라이언트 간 IID(독립 동일 분포) 데이터로 분산 학습 환경을 구축했습니다.

• 모델 아키텍처:

  • LSTM (Long Short-Term Memory): 시퀀스 데이터의 시간적 의존성을 효과적으로 모델링하고 연방 학습과 호환되도록 설계된 다층 LSTM 모델을 사용했습니다.

• 비교 대상 전략 (6 가지 주요 접근법):

  1. 정적 학습 (Static): 초기 시점 (t1 또는 t0) 에만 학습하고 이후 업데이트 없이 모든 시점의 테스트 데이터를 평가 (드리프트에 취약).
  2. 누적 점진 학습 (Cumulative Incremental): 모든 과거 및 새로운 공격 데이터를 누적하여 재학습 (성능은 높지만 계산 비용이 큼).
  3. 단순 점진 학습 (Simple Incremental): 새로운 공격 클래스만 학습하고 이전 데이터는 완전히 폐기 (파괴적 망각 발생).
  4. 대표적 점진 학습 (Representative Incremental): 새로운 공격 가족 (Family) 을 추가하되, 기존 모든 카테고리에서 대표 샘플 1 개를 유지하여 클래스 균형을 맞춤.
  5. 유지 기반 점진 학습 (Retention-based): 이전 시점의 공격 데이터에서 소수의 샘플 (100, 500, 1000 개) 만을 '리허설 버퍼'로 유지하여 학습 (메모리 효율성 강조).
  6. 평균화 기반 학습 (Averaging): 이전 모델 파라미터를 평균화하여 초기화 (Equal, Sample-weighted, EMA).

---

3. 주요 기여 (Key Contributions)

1. 체계적인 벤치마크: 분산 IoT 환경에서 명시적으로 모델링된 시간적 드리프트 시나리오 하에서 점진적 연방 학습 전략들을 체계적으로 평가한 최초의 연구 중 하나입니다.
2. 이진 및 다중 클래스 분류 분석: CICIoMT2024 데이터셋을 활용하여 이진 분류 (정상 vs 공격) 와 6 클래스 분류 (다양한 공격 유형) 모두에서 성능을 분석했습니다.
3. 정확도 - 지연 시간 트레이드오프 분석: 다양한 점진 학습 전략이 정확도 유지와 계산 비용 (지연 시간) 사이에서 어떻게 균형을 이루는지 실증적으로 규명했습니다.
4. 드리프트 적응 메커니즘 제안: 파괴적 망각을 방지하면서도 IoT 자원을 효율적으로 사용하는 '대표적 점진 학습'과 '유지 기반 학습'의 유효성을 입증했습니다.

---

4. 실험 결과 (Results)

• 정확도 (Accuracy):

  • 이진 분류: **대표적 점진 학습 (Representative Incremental)**이 평균 정확도 **95.73%**로 가장 우수했으며, **누적 점진 학습 (93.30%)**이 그 뒤를 이었습니다. 단순 점진 학습과 평균화 기반 학습은 후기 시점 (t6) 에서 정확도가 45~58% 로 급격히 하락하여 드리프트에 취약함이 확인되었습니다.
  • 6 클래스 분류: 누적 점진 학습이 평균 **66.7%**로 가장 높았으나, **대표적 점진 학습 (64.5%)**과 **유지 기반 학습 (63.6~64.6%)**도 경쟁력 있는 성능을 보였습니다. 반면 단순 점진 학습은 t4 이후 9% 수준으로 붕괴되었습니다.
  • 공격 유형 간 유사성: MQTT 와 DDoS 는 분포적 차이가 가장 커서 한 모델을 다른 공격에 적용할 때 성능이 크게 저하되는 것을 확인했습니다.

• 지연 시간 및 효율성 (Latency & Efficiency):

  • 학습 시간: 누적 점진 학습은 모든 데이터를 재학습하므로 가장 많은 시간 (이진 기준 688.8 초) 을 소모했습니다.
  • 효율성: **유지 기반 학습 (Retention-based)**은 소수의 샘플만 유지하여 학습 시간을 50% 이상 단축 (약 255~340 초) 하면서도 높은 정확도를 유지했습니다. 대표적 점진 학습도 중간 정도의 비용으로 높은 효율을 보였습니다.
  • 추론 시간: 모든 전략에서 추론 지연 시간은 약 2.0~2.4 초로 거의 일정하여, 학습 전략이 모델 아키텍처 (LSTM) 에 비해 추론 성능에는 큰 영향을 미치지 않음을 확인했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 함의: IoT 환경과 같은 제한된 자원을 가진 환경에서, 매번 모델을 처음부터 훈련할 필요 없이 **선택적 클래스 표현 (Representative)**이나 소수 샘플 유지 (Retention) 전략을 통해 드리프트에 강인하고 효율적인 IDS 를 구축할 수 있음을 입증했습니다.
• 기술적 통찰: 단순한 온라인 학습만으로는 과거 공격 패턴을 잊어버리게 되며, 과거 데이터의 일부라도 유지하거나 대표성을 확보하는 것이 장기적 성능 유지에 필수적입니다.
• 미래 작업 방향:
  • 고정된 시간 간격이 아닌 적응형 드리프트 감지 메커니즘 도입.
  • 클라이언트 간 데이터 분포가 다른 비-IID (Non-IID) 환경에서의 성능 평가.
  • 새로운 공격 클래스가 소수 클라이언트에서 먼저 등장하는 클래스 등장 (Class Emergence) 시나리오 연구.

이 연구는 진화하는 사이버 위협에 대응하기 위해, 프라이버시를 보호하면서도 자원 효율적이고 적응력 있는 연방 학습 기반 IDS 솔루션 개발을 위한 중요한 지침을 제공합니다.