Unsupervised Baseline Clustering and Incremental Adaptation for IoT Device Traffic Profiling

이 논문은 DBSCAN 기반의 비지도 클러스터링으로 IoT 트래픽 프로파일링의 기준선을 설정하고, BIRCH 알고리즘을 통해 점진적 적응을 수행함으로써 정적 프로파일링의 정확성과 진화하는 환경에서의 유연성 간의 실용적 균형을 제시합니다.

핵심

이 논문은 **"스마트 홈에 새로 생긴 기기들을 어떻게 자동으로 알아보고, 시간이 지나도 계속 잘 관리할 수 있을까?"**라는 질문에 답하는 연구입니다.

IoT(사물인터넷) 기기들이 늘어나면서 보안이 중요해졌지만, 기기들은 계속 변하고 새로운 기기들이 매일 등장합니다. 기존의 방법은 "이건 A 기기, 저건 B 기기"라고 미리 정해둔 목록을 가지고 비교하는 방식이라, 새로운 기기가 나오거나 기기의 행동이 조금만 바뀌어도 제대로 인식하지 못했습니다.

이 연구는 레이블(정답) 없이도 기기들을 자동으로 분류하고, 새로운 기기가 들어와도 재학습 없이 적응할 수 있는 두 단계의 방법을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 상황 설정: 혼잡한 파티와 초대장 없는 손님들

상상해 보세요. 거대한 파티 (네트워크) 가 열려 있습니다.

• 기존 손님들: 미리 초대장을 받고 온 사람들 (알려진 IoT 기기들).
• 새로운 손님들: 초대장 없이 찾아온 사람들 (새로운 IoT 기기들).
• 잡음: 파티에 섞인 일반인들 (IoT 가 아닌 다른 기기들).

기존의 보안 시스템은 "초대장 (정답 데이터) 이 있는 사람만 인정"하는 방식이라, 초대장 없이 온 새로운 손님을 못 알아보거나, 기존 손님이 옷을 갈아입으면 (기기 업데이트) 낯선 사람으로 오인했습니다.

이 연구는 **"초대장 없이도, 누가 누구인지 행동 패턴으로 알아내고, 새로운 손님이 오면 즉시 반겨줄 수 있는 시스템"**을 만들었습니다.

2. 첫 번째 단계: 정적인 스캔 (DBSCAN)

"파티의 분위기를 한눈에 파악하는 사진사"

먼저, 파티가 한창일 때 모든 손님의 행동 (패킷 데이터) 을 찍어서 분석합니다. 이때 DBSCAN이라는 방법을 썼는데, 이는 "밀도가 높은 곳끼리 뭉쳐" 분류하는 방식입니다.

• 비유: 파티에서 "자주 모여서 떠드는 사람들"은 한 무리로, "혼자서 구석에 있는 사람들"은 다른 무리로 묶는 겁니다.
• 결과: 이 방법은 정확도가 매우 높았습니다. (NMI 0.78). 마치 사진사가 찍은 사진처럼, "이 무리는 카메라 회사 제품들이고, 저 무리는 스마트 플러그들이다"라고 아주 정확하게 구별해 냈습니다.
• 장점: 잡음 (파티에 섞인 일반인들) 을 잘 걸러내고, 기기들의 고유한 특징을 잘 잡아냅니다.
• 단점: 이 사진사는 한 번 찍고 끝입니다. 새로운 손님이 오면 다시 전체 사진을 찍고 분석해야 하므로 시간이 너무 걸립니다.

3. 두 번째 단계: 점진적인 적응 (BIRCH)

"새로운 손님이 오면 즉시 반겨주는 웨이터"

파티가 계속 이어지는데 새로운 손님이 들어옵니다. 이때 다시 전체 사진을 찍을 수는 없죠. 그래서 BIRCH라는 방법을 썼습니다. 이는 "기존의 그룹을 유지하면서, 새로운 손님을 가장 가까운 그룹에 붙이거나 새로운 그룹을 만드는" 방식입니다.

• 비유: 웨이터가 기존 손님들의 테이블을 기억하고 있다가, 새로운 손님이 들어오면 "아, 저분은 카메라 그룹에 어울리겠네"라고 바로 앉혀줍니다.
• 결과:
  • 속도: 매우 빠릅니다. (업데이트 0.13 초).
  • 새로운 기기 인식: 새로운 기기 (예: Aeotec 스마트 허브) 를 꽤 잘 찾아냈습니다 (순수성 87%).
  • 트레이드오프 (교환 조건): 하지만 완벽한 건 아닙니다. 새로운 손님을 받아들이느라 기존에 잘 정리해 두었던 그룹들이 조금 흐트러질 수 있습니다 (기존 기기 인식 정확도가 약간 떨어짐).
• 핵심: 완벽한 정답을 추구하기보다, 실시간으로 유연하게 대응하는 데 초점을 맞췄습니다.

4. 연구의 결론: "완벽한 사진" vs "유연한 웨이터"

이 연구는 두 가지 중요한 사실을 발견했습니다.

1. 초기 설정에는 DBSCAN 이 최고입니다: 처음부터 기기를 분류할 때는 밀도 기반 (DBSCAN) 이 가장 정확하게 그룹을 나눕니다.
2. 계속되는 변화에는 BIRCH 가 필요합니다: 하지만 IoT 환경은 계속 변하므로, 새로운 기기가 들어올 때마다 다시 처음부터 시작할 수는 없습니다. 이때 BIRCH 가 효율적으로 적응해 줍니다.

요약하자면:
이 논문은 "처음엔 정밀한 사진 (DBSCAN) 으로 기기를 분류하고, 그다음엔 빠른 웨이터 (BIRCH) 가 새로운 손님을 받아들이게 하는" 두 단계 전략을 제안합니다.

• 기존 방식: 모든 손님의 얼굴을 외우고 있어야 함 (재학습 필요, 느림).
• 이 연구: 행동 패턴으로 그룹을 만들고, 새로운 손님이 오면 유연하게 받아줌 (빠름, 확장성 좋음).

이 방식은 복잡한 딥러닝 모델 없이도, 제한된 자원을 가진 IoT 환경에서도 실용적으로 적용할 수 있는 길을 보여줍니다. 마치 파티에서 초대장 없이도 누가 누구인지 알아보고, 새로운 손님이 와도 자연스럽게 받아들일 수 있는 현명한 파티 매니저가 된 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

사물인터넷 (IoT) 장치의 급속한 증가와 이질성으로 인해 네트워크 보안에 새로운 도전 과제가 발생하고 있습니다.

• 정적 모델의 한계: 기존에 사용되던 정적 식별 모델은 트래픽 패턴이 변화하거나 새로운 장치가 추가될 때 성능이 급격히 저하됩니다.
• 레이블 부족: IoT 환경에서는 대량의 레이블이 지정된 학습 데이터를 확보하기 어렵습니다.
• 동적 환경 대응: 기존 모델은 새로운 장치를 학습할 때 처음부터 재학습 (Retraining) 을 하거나, 이전 지식을 망각 (Catastrophic Forgetting) 하는 문제가 있어 확장성이 떨어집니다.
• 핵심 질문: 패킷 효율적인 흐름 (Flow) 특성을 활용한 비지도 학습으로 IoT 장치를 얼마나 잘 프로파일링할 수 있으며 (RQ1), 새로운 장치가 등장했을 때 기존 성능을 유지하면서 점진적으로 적응할 수 있는가 (RQ2)?

2. 방법론 (Methodology)

이 연구는 Deakin IoT (D-IoT) 데이터셋 (119 일간의 1 억 1 천만 개 패킷) 을 기반으로 한 2 단계 파이프라인을 제안합니다.

A. 데이터 및 특징 추출 (Feature Engineering)

• 데이터셋: 24 가지 다양한 IoT 장치 (스마트 카메라, 플러그, 센서 등) 와 36 개의 비 IoT 장치가 포함된 D-IoT 데이터셋 사용.
• 특징 (Features): 25 개의 수치적 흐름 (Flow) 특징을 추출하여 사용.
  • 정적 특징: MAC 주소, DHCP 호스트명 등 (단, 최종 모델에서는 스푸핑 가능성과 가용성 문제로 제외하고 네트워크 행동 패턴만 사용).
  • 동적 행동 특징: 패킷 간 도착 시간 (IAT), 패킷 크기 분포, 프로토콜 비율 (TCP/UDP), 포트 사용 패턴 등.
• 데이터 분할: 학습용 (알려진 장치) 과 테스트용 (새로운 장치 포함) 으로 분리하여 '낮음/중간/높음'의 신규성 (Novelty) 시나리오를 구성.

B. 1 단계: 베이스라인 프로파일링 (Unsupervised Baseline Clustering)

• 목표: 레이블 없이 초기 장치 지문을 형성.
• 모델 비교: K-Means, DBSCAN, HDBSCAN, BIRCH 등을 비교 평가.
• 평가 지표:
  • NMI (Normalized Mutual Information): 클러스터 순도 (Ground Truth 와의 일치도).
  • 실루엣 계수 (Silhouette Coefficient): 클러스터 내부 응집력 및 분리도.
• 선택: DBSCAN이 가장 높은 NMI(0.78) 를 기록하여 선택됨. (K-Means 는 높은 실루엣 점수를 보였으나 실제 장치 분류와 일치도가 낮음).

C. 2 단계: 점진적 적응 (Incremental Adaptation)

• 목표: 새로운 장치가 유입될 때 전체 재학습 없이 모델 업데이트.
• 모델 비교: MiniBatchKMeans vs BIRCH.
• 평가 지표:
  • 순도 (Purity): 새로운 장치 트래픽이 얼마나 깨끗하게 분리되었는지.
  • 공유율 (Share): 새로운 장치 트래픽 중 얼마나 많은 부분이 유효한 클러스터에 포착되었는지.
  • 알려진 장치 정확도 (Known Acc): 적응 후 기존 장치 분류 성능 유지 여부.
• 선택: BIRCH가 점진적 업데이트에 적합하여 선택됨.

3. 주요 결과 (Key Results)

| 평가 항목 | 모델 | 주요 지표 | 결과 해석 |
| :--- | :--- | :--- | : |
| RQ1 (정적 베이스라인) | DBSCAN | NMI: 0.78
실루엣: 0.92
노이즈: 41.2% | DBSCAN 은 밀도 기반 클러스터링을 통해 잡음을 효과적으로 제거하고 Ground Truth 와 높은 일치도를 보임. K-Means 는 구형 클러스터 가정으로 인해 실패. |
| RQ2 (점진적 적응) | BIRCH | 새로운 장치 순도: 0.87
새로운 장치 공유율: 0.72
알려진 장치 정확도: 0.71
업데이트 시간: 0.13 초 | BIRCH 는 새로운 장치를 효율적으로 포착하고 업데이트 비용이 낮음. 하지만 적응 후 전체 NMI 는 감소하고 기존 장치 정확도가 일부 저하됨. |
| RQ2 (점진적 적응) | MiniBatchKMeans | 순도: 0.00
공유율: 0.00 | 구형 클러스터 가정으로 인해 IoT 트래픽의 복잡한 분포를 처리하지 못해 실패. |

• 트레이드오프 (Trade-off): DBSCAN 은 정적 환경에서 높은 정확도 (순도) 를 제공하지만, 점진적 학습이 불가능함. 반면 BIRCH 는 유연한 적응이 가능하지만, 새로운 장치를 추가할 때 기존 클러스터의 일관성 (Global Coherence) 이 다소 저하되는 한계가 있음.

4. 주요 기여 (Key Contributions)

1. 패킷 효율적인 프로파일링 파이프라인: 레이블 없이도 네트워크 흐름 특징만으로 IoT 장치를 식별하는 비지도 학습 파이프라인을 제시.
2. 실제 환경 기반 평가: 짧은 캡처가 아닌 119 일간의 장기 D-IoT 데이터셋을 사용하여 시간적 드리프트 (Temporal Drift) 와 다양한 신규성 조건을 실증적으로 평가.
3. 점진적 적응 메커니즘 검증: BIRCH 를 활용한 점진적 업데이트가 새로운 장치 식별에 유효함을 입증하되, 기존 장치 정확도와의 균형 (Trade-off) 을 정량적으로 분석.
4. 평가 지표의 확장: 단순 정확도뿐만 아니라 NMI, 실루엣, 순도 (Purity), 공유율 (Share) 등 클러스터 품질과 적응 능력을 종합적으로 측정하는 프레임워크 제공.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 접근: 고비용의 딥러닝 모델이나 대량의 레이블 데이터 없이도, 경량화된 특징과 비지도 학습을 통해 IoT 네트워크에서 장치 지문을 생성하고 유지할 수 있는 실용적인 경로를 제시함.
• 하이브리드 전략의 필요성: 단일 모델이 정적 프로파일링과 동적 적응을 모두 완벽하게 수행하기는 어렵다는 점을 발견. 따라서 DBSCAN 으로 초기 베이스라인을 구축하고, BIRCH 로 점진적 업데이트를 수행하는 2 단계 전략이 가장 효과적임.
• 한계 및 향후 과제:
  • BIRCH 의 하위 클러스터 분할로 인한 라벨 매핑 복잡성.
  • 패킷 헤더/흐름 메타데이터에 의존하므로, 트래픽이 암호화되거나 집계된 환경에서는 성능 저하 가능성.
  • 장기적인 행동 드리프트를 평가하기 위한 롤링 윈도우 (Rolling Window) 평가 및 주기적 재학습 기준 마련 필요.

이 연구는 변화무쌍한 IoT 환경에서 보안과 관리를 위한 적응형 장치 식별 시스템의 기초를 마련하며, 리소스가 제한된 환경에서도 확장 가능한 솔루션을 제시한다는 점에서 의의가 큽니다.