💻 computer science

DKD-KAN: A Lightweight knowledge-distilled KAN intrusion detection framework, based on MLP and KAN

이 논문은 리소스가 제한된 환경에서 실시간 침입 탐지를 위해 고성능 KAN(콜모고로프-아르놀드 네트워크) 을 교사 모델로 활용하여 경량화된 MLP(다층 퍼셉트론) 학생 모델을 지식 증류 (DKD) 기법으로 훈련시킨 'DKD-KAN' 프레임워크를 제안하며, WADI 및 SWaT 데이터셋에서 모델 크기를 획기적으로 줄임과 동시에 기존 단일 MLP 대비 F1 점수를 크게 향상시킨 것을 보여줍니다.

원저자: Mohammad Alikhani

게시일 2026-03-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammad Alikhani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏭 배경: 공장이 해커의 표적이 되다

현대 사회의 공장, 발전소, 수도관 같은 시설은 컴퓨터로 제어됩니다 (이것을 사이버 - 물리 시스템이라고 합니다). 하지만 해커들이 이 시스템을 해킹하면 큰 재앙이 일어날 수 있습니다. 그래서 우리는 **해킹을 실시간으로 찾아내는 '경비원 (침입 탐지 시스템)'**이 필요합니다.

하지만 문제는 이 경비원들이 너무 무겁다는 점입니다.

기존 방식: 해킹 패턴을 완벽하게 분석하려면 거대한 두뇌 (고성능 AI) 가 필요합니다. 하지만 공장 현장의 작은 컴퓨터 (에지 디바이스) 에는 이런 거대한 두뇌를 넣을 공간과 전력이 부족합니다.
목표: "거대한 두뇌의 지능"을 "작은 두뇌"에 옮겨서, 공간과 전력은 적게 쓰면서 똑똑한 경비원을 만들고 싶습니다.

🧠 핵심 아이디어: "지식 전수 (지식 증류)"의 마법

이 연구는 DKD-KAN이라는 방법을 사용했습니다. 이를 세 가지 단계로 나누어 비유해 보겠습니다.

1. 거장 (Teacher KAN) 을 양성하다

먼저, **KAN (콜모고로프 - 아르놀드 네트워크)**이라는 아주 똑똑하지만 무거운 AI 모델을 훈련시킵니다.

비유: 이 모델은 해킹 전문가로 훈련된 **거장 (Master)**입니다. 그는 수만 가지 해킹 패턴을 눈치채고, 복잡한 데이터 속에서 미세한 이상 징후를 찾아냅니다. 하지만 이 거장은 몸이 너무 커서 (데이터 양이 많고 계산이 복잡해서) 작은 공장 경비실로 들어갈 수 없습니다.

2. 견습생 (Student MLP) 을 가르치다

이제 이 거장의 지식을 **MLP (다층 퍼셉트론)**라는 아주 작고 가벼운 모델에게 전수합니다.

비유: 이 작은 모델은 **견습생 (Apprentice)**입니다. 몸은 작고 가볍지만, 거장에게 배우면 똑똑해질 수 있습니다.
문제점: 보통은 거장이 "이건 해킹이야, 이건 아니야"라고 정답만 알려줍니다. 하지만 해커들은 매우 교묘해서, "해킹이 아닌 것 같은 해킹"이나 "해킹인 것 같은 정상" 같은 애매한 경우가 많습니다. 정답만 알려주면 견습생은 이런 미묘한 차이를 놓치기 쉽습니다.

3. 해킹의 미묘한 차이를 가르치는 'DKD' 기술 (핵심)

이 연구의 핵심은 **DKD (Decoupled Knowledge Distillation, 분리된 지식 증류)**라는 새로운 교육법입니다.

기존 교육법: 거장이 "이건 해킹 (Target)"이라고 말하면, 나머지 모든 것 (Non-target) 은 그냥 "해킹이 아님"으로 처리합니다. 이때 거장이 "해킹이 아님"이라고 확신하는 경우, 견습생은 그 부분을 배우는 데 소홀해집니다.
DKD 교육법 (이 논문의 방법): 거장은 두 가지를 따로따로 가르칩니다.
1. "이건 확실히 해킹이야!" (타겟 클래스 학습)
2. "이건 해킹이 아니야. 특히 이 부분은 해킹과 구별되는 특징이 있어." (비타겟 클래스 학습)
비유: 거장이 견습생에게 "해킹은 A, B, C 특징이 있어"라고 가르치는 동시에, **"정상인 D, E, F 는 해킹과 비슷해 보이지만 사실은 달라. 이 미묘한 차이를 꼭 기억해!"**라고 따로 강조해서 가르치는 것입니다.
결과: 견습생은 거장의 지식을 더 정교하게 흡수하게 됩니다.

📊 성과: 작은 몸집, 거대한 실력

연구진은 이 방법을 **SWaT (수도 시스템)**와 **WADI (수자원 분배 시스템)**라는 실제 데이터로 테스트했습니다.

압도적인 가벼움:
- 거장 (KAN) 모델은 약 2 만 개 이상의 파라미터 (지식 조각) 가 필요했습니다.
- 하지만 견습생 (DKD-MLP) 모델은 1,600~2,500 개만 있으면 됩니다. 거장의 2% 미만의 크기입니다.
- 비유: 거장 (거인) 의 지식을 작은 쥐 (견습생) 가 온전히 받아들인 셈입니다.
뛰어난 성능:
- 보통 모델을 줄이면 성능도 떨어지기 마련입니다. 하지만 이 방법은 거장만큼이나 뛰어난 성능을 냈습니다.
- 특히, 해킹을 놓치지 않고 찾아내는 능력 (F1 점수) 이 기존 작은 모델보다 3~4% 나 향상되었습니다.
- 비유: 작은 경비실에서도 거장만큼 해커를 잘 찾아냅니다.
시각적 증명:
- 논문 속 그림 (t-SNE) 을 보면, 거장이 해커와 정상인을 명확하게 구분해 놓은 공간에, 작은 견습생도 거의 똑같이 구분해 놓은 것을 볼 수 있습니다.

💡 결론: 왜 이 연구가 중요한가요?

이 연구는 **"무조건 큰 AI 가 좋은 것은 아니다"**를 증명했습니다.

실용성: 전력도 없고 공간도 없는 공장 현장의 작은 컴퓨터에 바로 설치할 수 있습니다.
신뢰성: 거장의 지식을 완벽하게 전달받아, 해킹을 놓치지 않습니다.
혁신: 단순히 모델을 줄이는 게 아니라, **어떻게 가르치느냐 (DKD)**에 따라 작은 모델도 거장의 능력을 발휘할 수 있음을 보여줬습니다.

한 줄 요약:

"거대한 AI 거장의 지식을, '미묘한 차이'까지 꼼꼼히 가르치는 새로운 교육법으로 작은 AI 견습생에게 전수하여, 제한된 환경에서도 해킹을 완벽하게 막아내는 시스템을 만들었습니다."

1. 문제 정의 (Problem)

제한된 자원 환경: 사이버 - 물리 시스템 (CPS) 및 산업 제어 시스템 (ICS) 의 보안은 엣지 환경이나 실시간 모니터링 시스템과 같이 계산 자원이 제한된 환경에서 수행되는 경우가 많습니다. 이러한 환경에서는 모델의 크기와 추론 시간이 매우 중요합니다.
기존 딥러닝 모델의 한계: 기존 딥러닝 기반 침입 탐지 시스템 (IDS) 은 높은 표현 능력을 가지지만, 매개변수 수가 많아 자원 제약이 있는 장치에 배포하기 어렵고, 복잡한 전처리 (PCA, 윈도우링 등) 가 필요하여 실시간 성능이 저하될 수 있습니다.
데이터 불균형 및 전처리 문제: 많은 IDS 데이터셋에서 공격과 정상 트래픽의 불균형이 심하며, 기존 방법들은 과소표본 (oversampling) 이나 특징 선택 (feature selection) 을 사용하지만, 이는 클래스 경계를 흐리게 하거나 중요한 특징을 누락시킬 위험이 있습니다.

2. 제안 방법론 (Methodology)

이 논문은 **Kolmogorov-Arnold Network (KAN)**을 교사 (Teacher) 모델로 활용하고, Decoupled Knowledge Distillation (DKD) 기법을 적용하여 경량화된 Multi-Layer Perceptron (MLP) 학생 (Student) 모델을 학습시키는 프레임워크를 제안합니다.

가. 교사 모델: KAN (Kolmogorov-Arnold Network)

구조: 기존 MLP 가 가중치 (weights) 를 학습하는 반면, KAN 은 노드 간의 연결선에 1 차원 활성화 함수 (spline 기반) 를 배치하고 이를 학습합니다.
장점: Kolmogorov-Arnold 표현 정리에 기반하여 복잡한 함수를 근사하는 데 뛰어나며, 특징의 중요도를 시각화할 수 있어 해석 가능성 (interpretability) 이 높습니다.
역할: 높은 정확도로 공격을 탐지하는 고용량 모델로 학습된 후, 학생 모델에게 지식을 전달하는 역할을 수행합니다.

나. 학생 모델: MLP

구조: 매우 적은 수의 매개변수를 가진 경량화된 다층 퍼셉트론입니다.
목표: KAN 교사 모델의 성능을 유지하면서, 엣지 장치에 배포 가능한 수준의 모델 크기로 축소하는 것입니다.

다. 학습 기법: Decoupled Knowledge Distillation (DKD)

개념: 기존 지식 증류 (KD) 는 정답 클래스와 오답 클래스의 지식을 하나의 손실 함수로 결합하지만, DKD 는 이를 **타겟 클래스 (Target Class)**와 **비타겟 클래스 (Non-Target Class)**로 분리하여 독립적으로 학습합니다.
손실 함수 구성:
- $L_{DKD} = \alpha \cdot TCKD + \beta \cdot NCKD$
- 여기서 $\alpha$ 와 $\beta$ 는 각각 타겟 클래스와 비타겟 클래스에 대한 가중치 하이퍼파라미터입니다.
- 이 방식은 잘 분류된 샘플에서도 비타겟 클래스의 지식이 소실되는 기존 KD 의 단점을 해결하고, 학생 모델이 클래스 간의 미묘한 차이를 더 잘 학습하도록 돕습니다.
전처리: 복잡한 PCA 나 윈도우링을 배제하고, 단순한 표준화 (Standard Scaling) 만 수행하여 실시간 추론 속도를 높였습니다.

3. 주요 기여 (Key Contributions)

DKD 기반 모델 압축: 고성능 KAN 교사 모델을 통해 경량 MLP 학생 모델을 학습시켜, 모델 크기를 획기적으로 줄이면서도 성능을 유지하는 방법을 제시했습니다.
초경량 및 고속 탐지: 복잡한 전처리 없이 기본 표준화만으로 동작하며, 최소한의 계산 자원으로 실시간 침입 탐지가 가능합니다.
성능 유지: 극심한 모델 압축 (매개변수 2% 미만) 이 발생해도 탐지 성능이 크게 저하되지 않음을 입증했습니다.
실증적 검증: 공개된 두 가지 산업 제어 시스템 데이터셋 (SWaT, WADI) 을 통해 방법론의 유효성을 검증했습니다.

4. 실험 결과 (Results)

논문은 SWaT와 WADI 두 가지 데이터셋을 사용하여 실험을 수행했습니다.

모델 크기 감소:
- SWaT: KAN 교사 모델 (약 22,260 개 매개변수) 대비 DKD-MLP 학생 모델은 1,622 개의 매개변수만 사용하여 약 92.7% 감소했습니다.
- WADI: KAN 교사 모델 (약 17,500 개 매개변수) 대비 DKD-MLP 학생 모델은 2,522 개의 매개변수만 사용하여 약 85.6% 감소했습니다.
성능 향상 (F1-Score):
- SWaT: 단순 MLP 학생 모델 (F1: 91.27%) 대비 DKD-MLP 모델은 **95.45%**의 F1-Score 를 기록하여 4.18% 향상되었습니다.
- WADI: 단순 MLP 학생 모델 (F1: 95.38%) 대비 DKD-MLP 모델은 **98.45%**의 F1-Score 를 기록하여 3.07% 향상되었습니다.
시각화 분석: t-SNE 시각화 결과, DKD-MLP 모델은 교사 모델 (KAN) 과 유사한 클래스 분리 패턴을 보여주며, 특히 공격 샘플의 군집화가 효과적으로 이루어진 것을 확인했습니다.

5. 의의 및 결론 (Significance)

실용성: 이 연구는 고비용의 딥러닝 모델을 엣지 디바이스에 배포할 수 있는 실용적인 해결책을 제시합니다. KAN 의 강력한 표현 능력을 지식 증류를 통해 MLP 로 전이함으로써, 자원 제약이 있는 산업 환경에서도 고성능 침입 탐지가 가능해졌습니다.
DKD 의 효과: 타겟/비타겟 클래스를 분리하여 학습하는 DKD 기법이 불균형 데이터와 복잡한 사이버 공격 패턴을 탐지하는 데 매우 효과적임을 입증했습니다.
향후 과제: SWaT 데이터셋에서의 하이퍼파라미터 튜닝 (특히 $\lambda$ , $w_{warmup}$ 등) 이 민감하여 불안정성을 초래할 수 있으므로, 체계적인 최적화 접근법이 필요함을 지적했습니다.

요약하자면, 이 논문은 KAN 의 높은 성능과 DKD 의 효율적인 지식 전이를 결합하여, 매우 작은 크기의 MLP 모델로 산업용 침입 탐지 시스템의 실시간성과 정확성을 동시에 달성한 획기적인 연구입니다.