Robust Unsupervised Network Intrusion Detection via Federated Learning with Selective Aggregation under Anomalous Sample Contamination

인터넷을 수십억 개의 작은 장치들—스마트 냉장고, 보안 카메라, 공장 센서 등—이 매초 서로 대화를 나누는 거대하고 북적이는 도시라고 상상해 보세요. 이것이 바로 사물인터넷(IoT)입니다. 이러한 연결성은 삶을 편리하게 만들지만, 동시에 모든 장치를 디지털 도둑들을 위한 잠재적인 앞문으로 변모시킵니다. 이 도시를 안전하게 지키기 위해, 네트워크 침입 탐지 시스템(NIDS)이라는 이름의 보안 요원들이 의심스러운 움직임을 포착하고자 트래픽을 끊임없이 스캔합니다. 전통적으로 이 요원들은 '정상'이 무엇인지 배우기 위해, 마치 모든 알려진 범죄자에 대한 파일을 가진 경찰 아카데미처럼 라벨링된 사례들을 학습합니다. 하지만 현실 세계에서는 새로운 유형의 악성코드가 누군가 라벨을 붙이는 속도보다 더 빠르게 등장하며, 완벽하고 깨끗한 '정상' 트래픽 목록을 요구하는 것은 오타가 하나도 없는 도서관을 요구하는 것과 같습니다.

여기서 '비지도 학습(unsupervised learning)'이 등장합니다. 가르치는 선생님이 나쁜 놈들을 지목해 주는 대신, 이 시스템들은 스스로 정상적인 행동의 형태를 학습하고 그와 다르게 보이는 것을 포착하려고 노력합니다. 하지만 여기에는 함정이 있습니다. 만약 도서관 자체가 이미 오염되어 있다면 어떻게 될까요? 만약 시스템이 학습하고 있는 '정상' 트래픽 안에 몰래 숨어든 감염된 장치들이 있다면 어떨까요? 시스템이 이 더러운 데이터로부터 학습한다면, 악성코드를 정상적인 것으로 착각하기 시작할 것이고, 결국 도시는 무방비 상태가 될 것입니다. 여러분이 읽게 될 이 논문은 바로 이 문제를 다룹니다. 즉, 팀워크와 약간의 수학적 탐정 기술을 활용하여, 훈련 데이터가 몇몇 악한 행위자들에 의해 비밀리에 오염되더라도 예리함을 유지하는 보안 요원을 구축하는 방법입니다.

---

오염된 우물과 팀워크 솔루션

사이버 보안의 세계에서, 여러분이 로봇에게 가짜 동전을 구별하는 법을 가르치려 한다고 상상해 보세요. 여러분은 로봇이 공부할 수 있도록 한 바구니의 동전을 주며, 그것들이 모두 진짜이기를 바랍니다. 하지만 여러분도 모르는 사이에 몇 개의 불량 동전이 섞여 들어갔습니다. 만약 로봇이 이 가짜 동전들을 너무 많이 공부하게 되면, 로봇은 "오, 이 이상한 모양이 사실은 정상적인 것이구나!"라고 생각하기 시작하여 나중에 진짜 가짜들을 잡아내지 못할 수도 있습니다. 이것이 바로 '이상치 샘플 오염(anomalous sample contamination)' 문제입니다. 현실 세계에서 수천 개의 IoT 장치로부터 네트워크 트래픽을 수집하여 보안 AI를 훈련시킬 때, 그중 일부 장치는 이미 감염된 상태일 수 있습니다. 우리는 어떤 장치가 감염되었는지 쉽게 알 수 없으므로, 우리가 가지고 있다고 믿는 '깨끗한' 훈련 데이터는 실제로는 양질의 데이터와 나쁜 데이터가 섞여 있는 상태입니다.

이 논문의 저자인 카미구치 쇼헤이(Shoheis Kamiguchi)와 니시오 타카유키(Takayuki Nishio)는 FLANDRE(Federated Learning-assisted Anomalous Node Detection & REmoval)라고 불리는 솔루션을 제안합니다. 그들의 핵심 아이디어는 모든 데이터를 하나의 거대한 바구니에 섞으려고 노력하는 대신, 각 장치가 로컬에서 자신만의 작은 모델을 훈련시키고, 오직 그들이 배운 '교훈'(수학적 업데이트)만을 중앙 서버와 공유하게 하는 것입니다. 이 방식을 **연합 학습(Federated Learning)**이라고 합니다.

보통 사람들은 연합 학습이 단순히 데이터 프라이버시를 지키기 위해 중앙 서버에 데이터를 올리지 않는 것이라고 생각합니다. 하지만 저자들은 그 안에서 비밀스러운 초능력을 발견했습니다. 그들은 100개의 장치로 이루어진 팀에서 만약 소수(예를 들어 10%)만이 감염되었다면, '나쁜' 데이터는 아주 적은 소수에 불과하다는 점을 깨달았습니다. 표준적인 연합 학습에서는 중앙 서버가 모든 업데이트를 평균화합니다. 감염된 장치들이 매우 적기 때문에, 그들의 이상하고 '오염된' 교훈은 수백 개의 '좋은' 장치들에 의해 묻혀버립니다. 이는 마치 거대한 냄비의 국물 맛을 바꾸기 위해 핫소스 한 방울을 넣는 것과 같습니다. 국물 맛은 여전히 순한 상태를 유지할 것입니다. 저자들은 이 '소수가 무시되는' 약점을 활용하여 이를 강점으로 바꾸기로 했습니다.

탐정 게임: 나쁜 사과 찾기

하지만 나쁜 장치들이 매우 시끄럽거나 오염도가 높다면 단순히 업데이트를 평균 내는 것만으로는 충분하지 않습니다. 그래서 FLANDRE는 두 번째 방어 계층인 선택적 집계(Selective Aggregation) 메커니즘을 추가합니다. 중앙 서버를 모든 이가 어디에 서 있는지 지도를 들고 있는 탐정이라고 생각해 보세요.

탐정이 작동하는 방식은 다음과 같습니다:

1. 워밍업(The Warm-up): 먼저, 서버는 모두가 잠시 동안 훈련할 수 있도록 허용합니다.
2. 거리 체크(The Distance Check): 서버는 각 장치의 새로운 모델이 그룹의 '평균' 모델과 비교했을 때 얼마나 변했는지 확인합니다.
3. 클러스터링(The Clustering): 서버는 EM(Expectation-Maximization) 알고리즘이라는 수학적 도구를 사용하여, 모델이 중심에서 얼마나 떨어져 있는지에 따라 장치들을 두 개의 클러스터로 그룹화합니다.
   • 클러스터 A: '착한 사람들'. 이들의 모델은 모두 정상적인 트래픽으로부터 학습하기 때문에 평균에 가깝습니다.
   • 클러스터 B: '나쁜 사람들'. 이들의 모델은 감염되고 이상한 데이터로부터 학습하려 하기 때문에 중심에서 멀리 벗어나 있습니다.
4. 차단(The Cut): 서버는 단순히 '나쁜 사람들'(클러스터 B)을 무시하고, 오직 '착한 사람들'(클러스터 A)의 업데이트만을 사용하여 메인 글로벌 모델을 업데이트합니다.

이는 마치 선생님이 몇몇 학생들이 완전히 다르고 틀린 방식으로 수학 문제를 풀려고 하는 것을 알아차리는 것과 같습니다. 그 몇 명의 학생이 전체 학급을 혼란스럽게 만들도록 두는 대신, 선생님은 그들을 조용히 그룹 토론에서 제외시켜, 최종 답안이 오직 올바른 논리에 기반하도록 보장하는 것과 같습니다.

실험실에서의 결과

저자들은 세 가지 유명한 사이버 보안 데이터셋인 ToN IoT, CSE-CIC-IDS2018, NF-UQ-NIDS-v2를 통해 이 아이디어를 테스트했습니다. 그들은 전체 훈련 데이터의 10%에서 40%가 실제로 악성 데이터이며, 이것이 감염된 몇몇 장치의 데이터 안에 숨겨져 있는 시나리오를 시뮬레이션했습니다.

결과는 인상적이었습니다. FLANDRE를 다른 방법들과 비교했을 때:

• 표준 중앙 집중식 훈련(Standard Centralized Training): 모든 데이터(나쁜 부분 포함)를 하나로 섞어서 하나의 큰 모델을 훈련시켰을 때, 성능이 크게 떨어졌습니다. 예를 들어, IDS2018 데이터셋에서 F1 점수(정확도를 측정하는 지표)는 0.590까지 떨어졌습니다.
• 최신 기술 경쟁자들(State-of-the-Art Competitors): 그들은 선별적 데이터 분리를 시도하는 최상위 기법인 LOE-S와 테스트를 진행했습니다. LOE-S는 동일한 데이터셋에서 0.586을 기록하여, 표준 방식보다 겨우 나은 수준을 보였습니다.
• FLANDRE: 그들의 새로운 방식은 IDS2018에서 0.823, ToN IoT에서 0.969, NF-UQ-NIDS에서 0.838을 기록했습니다.

결정적으로, FLANDRE의 점수는 훈련 데이터가 처음부터 100% 깨끗했던 '이상적인(Ideal)' 시나리오와 거의 일치했습니다. ToN IoT 데이터셋에서 FLANDRE는 이상적인 점수와 단 0.004점 차이밖에 나지 않았던 반면, 다른 방법들은 훨씬 뒤처졌습니다. 이는 의심스러운 클라이언트를 걸러냄으로써 FLANDRE가 훈련 과정의 '독을 제거(un-poison)'할 수 있음을 시사합니다.

그들은 또한 시스템이 다양한 감염 수준을 어떻게 처리하는지 테스트했습니다. 네트워크 내의 나쁜 데이터 양이 증가하더라도 FLANDRE는 안정적으로 유지되었습니다. 흥적으로, 감염된 장치들이 매우 높은 양의 나쁜 데이터(예: 로컬 파일의 80%가 악성코드인 경우)를 가지고 있을 때도 시스템은 잘 작동했지만, 감염이 매우 미묘할 경우에는 다른 측정 방식을 사용하는 특정 변형 방식(FLANDRE-R)이 다소 어려움을 겪었습니다. 그러나 주요 FLANDRE 방식은 전반적으로 견고했습니다.

결론

이 논문은 모든 사이버 보안 문제를 해결했다고 주장하는 것이 아니라, 비밀리에 오염되었을 수 있는 데이터로 AI를 훈련시키는 매우 실제적인 문제를 다루는 영리하고 실용적인 방법을 제시합니다. 개인정보 보호뿐만 아니라 소수의 악한 행위자의 영향력을 자연스럽게 억제하기 위해 연합 학습을 사용하고, 여기에 '탐정' 단계를 추가하여 이상치를 퇴출함으로써, 저자들은 속임수를 쓰는 사람들이 가득한 교실에서도 '정상'이 진정 무엇인지를 학습하는 시스템을 만들어냈습니다.

시뮬레이션에서 FLANDRE는 네트워크를 보호하기 위해 어떤 장치가 감염되었는지 정확히 알 필요가 없다는 것을 증명했습니다. 그저 다수의 의견을 따르고, 소음이 심한 소수를 무시할 용기만 있으면 됩니다. 이는 때때로 진실을 찾는 가장 좋은 방법은 여러분을 혼란스럽게 하려는 사람들의 말에 귀를 기울이지 않는 것임을 상기시켜 줍니다.