CEDF-CS: Class-Balanced Prototype Condensationfor Resource-Efficient and Leak-Free Intrusion Detection in Industrial IoT and Enterprise Networks

당신이 거대한, 혼란스러운 기차역에서 도둑을 찾아내는 보안 요원을 가르치려 한다고 상상해 보십시오. 역에는 수백만 명의 승객이 있지만, 그들 중 99%는 무고한 여행객이며, 오직 아주 적은 수의 도둑만이 다양한 변장을 하고 숨어 있습니다(어떤 이들은 해커처럼 보이고, 어떤 이들은 브루트 포스 공격자처럼 보이며, 어떤 이들은 웹 침입자처럼 보입니다).

문제: "너무 커서 학습할 수 없는" 딜레마
산업용 사물인터넷(IIoT)과 엔터프라이즈 네트워크의 세계에서 보안 시스템은 정확히 이와 같은 문제에 직면합니다. 그들은 수백만 개의 네트워크 "플로우"(예를 들어 기차표와 같은)를 가진 데이터셋을 가지고 있지만, "도둑"(공격)은 너무나 희귀해서 무고한 군중의 소음에 묻혀 버립니다. 스마트한 AI가 이를 포착하도록 학습시키려면 보통 슈퍼컴퓨터(GPU)와 많은 시간이 필요합니다. 하지만 만약 공장의 스마트 센서와 같이 네트워크의 가장자리(edge)에 있는 작고 저렴한 장치에서 이를 실행하고 싶다면 어떻게 될까요? 데이터를 축소해야 하지만, 단순히 희귀한 도둑들을 버려버리면 AI는 결코 그들을 포착하는 법을 배울 수 없습니다.

함정: "복사-붙여넣기"의 실수
최 최근 일부 연구자들은 데이터를 축소하기 위한 영리한 트릭을 시도했습니다. 그들은 동일한 그룹에서 추출한 기록 쌍(예를 들어 두 개의 "도둑" 기록)을 가져와서, 마치 두 개의 스무디를 섞어 하나의 더 작은 스무디를 만드는 것처럼 하나로 평균을 내어 합쳤습니다. 그들은 데이터셋이 아주 작아질 때까지 이 과정을 반복했습니다. 그들은 이 방식이 완벽에 가까운 점수를 낸다며 매우 효과적이라고 주장했습니다.

논문의 결정적 폭로: 마술의 정체는 거짓이었다
저자인 조지 카라즈(George Karraz)와 아나스 샤힌(Anas Shahin)은 커튼을 걷어 올렸습니다. 그들은 그 "완벽한 점수"가 사실 **데이터 누수(data leakage)**에 의한 마술이었다는 것을 발견했습니다.

이렇게 생각해 보십시오: 높은 점수를 받은 연구자들은 전체 역의 승객들을 통째로 가져와서 섞어버린 다음, 보안 요원에게 그 섞인 군중 속에서 도둑을 찾아내라고 요청했습니다. 당연히 보안 요원은 잘 해냈을 것입니다! 왜냐하면 보안 요원이 이미 공부했던 사람들을 그대로 섞어 만든 군중을 대상으로 테스트를 받았기 때문입니다. 이는 마치 학생에게 시험을 보기 전에 정답지를 미리 주고, 똑같은 문제로 성적을 매기는 것과 같습니다.

저자들이 테스트를 공정하게 수정하여, 혼합(blending)을 하기 전에 역을 "훈련" 그룹과 "테스트" 그룹으로 나누었을 때, 이 "혼합" 트릭은 무너졌습니다. 보안 요원의 성능은 급락했습니다. 한 데이터셋에서는 정확도가 화려한 98%에서 처참한 63%로 떨어졌습니다. 이 논문은 이러한 단순 평균 방식이 희귀한 공격의 고유한 세부 사항을 파괴하여, AI가 그들을 보이지 않게 만든다는 것을 증명합니다.

해결책: "클래스 균형 프로토타입(Class-Balanced Prototype)" 전략
데이터를 축소하는 것을 포기하는 대신, 저자들은 CEDF-CS라는 새로운 전략으로 프로세스를 재설계했습니다.

당신에게 보안 요원에게 보여줄 모든 유형의 승객을 대표하는 사진을 살 수 있는 제한된 예산이 있다고 상상해 보십시오.

1. 기존 방식: 당신은 "무고한 여행객"의 사진 1,0로 구매하고, "희귀한 해커"의 사진은 단 1장만 구매합니다. 왜냐냐 하면 실제 군중 속에 해커가 그만큼밖에 없기 때문입니다. 보안 요원은 여행객을 식별하는 법은 배우지만, 해커는 잊어버리게 됩니다.
2. CEDF-CS 방식: 저자들은 이렇게 말합니다. "아니요! 예산은 엄격하지만, 우리는 이를 공정하게 사용해야 합니다." 그들은 예산이 **클래스 균형(class-balanced)**을 이루도록 강제합니다. 전체 역에 해커가 단 3명뿐이라 할데도, 그들은 훈련 세트에 충분한 "슬롯"을 할당하여 그 해커의 완벽하고 대표적인 사진을 만들어냅니다. 그들은 단순히 데이터를 흐릿하게 섞는 대신, 스마트한 클러스터링 방법(k-means)을 사용하여 각 그룹의 최선의 사례들을 찾아냅니다.

결과: 작은 데이터, 큰 지능
그들이 이 새로운 방법을 두 개의 거대한 데이터셋(119만 개의 플로우가 있는 WUSTL-IIoT-2021 및 283만 개의 플ow가 있는 CICIDS2017)에서 테스트했을 때, 공정한 테스트 환경에서는 결과가 놀라웠습니다.

• 산업용 데이터셋(WSTUL-IIoT)에서: 그들은 일반 컴퓨터 프로세서(CPU)만을 사용하여(화려한 그래픽 카드는 필요 없이) 훈련 데이터를 32배(일부 설정에서는 최대 512배)까지 축소하는 데 성공했습니다. 결과는 어떠했을까요? AI는 F1 점수 0.996과 균형 정확도(balanced accuracy) 0.9996으로 공격을 탐지했습니다. 이는 전체의 방대한 데이터셋으로 훈련하는 것과 통계적으로 구별할 수 없는 수준입니다. 이는 마치 수백만 장의 사진이 담긴 도서관만큼이나 잘 작동하는 작은 사진첩으로 보안 요원을 가르치는 것과 같습니다.
• 엔터프라이즈 데이터셋(CICIDS2017)에서: 이 데이터셋에는 8가지 다른 유형의 공격이 있었으며, 일부는 믿기 힘들 정도로 희귀했습니다. 여기서 "균형 잡힌" 접근 방식(Variant F)은 희귀한 도둑들을 잡아내는 영웅 역할을 하여, 균형 정확도를 0.843까지 끌어올렸습니다(전체 데이터를 사용했을 때의 0.659와 비교하여). 그러나 논문은 트레이드오프(trade-off)를 언급합니다. 만약 모든 클래스의 개별적인 "정밀도(precision)"를 더 중요하게 생각한다면, 약간 다른 버전인 (unbalanced k-means를 사용하는) Variant E가 매크로 F1(macro-F1) 0.699를 기록하며 전체 데이터 훈련 점수인 0.671을 앞질렀습니다.

이것이 중요한 이유
이 논문은 "단순 평균" 방식이 공정한 테스트에서 실패하기 때문에 실세계 보안를 위한 실행 가능한 솔루션이 될 수 없음을 명시적으로 배제합니다. 대신, 그들은 **클래스 균형 프로토타입 응축(class-balanced prototype condensation)**이 진짜 해결책이라고 제안합니다.

저자들은 결과가 단순히 운이 아니라는 것을 보장하기 위해 다섯 가지 서로 다른 랜덤 시드(random seeds)(실험을 약간씩 다른 시작점에서 다섯 번 실행하는 것)에 걸쳐 이를 측정했습니다. 저자들은 이 방법이 특정 벤치마크에서 작동한다는 것에 확신을 가지고 있지만, 아직 실제 공장의 라이브 트래픽에 대해 테스트하지 않았음을 인정하며, 이를 향후 과제로 제시합니다.

핵 요약
훌륭한 침입 탐지 시스템을 구축하기 위해 슈퍼컴퓨터나 거대한 데이터셋이 필요한 것은 아닙니다. 단지 데이터를 축소하는 방법에 대해 똑똑해지기만 하면 됩니다. 희귀한 공격이 훈련의 주목을 공정하게 받을 수 있도록 보장하고, 데이터 누수라는 "속임수"를 피함으로써, 당신은 거대한 데이터셋만큼이나 잘 작동하는 강력한 보안 요원을 작은 CPU 전용 장치에서도 훈련시킬 수 있습니다. 이는 효율성, 공정성, 그리고 소음 속에 숨으려는 나쁜 놈들을 잡는 것 모두를 위한 승리입니다.