ML Defender (aRGus NDR): An Open-Source Embedded ML NIDS for Botnet and Anomalous Traffic Detection in Resource-Constrained Organizations

1. 문제 정의 (Problem Statement)

• 대상: 병원, 학교, 소규모 기업 등 엔터프라이즈급 보안 솔루션을 감당할 수 없는 자원 제약형 조직.
• 위협: 랜섬웨어, DDoS 공격 등이 이러한 조직에 불균형적으로 큰 피해를 입히고 있음 (예: 2023 년 바르셀로나 병원 랜섬웨어 공격).
• 기존 솔루션의 한계:
  • 시그니처 기반 NIDS (Snort, Suricata 등): 알려진 패턴에 의존하여 새로운 변종 (Zero-day) 을 탐지하지 못함.
  • 기존 ML 기반 연구: 대부분 GPU 인프라를 요구하거나 클라우드 의존적이며, 실제 배포 가능한 시스템으로 전환되지 않음.
  • 비용: 고가의 전용 하드웨어나 보안 운영 인력이 필요하여 소규모 조직이 접근하기 어려움.

2. 방법론 및 아키텍처 (Methodology & Architecture)

저자는 ML Defender (aRGus NDR) 라는 오픈소스 네트워크 침입 탐지 및 대응 (NDR) 시스템을 제안합니다. 이 시스템은 상용 하드웨어 (약 150~200 달러) 에서 실행 가능한 경량화된 임베디드 ML 파이프라인을 특징으로 합니다.

핵심 아키텍처 (6 단계 파이프라인)

1. eBPF/XDP Sniffer: 커널 네트워크 스택 이전의 XDP 훅에서 제로-コピー (Zero-copy) 패킷 캡처 수행.
2. Ring Consumer: 양방향 플로우 상태 재구성 및 28 가지 행동 특징 (Feature) 추출.
3. Fast Detector (규칙 기반): 10 초 슬라이딩 윈도우 기반의 휴리스틱 엔진 (외부 IP 속도, SMB 연결 수, 포트 다양성 등).
4. ML Detector (임베디드 ML):
   • 랜덤 포레스트 (Random Forest): C++20 으로 컴파일된 임베디드 모델 (GPU 불필요).
   • ONNX Runtime: 내부 위협 탐지를 위해 사용.
   • 동작: 28 가지 특징을 기반으로 랜섬웨어, DDoS, 트래픽 이상, 내부 위협을 분류.
5. RAG Subsystem: FAISS + SQLite 를 활용한 실시간 이벤트 스트림에 대한 자연어 질의 인터페이스 (TinyLlama 로 로컬 실행).
6. Firewall ACL Agent: 탐지 시 ipset/iptables 를 통해 공격자 IP 를 즉시 차단.

핵심 설계 원칙

• 이중 점수 탐지 (Dual-Score Detection): 최종 점수 = max(휴리스틱 점수, ML 점수).
  • 휴리스틱 (Fast Detector) 은 높은 탐지율 (Recall) 을 제공하지만 오탐 (False Positive) 이 많음 (6.61%).
  • ML Detector 는 휴리스틱의 오탐을 억제하여 실제 차단 건수를 0 으로 줄임 (약 500 배 감소).
• 암호화 통신: ChaCha20-Poly1305 및 HMAC-SHA256 을 사용하여 구성 요소 간 통신 및 로그 무결성 보장.
• 배포 모델: 단일 베어메탈 (Bare-metal) 리눅스 노드에서 실행되며, 고가용성을 위한 Warm-Standby 구성 지원.

3. 주요 기여 (Key Contributions)

1. 저비용 고성능 NDR 시스템:
   • GPU 나 클라우드 없이 상용 하드웨어 (150~200 달러) 에서 실시간 ML 추론 수행.
   • C++20 기반의 임베디드 랜덤 포레스트로 0.24~1.06 마이크로초 (µs) 의 초저지연 추론 달성.
2. 인간-AI 협업 엔지니어링 방법론 ("Consejo de Sabios"):
   • 독립 연구자가 7 개의 대형 언어 모델 (Claude, Grok, ChatGPT 등) 을 '동료 검토자'로 활용하여 아키텍처 설계, 결함 식별, 테스트 시나리오를 검증한 방법론.
   • Test-Driven Hardening (TDH): 실패를 증명하는 테스트를 먼저 작성하고, 이를 기반으로 시스템의 견고성을 강화하는 새로운 개발 방법론 제시.
   • 사례: HKDF 컨텍스트 비대칭 오류 (컴포넌트 간 키 불일치) 를 TDH 테스트를 통해 발견하고 수정.
3. 재현 가능한 오픈소스 프로젝트:
   • MIT 라이선스로 공개되며, Vagrant/VirtualBox 환경에서 모든 실험을 재현 가능하게 설계.

4. 평가 결과 (Evaluation Results)

실험 환경: CTU-13 Neris 봇넷 데이터셋 (2011 년) 및 BigFlows 데이터셋. 가상화 환경 (VirtualBox) 에서 수행.

• 탐지 성능 (CTU-13 Neris):

  • F1 Score: 0.9985
  • 정밀도 (Precision): 0.9969
  • 재현율 (Recall): 1.0000 (모든 악성 트래픽 탐지)
  • 거짓 양성률 (FPR): 0.0002% (12,075 개의 정상 트래픽 중 2 건의 오탐).
    • 오탐 원인: VirtualBox 호스트 전용 NIC 에서 생성된 mDNS 멀티캐스트 및 브로드캐스트 프레임 (실제 베어메탈 환경에서는 발생하지 않을 것으로 예상됨).
  • ML 의 효과: Fast Detector 단독 사용 시 FPR 6.61% → ML Detector 추가 시 실제 차단 건수 0 으로 감소 (약 500 배 개선).

• 성능 및 처리량 (Throughput):

  • 처리량: 가상 NIC 한계 (약 34~38 Mbps) 까지 0 패킷 손실, 0 에러 처리.
  • 리소스 사용:
    • CPU: 피크 시 약 3.2 코어 사용.
    • RAM: 전체 파이프라인 약 1.28 GB (안정적).
  • 지연 시간: 추론 지연은 0.24~1.06 µs 로 실시간 차단 가능.

5. 의의 및 한계 (Significance & Limitations)

의의

• 보안의 민주화: 고가의 엔터프라이즈 솔루션이 없는 소규모 조직과 공공기관 (병원, 학교) 에 실시간 AI 기반 보안을 제공.
• 기술적 검증: 임베디드 환경에서 ML 추론이 실시간 네트워크 트래픽 처리에 충분히 유효함을 입증.
• 개발 방법론의 혁신: 독립 연구자가 AI 를 활용한 체계적인 동료 검토를 통해 시스템의 신뢰성을 높인 사례 제시.

한계 및 향후 과제

• 데이터셋 한계: 2011 년 CTU-13 데이터셋과 합성 데이터로 훈련됨. 2020 년 이후의 최신 랜섬웨어 (LockBit 등) 나 암호화된 C2 채널에 대한 검증은 미흡함.
• 가상화 환경: 성능 평가가 VirtualBox 환경에서 이루어졌으며, 베어메탈 환경에서의 실제 성능은 향후 작업 (Future Work) 으로 남음.
• 배포 및 보안: 현재 단일 노드 배포이며, 분산 키 관리 및 HA(고가용성) 클러스터링은 향후 계획됨.

결론

ML Defender 는 자원 제약형 조직을 위한 실용적이고 저렴한 NDR 솔루션의 가능성을 보여주었습니다. 특히 임베디드 ML 추론의 초저지연성과 인간-AI 협업 개발 방법론을 통해 독립 연구자가 어떻게 고품질의 보안 시스템을 구축할 수 있는지를 입증한 중요한 연구입니다.