💻 computer science

Detecting Cybersecurity Threats using Deep Learning: A Practical Approach

본 논문은 데이터 불균형과 같은 핵심적인 엔지니어링 과제를 해결하고 보안 운영 센터(SOC)에서의 확장 가능하고 실시간적인 구현을 위한 가이드를 제공함으로써, CNN과 LSTM을 활용하여 고도화된 사이버 보안 위협을 탐지하는 실용적인 다층 딥러닝 프레임워크를 제안한다.

원저자: Jamal Khouya, Abdelkrim El Mouatasim

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jamal Khouya, Abdelkrim El Mouatasim

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 매초 수십억 개의 메시지가 분주하게 오가는 거대하고 북적이는 도시라고 상상해 보십시오. 오랫동안 이 도시의 보안 요원들(전통적인 사이버 보안)은 간단한 기술을 사용했습니다. 바로 특정 얼굴이 담긴 '현상 수배' 포스터를 들고 있는 것이었습니다. 만약 포스터 속 얼굴과 똑같이 생긴 사람이 지나가면, 그 사람은 멈춰 세워졌습니다. 하지만 이 도시의 악당들은 교활합니다. 그들은 가면을 쓰거나, 옷을 갈 바꾸거나, 심지어 새로운 건물에 들어설 때마다 자신의 DNA를 새로 쓰기도 합니다. 이것이 바로 논문에서 말하는 **폴리모픽 멀웨어(polymorphic malware)**와 **제로 데이 익스플로잇(zero-day exploits)**입니다. 즉, 아직 아무도 본 적이 없어서 '현상 수배' 포스터가 존재하지 않는 위협들입니다.

저자인 자말 쿠야(Jamal Khouya)와 압델크림 엘 무아타심(Abdelkrim El Mouatasim)은 기존의 '현상 수배' 포스터에 의존하는 것은 마치 광대의 사진을 가지고 변신하는 닌자를 잡으려는 것과 같다고 주장합니다. 그것은 통하지 않습니다. 논문은 전통적인 시그니처 기반 방식이 현대의 빠르게 진화하는 공격을 따라잡을 수 없다는 생각을 명시적으로 배제합니다. 그들은 이러한 오래된 방식이 너무 느리고, 너무 반응적이며, 암호화된 트래픽이나 영리한 변장에 쉽게 속는다고 말합니다.

대신, 이 논문은 얼굴을 보는 것이 아니라 행동을 이해하는 보안 요원을 구축할 것을 제안합니다. 저자들은 딥러닝(Deep Learning), 즉 도서관의 모든 책을 읽어서 범죄자가 이전에 잡힌 적이 없더라도 그가 걷는 방식만 보고도 알아챌 수 있는 초스마트 탐정 같은 인공지능을 사용하는 것을 제안합니다.

탐정의 도구 상자: CNN과 LSTM

이 탐정을 만들기 위해 저자들은 CNN과 LSTM이라고 불리는 두 가지 특별한 도구를 사용합니다.

**CNN (합성곱 신경망, Convolutional Neural Network)**은 고성능 현미경과 같습니다. 이는 단일 메시지(네트워크 패킷)의 미세한 공간적 세부 사항을 살펴봅니다. 데이터의 "질감"을 확인하여, 설령 바이러스가 암호화된 상자 안에 숨겨져 있더라도 바이러스를 나타낼 수 있는 바이트의 이상한 패턴을 찾아냅니디.
**LSTM (장단기 메모리, Long Short-Term Memory)**은 과거에 대한 완벽한 기억력을 가진 탐정과 같습니다. 단순히 하나의 메시지만 보는 것이 아니라, 전체 이야기를 지켜봅니다. 사용자가 오전 9시에 로그인했고, 9시 5분에 파일에 접근을 시도했으며, 9시 6분에 거대한 데이터베이스를 다운로드하려고 시도했다는 일련의 사건들을 기억합니다. 만약 이 사건의 순서가 일반적인 행동과 다르게 느껴진다면, LSTM은 경보를 울립니다.

논문은 이 두 가지 도구를 결합한 하이브리드 시스템(저자들이 Khouya-Net이라 부르는 것)이 변신하는 악당과 시간이 흐름에 따라 서서히 진행되는 공격을 모두 잡는 가장 좋은 방법이라고 제안합니다.

"건초더미 속 바늘 찾기" 문제

하지만 이 탐정들을 훈련시키는 데에는 큰 문제가 있습니다. 현실 세계에서는 거의 모든 메시지가 해롭지 않으며(건초), 나쁜 메시지(바늘)는 믿을 수 없을 정도로 드뭅니다. 만약 당신이 건초더-미 속에 바늘이 단 하나뿐인 상태에서 탐정을 훈련시킨다면, 탐정은 안전을 위해 모든 것을 무시하고 "이상 없음"이라고 말하기로 결정할 수도 있습니다. 이를 **데이터 불균형(data imbalance)**이라고 합니다.

논문은 이를 해결하기 위해 **포컬 로스(Focal Loss)**라는 특별한 훈련 기법을 사용했다고 설명합니다. 이것은 쉬운 질문(명백한 건초)은 무시하고, 학생이 어렵고 까다로운 바늘을 정확히 식별했을 때만 추가 점수를 주는 선생님과 같습니다. 이는 AI가 게으로워지는 대신 희귀하고 위험한 위협에 집중하도록 강제합니다.

결과: 고속 추격전

저자들은 두 가지 유명한 연습용 데이터 세트인 UNSW-NB15와 CIC-IDS2017을 사용하여 이 탐정 시스템을 테스트했습니다. 그들은 NVIDIA RTX 4090 그래픽 카드가 장착된 강력한 컴퓨터에서 모델을 실행했습니다.

이 시뮬레이션에서 결과는 인상적이었습니다. 시스템은 UNSW-NB15 데이터 세트에서 공격의 **98.5%**를 잡아냈고, CIC-IDS2017에서는 **98.9%**를 잡아냈습니다. 이 과정에서 오탐(무고한 사람을 범인으로 몰아세우는 것)의 수를 매우 낮게 유지했습니다. 시스템은 초당 약 5,000개의 네트워크 플로우를 처리할 수 있을 만큼 빨랐으며, 이는 바쁜 기업의 트래픽을 처리하기에 충분한 속도입니다.

하지만 논문은 이 결과들이 특정 데이터 세트와 시뮬레이션으로부터 나온 것임을 주의 깊게 언급합니다. 저자들은 이것이 모든 사이버 보안 문제를 영원히 해결하는 마법의 탄환이라고 주장하지 않습니다. 그들은 실세계 배포가 여전히 과제에 직면해 있음을 지적하는데, 예를 들어 악당들이 새로운 기술로 AI를 속이려 할 수도 있고, 시스템이 "블랙박스"(왜 그런 결정을 내렸는지 설명하기 어려움)라는 점 등입니다.

미래: 더 스마트한 도시

논문은 보안의 미래가 단순히 악당을 잡는 것이 아니라, 도시 전체를 더 스마트하게 만드는 것이라고 제안합니다. 저자들은 보안 요원이 왜 누군가를 멈춰 세웠는지 설명할 수 있게 하여 인간 상사가 그들을 신뢰할 수 있도록 하는 **설명 가능한 AI(Explainable AI)**에 대해 이야기합니다. 또한, 각 도시가 자신들의 사적인 비밀을 공유하지 않으면서도 "현상 수배" 지식을 공유할 수 있는 방법인 **연합 학습(Federated Learning)**에 대해서도 언급합니다.

요약하자면, 이 논문은 우리가 '현상 수배' 포스터 속의 특정 얼굴을 찾는 것을 멈추고, 인터넷의 '이야기'를 이해하는 AI 탐정을 훈련시켜야 한다고 주장합니다. 미세한 세부 사항과 거시적인 관점 모두에서 패턴을 포착하기 위해 딥러닝을 사용함으로써, 우리는 빠르고 적응력이 뛰어나며 변신하는 위협에 대비할 수 있는 방어 시스템을 구축할 수 있습니다. 그러나 저자들이 상기시키듯, 이것은 진행 중인 작업이며, 탐정과 변신술사 사이의 경주는 이제 막 시작되었습니다.

기술 요약: 딥러닝을 이용한 사이버 보안 위협 탐지: 실무적 접근 방식

1. 문제 정의

사이버 보안 환경은 AI, 폴리모픽(polymorphic) 악성코드, 그리고 고도 지속 위협(APT)에 의해 구동되는 분산화되고 자동화된 스웜(swarm) 공격으로 변화했습니다. 기존의 시그니처 기반 방어 메커니즘은 반응적인 성격과 알려진 패턴에 대한 의존성으로 인해 점점 더 부적절해지고 있습니다. 주요 한계점은 다음과 같습니다:

암호화된 트래픽 처리 능력 부족: 정적 침입 탐지 시스템(IDS)은 비용이 많이 드는 복호화 과정 없이 SSL/VPN 암호화 페이로드를 처리하는 데 어려움을 겪습니다.
폴리모픽 및 메타모픽 코드: 기능은 유지하면서 시그니처를 동적으로 변경하는 악성코드는 패턴 매칭 방어 체계를 회피합니다.
제로 데이(Zero-Day) 취약점: 벤더에게 알려지지 않은 취약점은 사전 정의된 시그니처가 없으므로 노출 기간을 남깁니다.
데이터 규모와 속도: IoT 및 6G 네트워크의 확장은 인간의 분석 능력을 초과하고 정적 보안 도구에 부담을 주는 트래픽 양을 생성합니다.
데이터 불균형: 사이버 보안 데이터셋에서 악성 샘플은 정상 트래픽에 비해 매우 희귀하며("건초더미 속의 바늘"), 이로 인해 표준 모델은 다수 클래스에 압도되어 희귀 위협을 탐지하는 데 실패할 수 있습니다.

2. 방법론

본 논문은 PyTorch를 기반으로 구축된 다층 탐지 프레임워크를 제안하며, 공간적 및 시간적 상관관계를 모두 모델링하기 위해 하이브리드 딥러닝 아키텍처를 활용합니다.

2.1 데이터 소스 및 전처리

시스템은 세 가지 주요 데이터 유형을 수집합니다:

패킷 캡처 (PCAP): 공간 분석을 위해 바이트 시퀀스로 취급되는 원시 패킷 데이터.
NetFlow: 시간적 관계(시작/종료 시간, 패킷 간 도착 간격)를 포착하는 집계된 플로우 데이터.
엔드포인트 탐지 및 대응 (EDR): 호스트 수준 로그(프로세스 생성, 시스템 호출).

전처리 파이프라인:

정규화 (Normalization): 수치형 특성(예: 패킷 길이)은 Z-score 정규화를 사용하여 표준화됩니다.
인코딩 (Encoding): 범주형 특성(예: 프로토콜 유형)은 원-핫(One-Hot) 벡터로 변환됩니다.
시퀀스 처리: 시м열 데이터는 순환 모델을 위해 고정 길이 윈도우로 변환되며, 패딩 또는 절단(truncation)이 적용됩니다.
증강 (Augmentation): 기법으로는 패킷 셔플링, 타이밍 특성에 대한 가우시안 노이즈 주입, 네트워크 가변성을 시뮬레이션하고 과적합을 줄이기 위한 랜덤 마스킹 등이 포함됩니다.
불균형 처리: 저자들은 탐지하기 어려운 사례에 집중하기 위해 **포컬 로스(Focal Loss)**를 사용합니다. 손실 함수는 다음과 같이 정의됩니다:
$FL(p_t) = -\alpha_t(1 - p_t)^\gamma \log(p_t)$
여기서 $\gamma$ (2로 설정됨)는 쉬운 사례의 손실 기여도를 줄이고, $\alpha_t$ 는 클래스 가중치의 균형을 맞춥니다.

2.2 모델 아키텍처: Khouya-Net

핵-기여는 병렬로 작동하는 하이브립 앙상블 아키텍처인 Khouya-Net입니다:

CNN 브랜치: 원시 패킷 페이로드의 공간적 의존성(예: 폴리모픽 악성코드를 나타내는 바이트 수준 패턴)을 포착하기 위해 합성곱 신경망을 활용합니다.
Bi-LSTM 브랜치: 네트워크 플로우의 시간적 의존성을 모델링하여, 시간이 흐름에 따라 전개되는 다단계 공격(APT)을 탐지할 수 있도록 양방향 LSTM 네트워크를 활용합니다.
융합 (Fusion): 두 브랜치의 출력은 결합(concatenation)되어 이진 분류(악성 vs 정상)를 위한 시그모이드 활성화 함수가 적용된 완전 연결 계층(fully connected layers)을 통과합니다.

2.3 훈련 및 평가

최적화: 국소 최솟값(local minima)을 벗어나기 위해 ReduceLROnPlateau와 같은 학습률 스케줄러를 사용하는 Adam 옵티마이저를 사용합니다.
정규화 (Regularization): 과적합을 방지하기 위해 드롭아웃(Dropout), 가중치 감쇠(Weight Decay), 배치 정규화(Batch Normalization)가 적용됩니다.
비용 민감 학습 (Cost-Sensitive Learning): 특정 SOC 요구 사항에 따라 미탐(False Negatives, 놓친 위협) 또는 오탐(False Positives, 경보 피로)에 대해 벌점을 부여하도록 손실 함수에 비용 행렬을 적용합니다.
지표: 클래스 불균형으로 인해, 본 연구는 단순 정확도보다 **정밀도(Precision), 재현율(Recall), F1-Score, 그리고 정밀도-재현율 AUC (PR-AUC)**를 우선시합니다.
설명 가능성: 모델의 결정을 해석하고 기여하는 특성을 식별하기 위해 SHAP(SHapley Additive exPlanations) 값이 통합되었습니다.

3. 주요 기여

하이브리드 딥러닝 프레임워크: CNN을 통한 공간적 특징 추출과 LSTM을 통한 시간적 시퀀스 모델링을 결합하여 단일 아키텍처 방식의 한계를 해결하는 Khouya-Net 아키텍처를 도입했습니다.
데이터 불균형을 위한 엔지니어링 솔루션: 사이버 보안 데이터셋에 특화된 포컬 로스(Focal Loss) 및 고급 샘플링 전략을 사용하여 "건초더미 속의 바늘" 문제를 해결하는 실무적 가이드를 제공합니다.
운영 통합 가이드: 실시간 추론, 시스템 확장성, 탐지 정확도와 지연 시간 사이의 트레이드오프를 다루며, 이러한 모델을 고성능 보안 운영 센터(SOC)에 배포하기 위한 상세한 청사진을 제공합니다.
비용 민감 최적화: 대상 환경의 특정 위험 프로필에 따라 오탐과 미탐의 균형을 맞추기 위한 모델 튜닝 방법론을 제시합니다.

4. 결과

모델은 UNSW-NB15와 CIC-IDS2017 두 가지 벤치마크 데이터셋에서 평가되었습니다.

UNSW-NB15 성능:
- 정밀도: 98.5%
- 재현율: 98.1%
- F1-Score: 98.3%
- PR-AUC: 0.982
CIC-IDS2017 성능:
- 정밀도: 98.9%
- 재현율: 98.4%
- F1-Score: 98.6%
- PR-AUC: 0.987

하드웨어 맥락: 실험은 Intel Xeon Gold 6330 CPU와 NVIDIA RTX 4090 (24GB VRAM)에서 수행되었습니다. 시스템은 초당 약 5,000개의 플로우를 처리하는 배치 프로세싱 속도를 달성하여 고처리량 기업 네트워크에 적합함을 입증했습니다.

분석: 결과는 하이브리드 접근 방식이 폴리모픽 악성코드 및 다단계 APT를 탐지하는 데 있어 전통적인 머신러닝 방법(SVM 및 Random Forest 등)보다 우수함을 보여줍니다. CNN 브랜치는 공간적 페이로드 이상 징후를 효과적으로 식별했으며, Bi-LSTM 브랜치는 측면 이동(lateral movement) 및 데이터 유출과 관련된 시간적 패턴을 성공적으로 탐지했습니다.

5. 의의 및 주장

본 논문은 최첨단 딥러닝 아키텍처를 운영상의 베스트 프랙티스와 결리하는 것이 차세대 사이버 보안을 위한 포괄적이고 적응 가능한 접근 방식을 제공한다고 주장합니다.

반응형에서 선제적 대응으로의 전환: 의도를 모델링하고 정적 시그니처가 아닌 복잡한 데이터 패턴으로부터 학습함으로써, 제안된 프레임워크는 사이버 보안을 반응적인 태도에서 예측 가능하고 탄력적인 방어 메커즘으로 이동시킵니다.
실무적 타당성: 본 연구는 딥러닝이 이론에 그치지 않고 SOC에서 실제로 구현될 수 있음을 강조합니다. 데이터 불균형, 모델 해석 가능성(SHAP 활용), 계산 확장성과 같은 핵심적인 엔지니어링 과제를 해결합니다.
미래 대비: 이 프레임워크는 지속적인 인간의 개입 없이도 새로운 데이터로부터 지속적으로 학습함으로써 제로 데이 취약점 및 AI 기반 공격을 포함한 진화하는 위협 환경을 처리하도록 설계되었습니다.

저자들은 데이터 프라이버시, 모델 해석 가능성, 계산 비용에 관한 과제가 여전히 남아 있지만, 제안된 하이브리드 딥러닝 접근 방식이 이질적인 환경(6G 네트워크 및 대규모 IoT 생태계 등)을 보호하기 위한 견고한 토대를 제공한다고 결론짓습니다.