Neurosymbolic Learning for Advanced Persistent Threat Detection under Extreme Class Imbalance

이 논문은 IoT 환경의 극심한 클래스 불균형 문제를 해결하고 APT 탐지의 설명 가능성을 확보하기 위해 최적화된 BERT 와 논리 텐서 네트워크 (LTN) 를 통합한 신경기호 학습 아키텍처를 제안하며, SCVIC-APT2021 데이터셋에서 높은 성능과 낮은 오검출률을 입증합니다.

핵심

이 논문은 '스마트 도시'와 '공장' 같은 곳에 설치된 수많은 사물인터넷 (IoT) 기기들을 해커로부터 지키는 새로운 감시 시스템에 대한 연구입니다.

기존의 보안 시스템이 가진 두 가지 큰 문제점을 해결하기 위해, **'인공지능의 직관'**과 **'논리적 추론'**을 결합한 혁신적인 방법을 제안했습니다.

이 내용을 쉽게 이해할 수 있도록 비유를 들어 설명해 드리겠습니다.

---

1. 문제 상황: "바늘 찾기"와 "설명할 수 없는 블랙박스"

상황:
스마트 시티에는 수백만 개의 IoT 기기 (스마트 조명, 센서 등) 가 연결되어 있습니다. 이 중 98% 이상은 정상적인 기기들이고, 해커의 공격 (APT, 지속적 위협) 은 2% 미만으로 매우 드뭅니다.

• 비유: 거대한 해변에 모래알 100 개 중 98 개는 정상 모래이고, **2 개는 해커가 숨긴 '독이 든 모래'**인 상황입니다.
• 기존 시스템의 한계:
  1. 바늘 찾기 실패: 기존 인공지능 (딥러닝) 은 정상 모래가 너무 많아서 "모래는 다 똑같아!"라고 생각하며 독이 든 모래를 놓쳐버립니다.
  2. 블랙박스 문제: "여기 독이 든 모래가 있어요!"라고 알려주지만, **"왜 그렇게 판단했는지"**는 설명해 주지 않습니다. 보안 담당자는 "왜 저걸 공격으로 봤지?"라고 의아해하며 시스템을 신뢰할 수 없습니다.

2. 해결책: "BERT-LTN"이라는 새로운 감시관

이 논문은 두 명의 감시관이 협력하는 시스템을 만들었습니다.

① 첫 번째 감시관: "BERT" (패턴의 천재)

• 역할: 거대한 데이터 속에서 미묘한 이상 징후를 찾아내는 직관적인 전문가입니다.
• 비유: 마치 수만 권의 책을 읽은 도서관 사서처럼, 네트워크 데이터라는 '책'을 빠르게 훑어보며 "이건 평소와 다른 이상한 흐름이야!"라고 직감적으로 감지합니다.
• 특징: 데이터의 복잡한 패턴을 잘 보지만, "왜" 그런지 논리적으로 설명하는 데는 약점이 있습니다.

② 두 번째 감시관: "LTN" (논리의 대가)

• 역할: 발견된 이상 징후를 논리적 규칙으로 검증하는 엄격한 검사관입니다.
• 비유: 법정 판사나 수사관처럼, "데이터가 A 라면 B 여야 한다"는 규칙을 가지고 있습니다. "이 데이터는 '큰 파일 전송'이니까 공격일 가능성이 높다"처럼 명확한 이유를 붙입니다.
• 특징: 인공지능이 왜 그렇게 판단했는지 사람이 이해할 수 있는 언어로 설명해 줍니다.

🌟 협력 방식 (뉴로심볼릭 학습):
이 두 감시관은 따로 노는 게 아니라 함께 훈련합니다.

• BERT 가 "이상해!"라고 직감하면, LTN 이 "그 이유는 '패킷 크기'가 비정상적으로 크고 '포트'가 의심스러우기 때문이야"라고 논리적으로 뒷받침합니다.
• 이렇게 하면 정확도도 높고, 이유도 명확한 시스템이 됩니다.

3. 핵심 전략: "단계별 심문"으로 희귀한 해커 잡기

해커가 너무 드물기 때문에 (모래 100 개 중 2 개), 한 번에 모든 것을 판단하면 실패합니다. 그래서 2 단계 심문 방식을 썼습니다.

• 1 단계 (문지기): "너는 해커니, 아니니?" (정상 vs 공격)
  • 이 단계에서는 해커를 놓치지 않도록 매우 민감하게 반응합니다. (거의 모든 것을 의심합니다.)
• 2 단계 (수사관): 1 단계에서 "의심스러워"라고 나온 것만 골라내서, "어떤 종류의 해커야?" (정보 유출, 내부 이동, 정찰 등) 를 구체적으로 분류합니다.
  • 이렇게 하면 해커만 골라내서 분석하므로, 희귀한 해커 유형도 놓치지 않고 정확하게 분류할 수 있습니다.

4. 결과: "믿을 수 있는" 보안 시스템

이 시스템을 실제 데이터 (SCVIC-APT2021) 로 테스트한 결과는 다음과 같습니다.

• 높은 정확도: 정상 traffic 을 해커로 오인하는 경우 (거짓 경보) 가 1,000 건 중 1 건 미만 (0.14%) 으로 매우 낮습니다. 이는 보안 담당자가 "가짜 경보"에 지쳐서 시스템을 끄는 것을 방지합니다.
• 투명한 설명: "이것은 해커입니다"라고 말할 때, **"왜?"**에 대한 통계적으로 검증된 이유 (예: "특정 포트 사용량이 비정상적으로 높음") 를 제공합니다.
• 실용성: 이 시스템은 자율적으로 작동할 수 있어, 사람이 24 시간 감시하지 않아도 IoT 네트워크를 안전하게 지킬 수 있습니다.

💡 한 줄 요약

"이 논문은 인공지능의 '직관'과 논리의 '이유'를 결합해, 드물게 나타나는 해커를 놓치지 않으면서도 '왜 잡았는지' 명확히 설명해 주는, 신뢰할 수 있는 IoT 보안 시스템을 만들었습니다."

이 기술은 우리가 매일 사용하는 스마트 도시와 공장들이 보이지 않는 해커 공격으로부터 안전할 수 있도록, 눈을 뜨고 논리적으로 지켜보는 새로운 보안관이 되어줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

이 논문은 스마트 시티 및 산업 환경에서의 사물인터넷 (IoT) 장치 배포 증가로 인해 발생하는 지능형 지속 위협 (Advanced Persistent Threat, APT) 탐지의 어려움에 초점을 맞추고 있습니다. 주요 도전 과제는 다음과 같습니다.

• 극심한 클래스 불균형 (Extreme Class Imbalance): IoT 네트워크 트래픽의 98% 이상이 정상 트래픽이며, 공격 데이터는 극히 드물게 발생합니다 (예: SCVIC-APT2021 데이터셋 기준 98.35% 정상, 1.65% 공격). 기존 딥러닝 모델은 이러한 불균형으로 인해 공격을 탐지하는 데 실패하거나 정확도 최적화에 치우쳐 실제 공격을 놓치는 경우가 많습니다.
• 설명 불가능성 (Lack of Explainability): 기존 딥러닝 기반 침입 탐지 시스템 (IDS) 은 "블랙박스"로 작동하여, 왜 특정 트래픽을 공격으로 판단했는지 분석가에게 설명할 수 없습니다. 이는 자율 시스템 배포 시 인간의 개입 없이 신뢰할 수 있는 의사결정을 내리는 데 걸림돌이 됩니다.
• 기존 방법의 한계: SMOTE 와 같은 합성 데이터 생성 기법은 공격 패턴을 왜곡할 수 있으며, 기존 트랜스포머 (Transformer) 기반 모델들은 충분한 학습 데이터와 계산 자원을 요구하며 설명 가능성을 제공하지 못합니다.

2. 제안된 방법론 (Methodology)

저자들은 신경심볼릭 (Neurosymbolic) 아키텍처를 제안하여, BERT 기반의 신경망 (패턴 인식) 과 논리 텐서 네트워크 (LTN, Logical Tensor Networks, 논리적 추론) 를 통합했습니다.

A. 데이터 전처리 및 특징 추출

• 데이터셋: 현실적인 IoT 트래픽과 APT 패턴을 포함하는 SCVIC-APT2021 데이터셋을 사용했습니다.
• 특징 선택: 84 개의 초기 특징 중 통계적 방법 (랜덤 포레스트, 상호 정보량 등) 을 통해 12 개의 가장 판별력 있는 특징을 선별했습니다.
• BERT 호환 인코딩: 표 형태의 네트워크 흐름 데이터를 BERT 가 처리할 수 있는 시퀀스 형태로 변환하기 위해, 각 특징을 학습 가능한 밀집 벡터 (dense representation) 로 매핑하고 [CLS] 및 [SEP] 토큰을 추가하여 14 토큰 시퀀스를 생성했습니다.

B. 신경심볼릭 아키텍처 (BERT-LTN)

1. 신경 구성 요소 (Neural Component - BERT):
   • 사전 학습된 bert-base-uncased 모델을 적응시켜 네트워크 흐름의 복잡한 패턴 (시간적 의존성, 프로토콜 행동 등) 을 인식합니다.
   • 설명 가능성 1: BERT 의 어텐션 (Attention) 가중치를 통해 각 특징이 최종 분류 결정에 얼마나 기여했는지 분석합니다.
2. 심볼릭 구성 요소 (Symbolic Component - LTN):
   • 16 개의 학습 가능한 논리 술어 (logical predicates, 예: "대용량 포워딩 데이터 전송", "비정상 포트 활동" 등) 를 구현합니다.
   • 각 술어는 입력 특징에 대한 가중치를 학습하여 해당 도메인 개념이 만족되는 정도 (0~1) 를 출력합니다.
   • 설명 가능성 2 & 3: 각 술어가 어떤 특징에 집중하는지 (어텐션), 술어의 만족도, 그리고 최종 결정에 대한 술어의 중요도 가중치를 통해 추론 과정을 투명하게 만듭니다.
3. 계층적 2 단계 분류 (Hierarchical Two-Stage Classification):
   • 1 단계 (이진 탐지): 정상 vs 공격 탐지. 극심한 불균형 (98.35:1.65) 을 처리하기 위해 Focal Loss를 사용하여 탐지하기 어려운 공격 사례에 집중합니다.
   • 2 단계 (APT 카테고리화): 1 단계에서 공격으로 판별된 트래픽만 대상으로 5 가지 APT 단계 (초기 침해, 정찰, 수평 이동, 피벗팅, 데이터 유출) 로 분류합니다. 이 단계에서는 공격 데이터만 사용하므로 불균형이 완화되며, 가중치 교차 엔트로피 손실 함수를 사용합니다.

C. 학습 전략

• 다목적 손실 함수: 1 단계 이진 탐지 손실 ($L_b$), 2 단계 다중 클래스 분류 손실 ($L_a$), 그리고 LTN 의 논리적 일관성을 보장하는 손실 ($L_l$) 을 결합하여 학습합니다.
• 샘플링: 클래스 불균형을 해결하기 위해 역빈도 기반의 가중 랜덤 샘플러 (Weighted Random Sampler) 를 사용하여 균형 잡힌 미니배치를 구성합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 신경심볼릭 IoT IDS 프레임워크: 트랜스포머 기반 IoT 침입 탐지 문헌에서 최초로 BERT 와 LTN 을 통합하여 설명 가능한 APT 탐지를 실현했습니다.
2. 내재적 설명 가능성 (Intrinsic Explainability): 학습 후 사후 (Post-hoc) 에 설명을 생성하는 기존 방식과 달리, BERT 어텐션과 LTN 논리 술어를 통해 학습 과정 자체에 설명 가능성을 통합했습니다. 이는 설명이 실제 공격 시그니처에 기반함을 보장합니다.
3. 계층적 불균형 해결: 합성 데이터 (SMOTE) 를 사용하지 않고, 2 단계 분류 구조를 통해 극심한 클래스 불균형을 아키텍처 수준에서 해결했습니다.
4. 통계적 검증: 추출된 특징 중 75% 가 정상 및 공격 트래픽 간 BERT 어텐션 가중치에서 통계적으로 유의미한 차이를 보임을 입증하여, 모델의 해석이 신뢰할 수 있음을 검증했습니다.

4. 실험 결과 (Results)

SCVIC-APT2021 데이터셋에 대한 평가 결과는 다음과 같습니다.

• 이진 분류 성능 (Binary Detection):
  • F1 점수: 95.27%
  • 거짓 양성률 (FPR): 0.14% (자율 배포에 필수적인 매우 낮은 수치)
  • 정상 트래픽 F1: 99.85%
• 다중 클래스 분류 성능 (APT Categorization):
  • Macro F1 점수: 76.75%
  • 가장 낮은 성능은 '데이터 유출 (Data Exfiltration)' 클래스 (F1 40.86%) 였으나, 이는 데이터의 희소성 (0.20%) 과 은밀한 특성 때문입니다.
• 비교 분석:
  • 기존 SOTA 모델 (ACM, PKI 등) 은 Macro F1 에서 80% 대를 기록했으나, 설명 가능성이 없었습니다.
  • 제안된 모델은 설명 가능성을 유지하면서 76.75% 의 Macro F1 을 달성하여, 신뢰할 수 있는 자율 시스템으로서의 실용성을 입증했습니다.
  • BERT 만 사용하거나 LTN 을 제거한 실험 (Ablation Study) 에서 성능이 크게 저하됨을 확인하여, 신경심볼릭 접근법의 필수성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 IoT 네트워크 보안 분야에서 다음과 같은 중요한 의의를 가집니다:

• 신뢰할 수 있는 자율 배포: 높은 탐지 성능 (95.27% F1) 과 극히 낮은 거짓 양성률 (0.14%) 을 달성하여, 인간 개입 없이도 운영 가능한 IDS 를 가능하게 했습니다.
• 투명한 의사결정: 통계적으로 검증된 설명 가능성을 제공함으로써, 보안 분석가가 공격 패턴을 이해하고 대응 전략을 수립할 수 있는 기반을 마련했습니다.
• 실용적 아키텍처: 계층적 구조를 통해 계산 오버헤드를 줄이고, IoT 게이트웨이 또는 모니터링 서버에 배포 가능한 효율적인 설계를 제시했습니다.

결론적으로, 이 논문은 고성능, 해석 가능성, 운영 실용성을 모두 갖춘 차세대 IoT 보안 솔루션의 가능성을 보여주며, 극심한 데이터 불균형 문제를 해결하는 새로운 패러다임을 제시합니다.