기술 요약: 운영 체제 핑거프린팅을 위한 Tabular Transformer 아키텍처의 적용

문제 정의

운영 체제(OS) 핑거프린팅은 네트워크 관리, 인벤토리 및 사이버 보안에 있어 매우 중요하지만, 전통적인 규칙 기반 도구(예: Nmap, p0f)는 현대의 역동적인 환경에서 어려움을 겪고 있다. 빈번한 OS 업데이트, 난독화 기술, 그리고 연결된 기기들의 이질성은 정적인 규칙 기반 시그니처의 정확도를 저하시킨다. 머신러닝(ML)이 이 분야에 적용되어 왔으나, 기존 연구는 주로 고전적인 알고리즘(예: 의사결정 나무, 랜덤 포레스트, k-최근접 이웃)에 의존하고 있다. 딥러닝(DL), 특히 트랜스포머(Transformer) 아키텍처는 자연어 처리(NLP)와 컴퓨터 비전에서 입증된 성공에도 불구하고 OS 핑거프린팅 분야에서는 거의 활용되지 못하고 있다. 핵심 과제는 구조화된 표 형식 데이터(tabular data)를 위해 설계된 고급 딥러닝 아키텍처를 활용하여, 복잡하고 진화하는 네트워크 환경에서 OS 식별의 정확성과 견고성을 향상시키는 것이다.

방법론

본 연구는 네트워크 플로우 데이터를 구조화된 표 형식의 입력으로 취급하여, Tabular Transformer 아키텍처를 OS 핑거프린팅에 적용하는 방안을 조사한다.

데이터셋

데이터 유형, 특징 분포 및 분류 세분화의 다양성을 확보하기 위해 세 가지 공개 데이터셋을 활용하였다:

1. DAT1 (lastovicka_2019): 대학 백본망의 IPFIX 플로우 레코드(2019)로, TLS 및 플로우 특징을 사용하여 OS 패밀리 분류(5개 클래스)에 중점을 둔다.
2. DAT2 (lastovicka_2023): IPFIX 웹 트래픽 데이터(2023)로, 패밀리(12개 클래스), 메이저(50개 클래스), 마이너(88개 클래스) 수준의 분류를 지원한다.
3. DAT3 (nmap-7.94_2023): Nmap 프로브를 통해 수집된 능동형 시그니처로, 패밀리(7개 클래스) 및 마이너(91개 클래스) 분류를 위한 263개의 특징을 포함한다.

데이터 준비

• 전처리: 결측치(NaN/Null) 처리, 무관한 특징(예: 타임스탬프) 제거, 중복 제거를 수행하였다.
• 특징 공학: 범주형 특징(예: 프로토콜 유형)과 수치형 특징(예: TTL, 윈도우 크기)을 표준화하였다. 16진수 문자열은 바이트 단위로 분할하였다.
• 클래스 불균형: 다수 클래스에 대한 무작위 언더샘플링과 소수 클래스를 위한 SMOTE(Synthetic Minority Over-sampling Technique)를 통해 해결하였다.
• 인코딩: 범주형 타겟에 원-핫 인코딩(One-Hot Encoding)을 적용하였으며, 클래스 가중치는 정규화된 빈도의 역수로 계산되었다.

모델

본 연구는 두 가지 특정 Tabular Transformer 아키텍처를 세 가지 고전적 ML 베이스라인과 비교하였다:

• 베이스라인: k-최근접 이웃(kNN), 랜덤 포레스트(RF), 다층 퍼셉트론(MLP).
• TabTransformer (TabT): 트랜스포머 레이어를 사용하여 전통적인 범주형 임베딩을 문맥 인식 표현으로 대체하며, 주로 범주형 특징에 셀프 어텐션(self-attention)을 적용한다.
• FT-Transformer (FT-T): 셀프 어텐션 메커니즘을 범주형 및 수치형 특징 모두로 일반화하여, 이질적인 데이터 간의 상호작용을 포착하기 위해 두 유형을 균일하게 취급한다.

실험 설정

• 하이퍼파라미터 최적화: NSGA-II 샘플러를 사용하는 Optuna를 사용하여 수행되었으며, 층화 10-겹 교차 검증(Stratified 10-Fold Cross-Validation)을 적용하였다.
• 학습: FinisTerrae III 슈퍼컴퓨터(CESGA)에서 CUDA 지원 GPU를 사용하여 모델을 학습시켰다. 조기 종료(Early stopping)와 AdamW 최적화 기법을 사용하였다.
• 평가: 정확도(Accuracy), 균형 정확도(Balanced Accuracy), 정밀도(Precision), 재현율(Recall), F1-스코어(클래스 불균형 처리를 위한 가중 평균)를 지표로 사용하였다. 상세한 오류 분석을 위해 혼동 행렬(Confusion matrix)을 생성하였다.

주요 결과

실험 결과, 트랜스포머 기반 모델이 일반적으로 전통적인 ML 방법보다 우수한 성능을 보였으며, FT-Transformer가 전반적으로 가장 견고한 아키텍처로 나타났다.

• DAT1 (패밀리 수준): FT-Transformer는 90.80%의 최고 F1-스코어를 달성하여 TabTransformer(89.46%), MLP(89.45%), RF(87.93%)를 앞질렀다.
• DAT2 (패밀리, 메이저, 마이너):
  • 패밀리: FT-Transformer(95.09%)가 RF(정확도는 95.33%로 높으나 F1은 낮음)를 근소하게 앞질렀으며, 다른 베이스라인들을 유의미하게 압도했다.
  • 메이저: FT-Transformer가 최고의 성능(F1: 79.32%)을 기록하며 RF(75.64%)와 TabTransformer(74.99%)를 넘어섰다.
  • 마이너: FT-Transformer(F1: 69.76%)와 TabTransformer(F1: 68.28%)가 고전적 베이스라인보다 우수한 성능을 보였으나, 여전히 어려운 과제로 남았다.
• DAT3 (패밀리, 마이너):
  • 패밀리: FT-Transformer가 92.23%의 F1-스코어로 선두를 차지했다.
  • 마이너: TabTransformer가 F1 75.90%를 기록하며 FT-Transformer(75.74%)와 RF 베이스라인(75.66%)을 근소하게 앞질렀다.

기존 연구와의 비교

제안된 방법들은 동일한 데이터셋에 대한 이전 연구들과 비교했을 때 새로운 벤치마크를 설정하였다:

• DAT1에서 FT-Transformer는 이전 최첨단 모델(Decision Tree) 대비 F1-스코어를 약 12% 향상시켰다.
• DAT2에서 FT-Transformer는 패밀리 분류에서 95.09%의 F1-스코어를 달성하여, 이전의 최선 모델(Decision Tree 81.60%)을 크게 상회하였다. 또한 이 데이터셋에서 "메이저" 분류 수준에 대한 첫 번째 보고된 결과를 제공하였다.
• DAT3에서 FT-Transformer는 패밀리 분류에서 MLP 베이스라인을 능가하였으며, TabTransformer는 마이너 분류에서 RF 베이스라인을 개선하였다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. OS 핑거프린팅에 대한 트랜스포머의 첫 적용: 본 연구는 어텐션 기반 딥러닝 모델(특히 Tabular Transformer)을 OS 식별 영역에 도입하여, 고전적 ML 및 규칙 기반 시스템으로부터의 전환을 알린다.
2. 포괄적인 평가: 본 연구는 세 가지 다양한 데이터셋과 여러 분류 세분화(패밀리, 메이저, 마이너)에 걸쳐 엄격한 평가를 제공함으로써, 향후 연구를 위한 견고한 베이스라인을 구축하였다.
3. 재현성: 저자들은 GNU GPL v3.0 라이선스 하에 전체 실험 코드, 전처리 파이프라인 및 모델 구현을 공개함으로써 투명성을 강조한다.

저자들은 셀프 어텐션 메커니즘을 통해 이러한 모델들이 이질적인 네트워크 트래픽 내의 복잡한 특징 의존성을 학습할 수 있으며, 이를 통해 적응성과 정확도를 향상시킨다고 결론지었다. 특히 FT-Transformer가 수치형 및 범주형 특징 간의 복잡한 상호작용을 포착하는 데 큰 이점을 제공하여, 딥러닝 기반 OS 핑거프린팅의 새로운 기준을 세웠다고 주장한다.

향후 연구 방향

논문은 다음과 같은 향후 연구 과제를 제시한다:

• 일반화 가능성을 검증하기 위해 추가적인 실제 데이터셋으로 평가를 확장한다.
• 시공간적 관계를 포착하기 위해 트랜스포머와 그래프 신경망(GNN)을 결합하는 하이브리드 접근 방식을 조사한다.
• Nmap과 같은 전통적인 도구에 맞서 새로 출시되거나 수정된 OS 버전에 대한 성능을 평가한다.
• 더 큰 규모의 관련 데이터셋을 활용한 사전 학습(Pre-training)을 탐색한다.
• 개발된 모델을 Nmap이나 침입 탐지 시스템(IDS)과 같은 실무적인 사이버 보안 도구에 통합하여 운영 효율성을 높인다.