기술 요약: Targeter – 프로비넌스 기반 침입 탐지를 위한 행동 특화형 이상 탐지

문제 정의

프로비넌스 기반 침입 탐지 시스템(PIDS)은 정교한 공격을 탐지하기 위해 시스템 엔티티(프로세스, 파일, 소켓) 간의 인과 관계를 모델링한다. 그러나 현재 이들의 실용적 효용성은 정밀도(Precision)와 재현율(Recall) 사이의 근본적인 트레이드오프(trade-off)로 인해 낮은 경보 품질에 의해 제한되어 있다:

• 거시적 탐지(Coarse-Grained Detection): 초기 접근 방식은 종종 정상 및 악성 노드를 모두 포함하는 서브그래프나 경로에 대해 경보를 발생시켜, 분석가가 컴프로마이즈된 엔티티를 수동으로 식별하게 만든다.
• 낮은 정밀도(Low Precision): 최근의 노드 수준 접근 방식은 과도한 오탐(False Positive)을 생성하여 분석가에게 노이즈를 쏟아붓는 경우가 많다.
• 낮은 공격 커버리지(Low Attack Coverage/Recall): 오탐을 억제하는 방법들은 상당 부분의 공격을 놓쳐 포렌식 조사를 불완전하게 만들 수 있다.

기존의 노드 수준 PIDS는 일반적으로 모든 시스템 프로세스를 모델링하기 위해 단일 이상 탐지기를 사용한다. 저자들은 서로 다른 프로세스 범주(예: 웹 브라우저 vs 시스템 서비스)는 본질적으로 다른 행동 패턴을 보이기 때문에, 이를 하나의 메커니즘으로 모델링하는 것은 최적이 아니라고 주장한다. 이러한 이질적인 행동들을 단일 메커니즘 내에서 모델링하면 정상적인 변동과 실제 이상 징후를 구분하기 어려워진다.

방법론: Targeter 프레임워크

본 논문은 행동 특화형, 노드 수준 침입 탐지 프레임워크인 Targeter를 제안한다. Targeter는 단일한 모놀리식(monolithic) 탐지기를 사용하는 대신, 프로세스를 행동적으로 의미 있는 범주로 분할하고 각 범주를 위한 전용의 경량 그래프 오토인코더(Graph Autoencoder)를 학습시킨다.

핵심 구성 요소

1. P-Graph 구축: 시스템 감사 로그를 엔티티를 노드로, 상호작용을 엣지로 하는 프로비넌스 그래프로 변환한다. 중복된 엣지는 제거하여 인과 구조를 유지하면서도 중복성을 줄인다.
2. 초기 임베딩: 노드 속성(파일 경로, 커맨드 라인, IP 주소)을 Word2Vec을 사용하여 토큰화하고 임베딩함으로써 초기 특징 벡터를 생성한다. 일반화 성능을 높이기 위해 비의미적 구성 요소(예: 프로세스 ID)는 제거한다.
3. 서브그래프 추출 (행동 특화):
   • 프로세스는 커맨드 라인 의미론과 기능적 역할을 기반으로 사전 정의된 행동 범주(예: "Web Browsers", "Command-Line & Shell", "System Services")에 결정론적으로 할당된다.
   • 프로비넌스 그래프는 범주별 서브그래프로 분해된다. 각 서브그래프는 특정 범주의 프로세스와 그들의 $k$-hop 인접 노드(파일, 네트워크 노드 및 다른 프로세스)를 포함한다.
4. 행동 특화 모델 학습:
   • 각 행동 범주에 대해 해당 서브그래프만을 사용하여 독립적인 그래프 오토인코더(GAE)를 학습시킨다.
   • 아키텍처는 인코딩을 위한 3개의 그래프 합성곱 신경망(GCN) 층과 디코딩을 위한 완전 연결 층으로 구성된다.
   • 목적 함수는 비지도 학습 방식으로, 원래의 노드 특징과 재구성된 특징 사이의 평균 제곱 오차(MSE)를 최소화하는 것이다. 이를 통해 각 모델은 관련 없는 프로세스 행동으로부터 간섭받지 않고 자신에게 할당된 범주의 특정 "정상" 분포를 학습할 수 있다.
5. 행동 특화 이상 탐지:
   • 추론 과정에서 프로세스는 해당 범주별 모델로 라우팅된다.
   • 이상 점수는 재구성 오차(reconstruction error)로 계산된다. 노드의 점수가 범주별 임계값을 초과하고 해당 노드가 그 범주에 속할 경우 의심스러운 것으로 플래그가 지정된다.
6. 후처리(Post-Processing):
   • 고립된 노드 제거: 2-hop 이내에 이상 징후를 보이는 이웃 노드가 없는 노드는 오탐을 필터링하기 위해 제거된다.
   • 연결 노드 추가: 탐지된 의심스러운 엔티티들 사이의 경로에 있는 노드들을 추가하여 완전한 공격 커버리지(수동적 엔티티인 파일이나 네트워크 소켓을 포착하기 위함)를 확보한다.

Mixture of Experts (MoE)와의 차이점

MoE의 전문화 원리에서 영감을 받았으나, Targeter는 이와 크게 다르다. Targeter는 학습된 게이팅 메커니즘이나 전문가 간의 경쟁을 사용하지 않는다. 라우팅은 사전 정의된 범주에 따라 결정론적으로 이루어지며, 이를 통해 저자들은 행동 특화의 효과를 학습된 라우팅의 복잡성과 분리하여 고립시킬 수 있었다.

주요 기여

1. 경보 품질의 재정의: 본 논문은 PIDS를 정밀도나 재현율 중 하나로만 평가하는 것은 불충분하다고 강조한다. 저자들은 공격 엔티티를 놓치는 것이 오탐을 조사하는 것보다 더 해로울 수 있다는 포렌식의 현실을 반영하여, 재현율에 더 높은 가중치를 두는 F2-score를 주요 지표로 옹호한다.
2. 행동 특화 가설: 본 연구는 서로 다른 프로세스 범주를 별도로 모델링하는 것이 정상 활동의 특성을 개선하여 정밀도와 재현율을 모두 향상시킨다는 가설을 조사하고 검증한다.
3. Targeter 프레임워크: 낮은 계산 오버헤드로 고품질의 노드 수준 탐지를 달 achieve하는 결정론적, 행동 특화형 프레임워크를 도입한다.

실험 결과

프레임워크는 6개의 DARPA Transparent Computing 벤치마크 데이터셋(THEIA, CLEARSCOPE, CADETS의 Engagement 3 및 Engagement 5)에서 평가되었다.

• 경보 품질 (RQ1): Targeter는 최신 노드 수준 베이스라인들(ORTHRUS, MAGIC, FLASH, THREATRACE)과 비교하여 정밀도와 재현율 사이에서 우수한 균형을 달성했다.
  • ORTHRUS(높은 정밀도, 낮은 재현율)와 비교했을 때, Targeter는 적절한 정밀도를 유지하면서 재현율을 크게 개선했다.
  • MAGIC(방대한 오탐으로 인한 매우 낮은 정밀도, 높은 재현율)과 비교했을 때, Targeter는 대규모의 오탐을 획기적으로 줄이면서도 더 많은 공격 엔티티를 탐지했다.
  • Targeter는 대부분의 데이터셋에서 일관되게 더 높은 F2-score를 달성했다.
• 특화의 기여 (RQ2): 절제 연구(Ablation study) 결과, 행동 특화를 제거하거나(모든 프로세스에 대해 단일 모델 사용) 무작위로 범주화할 경우 True Positives는 감소하고 False Positives는 증가함을 보여주었다. 이는 프로세스를 행동별로 그룹화하는 것이 탐지기에 더 동질적인 학습 데이터를 제공함을 확인시켜 준다.
• 후처리의 영향 (RQ3): 후처리는 연결 노드를 추가함으로써 재현율을 높이고, 고립된 노드를 제거함으로써 정밀도를 관리하여 F2-score를 개선했다.
• 계산 효율성 (RQ4):
  • 추론: Targeter는 모든 데이터셋에서 가장 빠른 추론 시간을 보여주었으며, 데이터셋 크기에 따라 경쟁 모델들보다 더 유연하게 확장되었다.
  • 자원 사용량: 낮은 GPU 메모리 소비 및 활용도를 보였다.
  • CPU 실행 가능성: Targeter는 전용 GPU 없이 일반적인 커모디티 CPU에서도 구동 가능하며, 적절한 메모리 사용량으로 며칠간의 시스템 활동을 몇 분 만에 처리할 수 있어 실용적이다.

의의 및 한계점

의서:
본 논문은 Targeter가 행동 특화가 프로비넌스 기반 탐지에서 경보 품질을 개선하기 위한 유효한 메커니즘임을 입증한다고 주장한다. 서로 다른 시스템 프로세스가 고유한 행동 규범을 가진다는 점을 인정함으로써, 이 프레임워크는 "일률적인(one-size-fits-all)" 모델링의 함정을 피한다. 또한 모듈형 아키텍처는 시스템 변화(정상성 변화)에 대응하여 특정 범주 모델을 재학습하거나 범주별 탐지 정책을 적용할 수 있는 실용적인 이점을 제공한다.

한계점:
저자들은 다음과 같은 한계점을 명시적으로 언급하였다:

1. 수동 범주화: 현재 구현은 수동으로 정의된 행동 범주에 의존한다. 이러한 범주를 자동으로 발견하는 것은 여전히 미해결된 연구 과제이다.
2. 프로세스 중심 특화: 현재 특화는 프로세스 노드에만 적용된다. 파일 및 네트워크 엔티티는 상호작용을 통해 모델링되지만, 별도의 전용 행동 범주를 갖지는 않는다.
3. 범위: 평가는 단일 호스트 벤치마크 데이터셋에 국한된다. 대규모 멀티 호스트 또는 지속적으로 진화하는 운영 환경에서의 프레임워크 성능에 대해서는 추가적인 조사가 필요하다.