PIDSMaker: Building and Evaluating Provenance-based Intrusion Detection Systems

논문 요약: PIDSMAKER

1. 문제 정의 (Problem)

최근 시스템 프로베넌스 (시스템 실행의 인과 관계를 그래프로 표현) 를 기반으로 한 침입 탐지 시스템 (PIDS) 은 머신러닝, 특히 그래프 신경망 (GNN) 을 활용하여 고급 지속적 위협 (APT) 을 탐지하는 데 큰 잠재력을 보여주고 있습니다. 그러나 이러한 시스템의 평가와 비교에는 다음과 같은 심각한 문제들이 존재합니다.

• 비일관된 평가 관행: 동일한 데이터셋을 사용하더라도 전처리 파이프라인, 그래프 구성 방법, 특징 추출 방식이 연구마다 다릅니다.
• 표준화된 데이터셋 분할 및 라벨링 부재: 데이터셋을 학습/테스트로 나누는 기준 (시간적 경계, 호스트, 공격 시나리오 혼합 등) 이 불일치하며, 실제 공격 (Ground Truth) 을 어떻게 라벨링할지 (노드 단위, 엣지 단위, 이웃 단위 등) 에 대한 합의가 없습니다. 이는 지표의 인위적 왜곡을 초래합니다.
• 재현성 및 재구현 비용: 기존 연구의 코드가 공개되지 않거나 구현 세부사항이 부족하여 재현이 어렵습니다. 새로운 PIDS 를 개발할 때마다 데이터 파싱부터 평가 스크립트 작성까지 모든 과정을 처음부터 구현해야 하므로, 연구 효율성이 떨어지고 구현상의 미세한 차이가 공정한 비교를 방해합니다.
• 방법론적 결함: 단일 실행 결과만 보고하는 경우의 불안정성 (Instability), 데이터 스누핑 (Data Snooping) 문제, 그리고 과적합을 유발할 수 있는 수동 임계값 설정 등이 지적되었습니다.

2. 방법론 (Methodology)

저자들은 위 문제들을 해결하기 위해 PIDSMAKER라는 오픈소스 통합 프레임워크를 제안했습니다. 이는 8 개의 최신 PIDS 를 하나의 모듈식 아키텍처로 통합하여 일관된 프로토콜 하에 개발하고 평가할 수 있도록 설계되었습니다.

• 모듈식 아키텍처: PIDS 파이프라인을 7 단계 (Construction, Transformation, Featurization, Batching, Training, Evaluation, Triage) 로 분해하고, 각 단계를 독립적이고 교체 가능한 컴포넌트로 구현했습니다.
• YAML 기반 구성 (Config-driven): 코드 변경 없이 YAML 설정 파일만으로 시스템의 컴포넌트를 조합하고 하이퍼파라미터를 정의할 수 있습니다. 이를 통해 기존 시스템의 컴포넌트를 섞어 새로운 변형을 빠르게 프로토타이핑할 수 있습니다.
• 표준화된 전처리 및 라벨링: DARPA TC 및 OpTC 데이터셋에 대한 표준화된 파싱 파이프라인을 제공하며, Jiang et al. [27] 의 방식을 따르는 일관된 노드 단위 (Node-level) Ground Truth 라벨을 제공합니다.
• 효율성 및 확장성:
  • 온디스크 캐싱 (On-disk Caching): 각 파이프라인 단계의 출력을 해시 키로 저장하여, 상위 단계 설정이 변경되지 않으면 불필요한 계산을 생략하고 재사용합니다.
  • 실험 유틸리티: 하이퍼파라미터 튜닝 (Grid Search), 제거 분석 (Ablation Study), 실행 간 불안정성 측정 (Multi-run Instability), 시각화 등을 내장하여 방법론적 격차를 해소합니다.
• 지원 시스템: THREATRACE, NODLINK, MAGIC, KAIROS, FLASH, R-CAID, ORTHRUS, VELOX 등 8 개의 최신 시스템을 통합했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 아키텍처: 8 개의 최신 PIDS 를 단일 코드베이스로 통합하여 공정한 비교와 일관된 평가를 가능하게 함.
2. 표준화된 데이터 처리: DARPA 데이터셋에 대한 표준 전처리 파이프라인과 일관된 Ground Truth 라벨 제공으로 평가 불일치 해소.
3. 설정 기반 프로토타이핑: YAML 구성 파일을 통해 코드 작성 없이 컴포넌트를 조합하여 새로운 PIDS 를 설계할 수 있는 환경 제공.
4. 실험적 유틸리티 내장: 제거 분석, 하이퍼파라미터 튜닝, 불안정성 측정, 시각화 도구를 제공하여 기존 연구의 방법론적 결함 보완.
5. 오픈소스 릴리스: 전처리된 데이터셋과 라벨을 포함한 프레임워크를 공개하여 커뮤니티의 공유 평가 플랫폼 역할 수행.

4. 결과 및 성능 (Results & Use Cases)

논문은 PIDSMAKER 를 통해 다음과 같은 구체적인 사용 사례를 시연했습니다:

• 기존 시스템 실행: 설정 파일과 데이터셋을 지정하여 기존 8 개 시스템을 즉시 실행 가능.
• 모델 변형 설계: 기존 시스템 (예: ORTHRUS) 의 특징 추출기 (Featurization) 나 인코더 (Encoder) 만 변경하여 새로운 변형을 YAML 로 정의하고 실행.
• 하이퍼파라미터 튜닝: 그리드 서치 (Grid Search) 를 통해 학습률, 은닉 차원 등을 체계적으로 최적화하고, 최적 설정을 저장하여 재사용.
• 불안정성 측정: 동일한 설정으로 여러 번 실행하여 평균, 표준편차, 상대적 표준편차를 계산함으로써 단일 실행 결과의 신뢰성을 검증.
• 시각화: 이상 점수 분포, 랭크 기반 플롯 등을 통해 공격과 정상 활동의 분리 정도를 시각적으로 분석.

5. 의의 및 결론 (Significance)

PIDSMAKER 는 프로베넌스 기반 보안 연구 분야에서 **재현성 (Reproducibility)**과 **공정한 비교 (Fair Comparison)**의 표준을 제시한다는 점에서 중요한 의의를 가집니다.

• 연구 효율성 증대: 연구자들은 매번 파이프라인을 처음부터 구축할 필요 없이, 모듈을 조합하여 새로운 아이디어를 빠르게 검증할 수 있습니다.
• 방법론적 엄격성 강화: 단일 실행 결과에 의존하는 관행을 개선하고, 체계적인 튜닝과 불안정성 측정을 통해 더 신뢰할 수 있는 성능 평가를 가능하게 합니다.
• 커뮤니티 발전: 오픈소스 플랫폼을 통해 연구자들이 기여하고, 새로운 데이터셋이나 시스템을 쉽게 통합할 수 있는 생태계를 조성합니다.

결론적으로, PIDSMAKER 는 PIDS 연구의 기술적 장벽을 낮추고, 표준화된 평가 프로토콜을 통해 해당 분야의 지속 가능한 발전을 촉진하는 핵심 도구로 자리 잡을 것으로 기대됩니다.