Killing Two Birds with One Stone: Malicious Package Detection in NPM and PyPI using a Single Model of Malicious Behavior Sequence

기술 요약: Cerebro – 단일 악성 행위 시퀀스 모델을 이용한 NPM 및 PyPI의 악성 패키지 탐지

문제 정의
오픈 소스 소프트웨어(OSS) 공급망은 주요 공격 벡터가 되었으며, NPM(JavaScript) 및 PyPI(Python)와 같은 패키지 레지스트리는 빈번한 표적이 되고 있습니다. 기존의 탐지 메커니즘은 두 가지 결정적인 한계에 직면해 있습니다:

1. 에코시스템 고립(Ecosystem Silos): 대부분의 탐지기는 단일 에코시스템(NPM 또는 PyPI 중 하나)에 특화되어 설계되었으며, 한 에코시스템에서 탐지된 악성 행위에 대한 지식을 다른 에코시스템의 위협을 식별하는 데 활용할 수 없습니다. 이는 공격자들이 악성 패키지를 여러 에코시스템에 걸쳐 전사(transcribe)하는 경우가 많음에도 불구하고, 악성 패키지에 대한 공개 데이터셋이 작고 파편화되어 있다는 점 때문에 특히 문제가 됩니다.
2. 순차적 모델링의 부재(Lack of Sequential Modeling): 현재의 접근 방식은 일반적으로 악성 행위를 이산적이고 독립적인 특징들의 집합(예: 특정 임포트나 메타데이터 이상 징치)으로 모델링합니다. 이들은 공격의 순차적인 성격, 즉 악성 활동이 특정 순서(예: 민감한 데이터 읽기 $\rightarrow$ 인코딩 $\rightarrow$ 전송 $\rightarrow$ 페이로드 실행)로 발생하는 과정을 포착하지 못합니다.

방법론: Cerebro
이러한 한계를 해결하기 위해 저자들은 NPM과 PyPI 모두에서 위협을 탐지하기 위해 "악성 행위 시퀀스"를 활용하는 통합 탐지 모델인 Cerebro를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소를 통해 작동합니다:

1. 특징 추출기 (정적 분석):

   • Cerebro는 악성 행위의 고수준 추상화에 기반하여 16개의 언어 독립적인 특징을 추출하기 위해 정적 분석을 사용합니다.
   • 이 특징들은 다섯 가지 차원으로 분류됩니다: 메타데이터 (예: 의심스러운 이름, 단 Cerebro는 레지스트리별 가정을 피하기 위해 코드 수준의 특징에 집중함), 정보 읽기 (OS/파일 시스템 모듈 사용), 데이터 전송 (네트워크 모듈 사용, URL), 인코딩 (base64와 같은 난독화 기법), 그리고 페이로드 실행 (프로세스 모듈 사용, eval, bash 스크립트).
   • 레지스트리 메타데이터가 아닌 코드 수준의 추상화에 의존함으로써, Cerebro는 서로 다른 에코시스템 간의 지식 융합을 가능하게 합니다.

2. 행위 시퀀스 생성기 (Behavior Sequence Generator):

   • 이 구성 요소는 추출된 특징들을 순차적인 표현으로 조직하여 공격의 실행 흐 흐름을 모델링합니다.
   • 우선순위 지정: 방법론은 실행 가능성이 높은 순서대로 우선순위가 지정됩니다: 설치 시점(가장 높음, 예: setup.py, preinstall 스크립트), 임포트 시점(예: __init__.py, index.js), 그리고 실행 시점(Run-time).
   • 콜 그래프 순회(Call Graph Traversal): 시스템은 패키지를 위한 콜 그래프를 구축합니다. 시스템은 우선순위가 지정된 메서드로부터 그래프를 순회하며, 라인 번호와 호출 의존성에 따라 특징 인스턴스를 추출하고 정렬합니다. 이를 통해 의심스러운 활동들의 절차적 순차 관계를 보존합니다.

3. 악성도 분류기 (Maliciousness Classifier):

   • 생성된 행위 시퀀스는 텍스트 설명(예: "네트워크 모듈 임포트, 네트워크 모듈 호출 사용, 민감한 정보 읽기")으로 변환됩니다.
   • 이 텍스트는 사전 학습된 언어 모델(BERT, RoBERTa 또는 T5)에 입력되어 이진 분류기로 미세 조정(fine-tuning)됩니다. 텍스트 형태의 자연어 설명을 사용하는 이유는 모델이 사전 학습 중에 습득한 의미론적 이해를 활용하여 보안 관련 용어의 문맥을 해석할 수 있도록 하기 위 위함입니다.

주요 기여

• 통합 탐지 모델: 저자들은 단일 아키텍처를 기반으로 행위 시퀀스를 사용하여 NPM과 PyPI 모두에서 악성 패키지를 탐지하는 최초의 모델인 Cerebro를 구현했습니다.
• 행위 시퀀스 모델링: 본 논문은 악성도를 단순한 특징의 주머니(bag of features)가 아니라, 정적 분석과 콜 그래프로부터 도출된 순서가 있는 이벤트의 시퀀스로 모델링하는 새로운 접근 방식을 도입합니다.
• 실증적 검증: 2,675개의 악성 패키지와 7,391개의 정상 패키지로 구성된 데이터셋을 통해 광범위한 실험이 수행되었습니다.
• 실제 환경 배포: 시스템을 7~8개월 동안 신규 발행 패키지를 모니터링하는 데 배치하였으며, 그 결과 수백 개의 새로운 악성 패키지를 탐지하고 제거하였습니다.

평가 결과

• 효과성:
  • 단일 언어 (동일 에코시스템에서 학습/테스트): Cerebro는 기존의 최첨단 학습 기반 접근 방식(예: Amalfi, SAP)보다 평균적으로 정밀도(precision)에서 10.0%, 재현율(recall)에서 7.4% 더 높은 성능을 보였습니다.
  • 이중 언어 (양쪽 모두에서 학습, 한쪽에서 테스트): Cerebro는 기존 방식 대비 평균 정밀도 9.9%, **재현율 8.9%**의 향상을 달 수 있었으며, 이는 교차 에코시스템 지식 융합의 가치를 입증합니다.
  • 교차 언어 (한쪽에서 학습, 다른 쪽에서 테스트): 모델은 베이스라인에 비해 F1-score에서 상당한 이득을 보였으나, 단일 언어 설정보다는 성능이 낮았습니다. 이는 지식 전이가 가능하지만 에코시스템 특유의 뉘앙스가 여전히 존재함을 나타냅니다.
• 효율성: 단일 패키지를 분석하는 데 걸리는 평균 시간은 10.5초이며, 저자들은 이를 레지스트리 검증에 실용적으로 수용 가능한 수준이라고 판단했습니다. 전체 혼합 데이터셋에 대해 모델을 학습시키는 데는 약 39.3시간이 소요됩니다.
• 절제 연구 (Ablation Study): 행위 시퀀스 생성기나 텍스트 변환 단계를 제거하면 재현율이 크게 감소(교차 언어 시나리오에서 최대 33%)하였으며, 이는 순차적 모델링과 의미론적 표현의 필요성을 확인시켜 줍니다.
• 실제 영향력:
  • 모니터링 기간 동안 Cerebro는 923,638개의 신규 릴리스 중 5,976개의 잠재적 악성 패키지 버전을 식별했습니다.
  • 수동 검증 결과, 저자들은 683개의 악성 PyPI와 799개의 악성 NPM 패키지를 확인했습니다.
  • 확인된 모든 악성 패키지는 공식 PyPI 및 NPM 팀에 보고되어 제거되었습니다. 저자들은 이러한 보고에 대해 707건의 감사 편지를 받았습니다.
  • 이러한 새로운 위협들을 분석한 결과, **83.3%**가 설치 시점에 악성 행위를 트리거했으며, **70.9%**는 민감한 정보를 탈취하는 것을 목표로 했습니다.

의의 및 주장
본 논문은 Cerebro가 현재의 탐지 시스템이 가진 에코시스템 파편화와 순차적 모델링 부재라는 두 가지 과제를 효과적으로 해결한다고 주장합니다. 악성 행위를 언어 중립적인 시퀀스로 추상화하고 대규모 언어 모델의 의미론적 능력을 활용함으로써, Cerebro는 기존의 규칙 기반 또는 이산 특징 학습 방식보다 더 높은 정확도를 달달성합니다. 저자들은 자신들의 접근 방식이 이론적으로 타당할 뿐만 아니라, 실제 환경에서 약 1,500개의 새로운 악성 패키지를 성공적으로 탐지하고 제거함으로써 실용적임이 입증되었다고 강조합니다. 이 연구는 향후 탐지 시스템이 정적 특징 목록을 넘어 공격의 *과정(process)*을 모델링해야 하며, 교차 에코시스템 학습이 보안 연구의 데이터 부족 문제를 완화하기 위한 유효한 전략임을 시사합니다.