기술 요약: 전문가 추론과 LLM 탐지의 가교 (IntelGuard)

문제 정의

NPM 및 PyPI와 같은 오픈 소스 생태계는 공급망 공격의 표적이 되고 있으나, 현재의 탐지 방식은 상당한 한계에 직면해 있다. 규칙 기반(Rule-based) 접근 방식은 수동으로 제작된 취약한 규칙에 의존하며, 이는 지속적인 수동 유지보수를 요구하고 진화하는 공격의 의미론적 패턴을 포착하지 못한다. 데이터 기반의 머신러닝 방식은 개념 드리프트(concept drift)로 인해 위협 패턴이 진화함에 따라 구식 모델이 되어 정확도가 저하되고 높은 오탐률(false positive rates)을 초래한다. 대규모 언어 모델(LLM) 기반의 탐지기는 프로그램 동작을 더 높은 추상화 수준에서 분석함으로써 패러다임의 전환을 제시하지만, 두 가지 결정적인 장애물에 직면해 있다: 즉, 내재된 환각(hallucinations)으로 인한 예측의 신뢰성 부족, 그리고 체계적인 전문가 추론 및 맥락적 위협 인텔리전스에 대한 접근성 결여이다. 결과적으로, 이들은 정교하거나 맥락 의존적인 악성 패키지를 분석하는 데 어려움을 겪으며, 흔치 않은 구조를 가진 정상적인 패키지를 오분류하곤 한다.

핵심 과제는 인간의 분석적 추론(전문가가 의도된 기능에 대비하여 코드 동작의 일관성을 평가하고 공격 로직을 재구성하는 과정)과 자동화된 탐지 시스템 사이의 간극을 메우는 것이다. 이러한 전문가 지식은 구조화되지 않은 위협 인텔리전스 보고서(PDF, 블로그 등) 속에 갇혀 있어 자동화 도구로는 접근할 수 없는 상태이다.

방법론: IntelGuard 프레임워크

저자들은 전문가의 분석적 추론을 위협 인텔리전스 보고서로부터 통합하여 자동화된 악성 패키지 탐지 파이프라인에 적용하는 검색 증강 생성(RAG) 기반 프레임워크인 IntelGuard를 제안한다. 이 프레임워크는 두 가지 주요 단계로 작동한다.

1. 지식 구축 단계 (Knowledge Construction Phase)

이 단계는 구조화되지 않은 위 threat 인텔리전스를 구조화되고 기계가 해석 가능한 지식 베이스로 변환한다.

• 데이터 전처리: 시스템은 22개 보안 벤더(예: ReversingLabs, Trend Micro)로부터 8,024 페이지의 데이터를 수집한다. OCR을 사용하여 스크린샷에서 코드를 추출하고, 코드 스니펫과 전문가 설명 사이의 의미적 정렬을 보존하기 위해 문서 레이아웃을 재구성한다.
• 추출 및 검증: LLM은 악성 코드 스니펫, 실행 컨텍스트(트리거, 권한), 동작 요약, 그리고 특정 동작이 왜 보안 원칙을 위반하는지를 설명하는 **전문가 추론 체인(expert reasoning chains)**을 포함한 구조화된 지식을 추출한다. 보안 전문가가 참여하는 휴먼 인 더 루프(human-in-the-loop) 검증 단계를 통해 추출된 추론과 동작 설명의 충실도를 보장한다.
• 계층적 클러스터링: 동일한 악성 의도의 다양한 구현을 처리하기 위해, 시스템은 두 단계의 클러스터링을 수행한다:
  • 구문적 수준(Syntactic Level): 코드 임베딩을 클러스터링하여 유사한 구조를 가진 스니펫들을 그룹화한다.
  • 행동적 수준(Behavioral Level): 전문가 추론으로부터 도출된 행동 임베딩을 클러스터링하여, 구문적으로는 다르지만 기능적으로 동일한 공격들을 그룹화한다.
• 지식 베이스 스키마: 최종 지식 베이스는 코드 스니펫, 컨텍스트, 행동 설명, 전문가 추론, 그리고 효율적인 검색을 위한 이중 임베딩(구문 및 행동)을 포함하는 튜플 형태로 항목을 저장한다.

2. 악성 패키지 탐지 단계 (Malicious Package Detection Phase)

새로운 패키지를 분석할 때, IntelGuard는 다음 단계를 수행한다:

• 민감한 코드 슬라이싱 (Sensitive Code Slicing): 패키지 전체를 분석하는 대신, 시스템은 민감한 API 호출(예: 파일 시스템 접근, 네트워크 통신, 프로세스 실행)을 식별하고 후방 데이터 흐름 및 제어 흐름 슬라이싱을 수행한다. 이를 통해 엔트리 포인트로부터 민감한 API까지의 완전한 실행 컨텍스트를 캡처하는 독립적인 기능 단위를 추출한다.
• RAG 기반 검색: 시스템은 추출된 슬라이스에 대해 코드 및 행동 임베딩을 생성한다. 그 후 지식 베이스를 쿼리하여 의미적으로 유사한 악성 사례와 그에 연관된 전문가 추론 체인을 검색하며, 이때 구문적 유사성과 행동적 유사성의 균형을 맞춘다.
• LLM 가이드 추론: LLM은 검색된 전문가 지식과 함께 대상 슬라이스를 분석한다. LLM은 관찰된 동작이 의도된 기능과 일치하는지, 아니면 검색된 추론 체인에 근거하여 보안 원칙을 위반하는지를 평가한다.
• 집계 (Aggregation): 만약 어떤 패키지의 민감한 슬라이스 중 하나라도 악성 판정을 받으면 해당 패키지는 악성으로 분류된다. 시스템은 이진 라벨과 해석 가능한 추론 보고서를 출력한다.

주요 기여

1. 지식 주도형 탐지 접근 방식: 본 논문은 위협 인텔리전스 보고서에서 전문가 추론을 추출하여 해석 가능한 제로샷(zero-shot) 탐지를 가능하게 하는 최초의 RAG 기반 LLM 프레임워크를 제시한다.
2. 포괄적인 지식 베이스: 저자들은 8,024개의 위협 보고서로부터 4,420개의 악성 코드 컨텍스트를 포함하는 구조화된 지식 베이스를 구축하였다. 여기에는 기능적 경계, 실행 컨텍스트 및 공격 패턴 원칙을 통해 보안 위반을 설명하는 행동 설명과 전문가 추론 체인이 포함된다.
3. 강력한 성능: 이 프레임워크는 4,087개의 패키지 데이터셋에 대해 99.0%의 정확도와 0.50%의 오탐률을 달ink하며 최첨단 성능을 입증했다. 특히, 난독화된 코드에서도 96.50%의 정확도를 유지하며, 이는 직접적인 LLM 분석(52.82%)보다 크게 향상된 수치이다.

실험 결과

평가는 2,000개의 PyPI 및 2,027개의 npm 패키지(난독화된 샘플 세트 포함)로 구성된 데이터셋을 대상으로 수행되었다.

• 정확도: IntelGuard는 PyPI에서 99%, npm에서 98.72%의 정확도를 달성하여 기존의 베이스라인(규칙 기반, ML, LLM 기반)보다 4~9 퍼센트 포인트 더 높은 성능을 보였다.
• 난독화 강건성: 난독화된 PyPI 패키지에 대해 IntelGuard는 96.50%의 정확도를 유지했다. 반면, 직접적인 LLM 분석은 52.82%로 떨어졌고, 머신러닝 베이스라인들은 심각한 성능 저하(예: SAP-RF는 23.17 포인트 하락)를 겪었다.
• 오탐 감소: 베이스라인에서 최대 6.5%에 달했던 오탐률이 0.50%로 감소했다.
• 실제 배포: 2025년 7월부터 9월 사이, IntelGuard는 PyPI.org를 스캔하도록 배포되어 이전에 보고되지 않은 54개의 악성 패키지를 발견했다. 이 중 24개는 PyPI 보안 팀에 의해 확인 및 제거되었으며, 나머지 30개는 제출 전 독립적으로 제거되었다.

의의 및 주장

본 논문은 IntelGuard가 구조화되지 않은 분석적 지식을 실행 가능한 탐지 능력으로 변환함으로써 인간 전문가의 추론과 자동화된 탐지 사이의 간극을 성공적으로 메웠다고 주장한다. 이 시스템의 의의는 다음과 같다:

• 해석 가능성: "블랙박스" 모델과 달리, IntelGuard는 전문가가 검증한 로직과 역사적 위협 인텔리전스에 근거하여 결정을 설명하는 추론 보고서를 제공한다.
• 강건성: 구문적 특징보다는 행동적 추상화와 전문가 추론에 의존함으로써, 전통적인 ML 및 규칙 기반 탐지기를 무력화하는 코드 난독화 기법에 대해서도 효과적이다.
• 실질적 영향력: 보고되지 않은 악성 패키지를 발견한 실제 배포 사례는 오픈 소스 생태계의 지속적이고 실시간적인 모니터링을 위한 이 프레임워크의 실행 가능성을 입증한다.

저자들은 이 시스템이 인간 분석가를 대체하는 것이 아니라, 그들의 추론 패턴을 운영화(operationalize)하여 자동화된 시스템이 수동적인 규칙 인코딩 없이도 다양한 공격 패턴에 적응할 수 있도록 하는 것이라고 강조한다.