AgentGuard: A Multi-Agent Framework for Robust Package Confusion Detection via Hybrid Search and Metadata-Content Fusion

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 오픈소스 소프트웨어 (OSS) 생태계의 급격한 성장으로 인해 NPM, PyPI 등의 패키지 레지스트리를 통한 공급망 공격이 증가하고 있습니다.
• 핵심 위협 (Package Confusion): 공격자가 합법적인 패키지의 이름과 매우 유사하게 이름을 짓고 악성 코드를 포함하여 개발자를 속여 설치하게 만드는 '패키지 혼동 (Package Confusion)' 공격이 주요 위협입니다. 이는 오타 (Typosquatting), 구문 변경, 의미론적 유사성 (Synonym substitution) 등 다양한 기법을 사용합니다.
• 기존 방법론의 한계:
  1. 단일 신호 검색의 비효율성: 기존 도구들은 어휘적 (Lexical) 또는 의미론적 (Semantic) 유사성 중 하나에만 의존하여, 한쪽 기법의 공격은 탐지하지 못하거나 오탐지 (False Positive) 가 높습니다.
  2. 높은 오탐지율 (High FPR): 이름과 메타데이터만 유사한 합법적인 패키지를 악성 패키지로 잘못 분류하는 경우가 많아 경보 피로 (Alert Fatigue) 를 유발합니다.
  3. 적대적 회피 취약성: 공격자가 메타데이터 (기술자, 설명, 저장소 URL 등) 를 조작하여 탐지를 우회할 수 있어, 메타데이터 기반의 정적 규칙은 취약합니다.
  4. 콘텐츠 무관성 (Content-Agnostic): 대부분의 기존 방법은 패키지 내부 코드 내용을 분석하지 않아, 이름은 비슷하지만 코드는 완전히 다른 악성 모방을 구별하기 어렵습니다.

2. 제안 방법론: AgentGuard (Methodology)

AgentGuard 는 멀티 에이전트 (Multi-Agent) 프레임워크를 기반으로 하며, LLM 기반의 추론과 도구 증강 ML 을 결합하여 혼동 공격을 탐지합니다. 시스템은 크게 세 가지 에이전트로 구성됩니다.

A. 시스템 아키텍처 및 워크플로우

1. Orchestrator Agent (조정자):
   • 작업 초기화, 에이전트 간 통신, 결과 통합을 담당합니다.
   • 탄력적인 데이터 수집: 로컬 메타데이터 DB 가 불완전한 경우 외부 API(Libraries.io) 로 자동 폴백하여 데이터 무결성을 보장합니다.
2. Threat Analyst Agent (위협 분석가):
   • 목표: 입력된 의심 패키지의 정당한 타겟 (Legitimate Target) 을 자율적으로 발견합니다.
   • 하이브리드 검색 전략 (Hybrid Search):
     • 의미론적 검색: 미세 조정된 Word Embedding(FastText) 을 사용하여 개념적 유사성을 파악합니다.
     • 구문적 검색: Trigram 유사도 (Dice 계수) 를 사용하여 오타 및 구문 변형을 탐지합니다.
     • 결합 및 순위 매기기: 두 채널의 결과를 융합하여 가장 유력한 타겟 (Top-1) 을 선정합니다. 이는 단일 신호 검색의 한계를 극복하고 높은 재현율 (Recall) 과 정밀도 (Precision) 를 동시에 확보합니다.
3. Confusion Checker Agent (혼동 검사자):
   • 목표: 발견된 타겟과 의심 패키지를 비교하여 혼동 확률을 계산합니다.
   • 융합된 특징 추출 (Fused Feature Extraction): 18 개의 다차원 특징 벡터를 추출합니다.
     • Syntactic Similarity (SS): 이름 유사도 (Levenshtein, Jaro-Winkler 등).
     • Metadata Quality (MQ): 유지보수 상태, 저장소 유효성 등 (조작 가능).
     • Contextual & Differential (CD): 생태계 내 맥락 및 차이점.
     • Temporal Signals (TS): 패키지 생성일, 마지막 업데이트 등 (조작이 어려운 신호).
     • Package Content (PC): 핵심 혁신. 패키지 크기 비율, 파일 목록 유사성, 의존성 그래프 유사성, 코드 임베딩 (CodeBERT 기반) 유사성을 분석합니다.
   • 분류 모델: 추출된 18 개 특징을 Random Forest 분류기에 입력하여 혼동 확률을 산출하고 임계값을 기반으로 'Benign(합법)' 또는 'Confusion(악성)'으로 분류합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 검색 전략: 의미론적 및 구문적 신호를 통합하여 단일 메트릭 기반 접근법보다 훨씬 효과적으로 혼동 타겟을 발견합니다.
2. 새로운 패키지 콘텐츠 특징 세트 (PC Features): 패키지 크기, 파일 목록, 의존성, 코드 임베딩 유사성 등 4 가지 코어 레벨 특징을 도입하여, 이름이 유사한 합법적 패키지와 악성 모방을 명확히 구분하고 오탐지율을 획기적으로 낮춥니다.
3. 강건한 다차원 탐지 모델: 조작 가능한 메타데이터와 조작이 어려운 시간적 신호 (TS), 그리고 콘텐츠 신호 (PC) 를 결합하여 적대적 메타데이터 조작 공격에 견고한 검증 메커니즘을 구축했습니다.
4. 최초의 멀티 에이전트 프레임워크: SOTA 성능을 가지며 다양한 생태계 (34 개) 에 적응 가능한 AgentGuard 를 설계했습니다.

4. 실험 결과 (Results)

데이터셋: ConfuDB (실제 분석가 검증 데이터, 2,361 개) 와 NeupaneDB (공개된 공격 데이터, 1,840 개).
비교 대상: Typomind (의미론적 분석 기반), ConfuGuard (메타데이터 기반).

• 성능 향상:
  • 정밀도 (Precision): 기존 방법 대비 12%~49% 향상.
  • 오탐지율 (FPR): 11%~35% 감소.
  • F1 점수: ConfuDB 에서 72%~119% 상대적 개선, NeupaneDB 에서도 우세한 성능 유지.
• 하이브리드 검색 효과: 단일 검색 (의미론적 또는 구문적) 에 비해 타겟 발견률 (TDR@1) 이 **66%~84%**로 크게 향상되어, 이후의 비용이 많이 드는 콘텐츠 분석 단계로 올바른 타겟을 전달합니다.
• 적대적 공격에 대한 강건성 (Robustness):
  • 메타데이터만 조작하는 공격 시, 메타데이터 기반 모델 (SS+MQ) 은 재현율이 0.91 에서 0.11 로 붕괴되었습니다.
  • 반면, AgentGuard(All-Features) 는 콘텐츠 (PC) 신호를 통해 조작된 메타데이터를 무효화하여 재현율 하락을 최소화 (NeupaneDB 에서 0.07 만 감소) 했습니다.
  • SHAP 분석을 통해 PC 특징이 조작된 메타데이터 신호를 대체하여 의사결정을 보정하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존 패시브 (수동적) 인 쌍 비교 방식에서, 단일 입력으로 능동적으로 타겟을 발견하고 검증하는 프로액티브 (Proactive) 탐지 방식으로 전환했습니다.
• 강건성과 성능의 상충 관계 해결: 기존에는 메타데이터를 신뢰하면 성능은 좋지만 보안이 취약하고, 메타데이터를 배제하면 보안은 좋지만 성능이 떨어지는 상충 관계 (Trade-off) 가 있었습니다. AgentGuard 는 **콘텐츠 분석 (PC)**을 추가하여 이 상충 관계를 해결하고, 높은 성능과 최강의 적대적 강건성을 동시에 달성했습니다.
• 실용성: 다양한 오픈소스 생태계에 적용 가능하며, 자동화된 멀티 에이전트 아키텍처를 통해 확장성과 적응성을 보장합니다.

이 연구는 소프트웨어 공급망 보안 분야에서 패키지 혼동 공격에 대한 가장 강력하고 포괄적인 방어 체계 중 하나를 제시했다는 점에서 의의가 큽니다.