기술 요약: 대규모 언어 모델을 활용한 역컴파일 기반 악성코드 탐지 프레임워크

문제 정의

전통적인 시그니처 기반 악성코드 탐지 방식은 고급 난독화, 폴리모픽 변형 및 미지의 공격 벡터를 사용하는 새로운 변종 악성코드에 대해 점점 더 무력해지고 있습니다. 인공지능(AI)과 대규모 언어 모델(LLM)이 코드 이해 및 의미론적 분석에서 가능성을 보여주었으나, 역컴파일된 실행 코드를 악성코드 분류에 직접 적용하는 것은 여전히 미개척 영역으로 남아 있습니다. 기존 연구들은 종종 가상의 데이터셋에 의존하거나 실제 적용성이 부족하며, 기존의 산업 접근 방식은 방법론적 투명성이 결여되는 경우가 많습니다. 또한, 급격히 진화하는 악성 코딩 패턴을 고려할 때, LLM이 생산 환경에서 전통적인 안티바이러스 소프트웨어를 견고하게 대체하거나 보완할 수 있는지 결정하는 것이 매우 중요합니다.

방법론

저자들은 역공학 도구와 최첨단 LLM을 결합하여 저수준 바이너리 분석과 고수준 의미 이해 사이를 연결하는 자동화된 파이프라인을 제 제안합니다.

1. 역컴파일 파이프라인: 이 시스템은 Ghidra 디스어셈블러를 사용하여 Windows 실행 파일을 인간이 읽을 수 있는 C 코드로 역컴파일합니다. 이 중간 표현(Intermediate Representation)이 LLM의 입력값으로 사용됩니다.
2. 데이터셋 구축:
   • 기초 데이터셋(Baseline Dataset): Malware Data Science 서적(2017)에서 유래되었으며, 240개의 "백도어(Backdoor)" 악성코드 샘플과 365개의 정상(Benign) 샘플로 구성됩니다. 역컴파일된 텍스트가 LLM의 토큰 제한을 초과하지 않도록 일부를 선별하였습니다.
   • 현대적 데이터셋(Contemporary Dataset): 2025년 Malware Bazaar에서 컴파일되었으며, 49개 제품군(예: LummaStealer, XWPM)에 걸친 120개의 새로운 악성코드 샘플과 28개의 정상 시스템 드라이버를 포함합니다. 정상 데이터셋은 도전적인 분류 경계를 만들기 위해 의도적으로 "악성코드와 유사한" 저수준 커널 상호작용을 포함하도록 선택되었습니다.
3. 분류 전략:
   • 프롬프트 엔지니어링: LLM이 사이버 보안 전문가로서 행동하도록 지시하고, 의심스러운 함수/API를 분석하며, 규칙(예: YARA)을 적용하고, 엄격한 JSON 불리언(True/False)을 출력하도록 표준화된 제로샷(Zero-shot) 프롬프트를 설계했습니다.
   • 모델 평가: 2017년 기초 데이터셋을 대상으로 여러 "바닐라(Vanilla)"(사전 학습된) LLM(Llama 3.3 70B, Codestral, Claude 3.7 Sonnet, Gemini 2.5 Pro)을 평가했습니다.
   • 미세 조정(Fine-Tuning): 가장 성능이 우수한 바닐라 모델(Gemini 2.5 Pro)을 200개의 큐레이션된 샘플(가장 작은 악성코드 100개, 가장 작은 정상 샘플 100개)을 사용하여 Google Cloud Vertex AI 상에서 40 에포크(Epoch) 동안 지도 미세 조정을 수행했습니다.
4. 안전 프로토콜: 모든 분석은 악성코드 전파를 방지하기 위해 암호화된 저장소와 스냅샷 복구 기능이 있는 격리된 에어갭(Air-gapped) 가상 머신에서 수행되었습니다.

주요 결과

평가는 바닐라 LLM, 미세 조정된 LLM, 그리고 정적 분석 특징을 학습한 전통적인 XGBoost 분류기를 비교했습니다.

• 바닐라 LLM 성능: 2017년 기초 데이터에 대해 바닐라 LLM은 가능성을 보여주었으나 일관성이 없었습니다. Gemini 2.5 Pro가 80.1%의 정확도를 기록하며 가장 강력한 후보로 나타났으나, 동일한 데이터셋에서 98.5%의 정확도를 달라는 XGBoost 분류기에는 미치지 못했습니다.
• 미세 조정의 영향: 2025년 현대적 데이터셋을 평가했을 때, 미세 조정된 Gemini 2.5 Pro 모델은 바닐라 모델과 전통적인 XGBoost 모델을 모두 크게 앞질렀습니다.
  • 미세 조정된 LLM: 83.2%의 정확도, 94.4%의 정밀도(Precision), **84.2%의 재현율(Recall)**을 달성했습니다.
  • 바닐라 LLM: 새로운 데이터에 대해 64.2%의 정확도로 하락했습니다.
  • XGBoost 분류기: 성능이 74.3%의 정확도로 크게 저하되었으며, 이는 학습 데이터에 존재하지 않는 진화하는 위협에 직면했을 때 전통적인 모델이 얼마나 취약한지를 보여줍니다.
• 일반화: 본 연구는 바닐라 LLM이 새로운 위협에 어려움을 겪는 반면, 특화된 미세 조정 모델은 진화하는 악성 코드 제품군에 대해 전통적인 정적 분석 방법보다 더 뛰어난 일반화 능력을 제공함을 입증합니다.

의의 및 주장

본 논문은 역컴파일 기반 LLM 분석이 특정 조건이 충족될 경우 자동화된 위협 탐지를 위한 실행 가능한 새로운 지평을 열 것이라고 주장합니다.

1. 미세 조정의 필요성: 주요 기여는 도메인 특화된 큐레이션 데이터에 대한 미세 조정이 필수적임을 입과한 것입니다. 바닐라 모델은 일반적인 코드 이해 능력에도 불구하고, 전문적인 학습 없이는 전통적인 안티바이러스 소프트웨어를 대체할 만큼 견고하지 않습니다.
2. 적응성 대 취약성: 결과는 전통적인 머신러닝 모델(예: XGBoost)이 알려진 데이터에 대해서는 매우 정확하지만 새로운 위협에는 취약한 반면, 미세 조정된 LLM은 진화하는 코딩 패턴 및 동작에 대해 우수한 적응성을 제공한다는 중요한 트레이드오프를 강조합니다.
3. 지속적 진화 요구사항: 본 논문은 특화된 모델조차도 더 새로운 악성코드를 만날 때 성능이 저하된다는 점을 명시적으로 주장합니다. 따라서 모델의 효과성을 유지하려면 변화하는 악성 동작에 발맞추기 위해 지속적인 미세 조정이 필요합니다.
4. 실제적 배포: 실제 악성 샘플을 사용하고 토큰 제한 문제를 샘플 선택을 통해 해결함으로써, 본 연구는 가상의 시나리오를 넘어 실제 운영 환경에 적용 가능한 실용성을 입증했습니다.

저자들은 LLM이 아직 기존 보안 스택을 완전히 대체할 수는 없지만, 지속적인 재학습과 결합될 때 기존의 시그니처 기반 및 정적 분석 방법의 한계를 해결할 수 있는 강력하고 적응력 있는 탐지 계층을 제공한다고 결론짓습니다. 향후 연구로는 신뢰성과 설명 가능성을 높이기 위해 동적 실행 추적(Dynamic execution traces)을 통합하고 도메인 특화 사전 학습을 탐구할 것을 제안합니다.