[기술 요약] AsmRAG: 기능적으로 유사한 어셈블리 코드 검색을 통한 LLM 기반 악성코드 탐지

1. 문제 정의 (Problem Statement)

현재의 딥러닝 기반 악성코드 탐지 모델(예: EMBER, ResNeXt)은 높은 분류 정확도를 보이지만, 보안 운영 센터(SOC) 분석가들에게 다음과 같은 치명적인 한계를 가집니다.

• 해석 가능성 결여 (Interpretability Gap): 모델이 "악성"이라는 확률적 결과만 내놓을 뿐, "왜" 악성인지에 대한 구체적인 포렌식 근거(어떤 코드 때문에 악성인지)를 제공하지 못하는 '블랙박스' 문제입니다.
• 구문적 난독화에 취약 (Syntactic Fragility): 데드 코드 삽입, 레지스터 교체, 명령어 치환 등 코드의 논리(Semantics)는 유지하면서 겉모습(Syntax)만 바꾸는 난독화 기법을 사용하면, 파일 전체의 통계적 특징이 변하여 탐지 성능이 급격히 저하됩니다.
• 귀속(Attribution)의 어려움: 악성코드가 어떤 패밀리(Family)에 속하는지 식별할 때, 단순 통계적 유사성이 아닌 실제 기능적 유사성을 증명하기 어렵습니다.

2. 제안 방법론 (Methodology: AsmRAG Framework)

본 논문은 악성코드 탐지를 '닫힌 집합의 분류(Classification)' 문제에서 '증거 기반의 오픈셋 검색(Evidence-based Retrieval)' 문제로 재정의합니다. 핵심은 **Assembly-Level Retrieval-Augmented Generation (RAG)**입니다.

A. 지식 베이스 구축 (Knowledge Base Construction)

1. Semantic Library Filtering: 악성코드와 일반 파일이 섞여 있을 때, printf와 같은 표준 라이브러리 코드가 노이즈로 작용하는 것을 방지하기 위해 임베딩 공간에서 라이브러리 함수를 식별하고 제거합니다.
2. Minimal Canonicalization: 주소값(ASLR 대응)만 제거하고, 레지스터 이름과 상수(Immediate values)는 유지하여 컴파일러 특성을 보존합니다.
3. Semantic Embedding: 코드 특화 LLM(Qwen3-Embedding)을 사용하여 어셈블리 함수를 고차원 벡터로 변환합니다. 이를 통해 구문이 달라도 기능이 같으면 벡터 공간에서 가까운 위치에 놓이게 됩니다(Semantic Invariance).

B. 증거 기반 분석 (Evidence-Based Analysis)

1. Distance-Weighted Voting: 검색된 이웃(Neighbors)들의 유사도(Cosine Similarity)를 가중치로 사용하여 해당 함수의 악성 점수를 계산합니다. 단순히 개수만 세는 것이 아니라, 더 유사한 코드에 더 높은 점수를 부여합니다.
2. Density-Weighted Anchor Selection: 파일 내의 모든 함수가 악성인 것은 아닙니다. AsmRAG는 악성 이웃들이 밀집된 영역에 있는 가장 대표적인 함수를 **'앵커 함수(Anchor Function, $q^*$)'**로 선정합니다. 이는 탐지 결과의 핵심 증거가 됩니다.

C. 생성형 설명 (Generative Reporting)

• 선정된 앵커 함수($q^*$)와 지식 베이스에서 검색된 증거($v^{proof}$)를 LLM에 입력하여, **"이 함수는 [특정 알고리즘]을 사용하여 [어떤 동작]을 수행하므로 [X 패밀리]의 변종이다"**라는 식의 자연어 포렌식 보고서를 생성합니다.

3. 주요 기여 (Key Contributions)

1. AsmRAG 아키텍처 설계: 파일 단위의 통계 분석에서 벗어나 함수 단위의 의미론적 검색을 수행하는 새로운 RAG 프레임워크를 제안했습니다.
2. 노이즈 저항성 임베딩 전략: 라이브러리 필터링과 최소한의 정규화(Minimal Canonicalization)를 통해 난독화에 강한 임베딩 파이프라인을 구축했습니다.
3. 밀도 가중 앵커 귀속(Density-Weighted Anchor Attribution): 가장 신뢰할 수 있는 악성 로직을 자동으로 식별하여 설명의 근거로 사용하는 메커니즘을 개발했습니다.
4. 설명 가능성(XAI) 구현: 고차원 벡터 유사도를 인간이 읽을 수 있는 자연어 설명으로 변환하여 포렌식 가치를 높였습니다.

4. 실험 결과 (Results)

40,814개의 바이너리 데이터셋을 통해 검증한 결과는 다음과 같습니다.

• 탐지 성능: 탐지 F1-Score 96.5%, 패밀리 귀속(Attribution) F1-Score **95%**를 달성했습니다.
• 난독화 저항성 (Robustness): 기존 모델(EMBER, ResNeXt)은 최적화 레벨이 높아질수록(예: -O3) 성능이 13~18% 급락했으나, AsmRAG는 2.9% 미만의 미미한 성능 저하만을 보이며 강력한 안정성을 입증했습니다.
• 설명 품질: 생성된 설명의 **91.1%가 사실적(Supported)**인 것으로 확인되었으며, 이는 전문가의 검증 결과와도 높은 일치도를 보였습니다.

5. 의의 및 결론 (Significance)

AsmRAG는 악성코드 탐지의 패러다임을 **"확률적 추측"에서 "증거 기반의 확인"**으로 전환했습니다.

• SOC 운영 효율화: 분석가에게 단순 경고가 아닌, 구체적인 코드 근거와 설명을 제공함으로써 분석 시간을 단축하고 '경보 피로(Alert Fatigue)'를 줄입니다.
• 지속 가능한 방어 (Active Defense): 새로운 악성코드가 발견되면 모델 전체를 재학습할 필요 없이, 해당 함수의 임베딩을 지식 베이스에 추가하는 것만으로 즉시 대응이 가능한 '액티브 러닝' 구조를 가집니다.
• 결론: 본 연구는 LLM과 RAG 기술을 저수준(Low-level) 어셈블리 분석에 성공적으로 결합하여, 현대의 지능형 난독화 공격에 대응할 수 있는 강력하고 해석 가능한 보안 솔루션을 제시했습니다.