LLM4CodeRE: Generative AI for Code Decompilation Analysis and Reverse Engineering

1. 문제 정의 (Problem Definition)

• 배경: 사이버 보안에서 악성코드 (Malware) 의 역공학 (Reverse Engineering) 은 필수적이지만, 현대 악성코드가 사용하는 정교한 난독화 (Obfuscation), 패킹 (Packing), 다형성 (Polymorphism) 기법으로 인해 자동화된 코드 역분해 (Decompilation) 는 여전히 해결되지 않은 난제입니다.
• 기존 접근법의 한계:
  • 전통적인 정적/동적 분석 기법은 수동 노력이 많이 들고, 난독화 기법 앞에서는 취약하며 확장성이 떨어집니다.
  • 기존 대규모 언어 모델 (LLM) 기반의 코드 변환 연구는 대부분 일반적인 오픈소스 코드로 사전 학습되어 있어, 악성코드 특유의 난독화 패턴이나 분석 회피 로직을 이해하지 못합니다.
  • 기존 평가 지표가 정적 유사성 (Static Similarity) 에만 치중하여, 생성된 코드가 실제로 실행 가능한지 (Re-executability) 를 검증하지 못했습니다.

2. 제안 방법론 (Methodology)

저자들은 LLM4CodeRE라는 도메인 적응형 (Domain-adaptive) LLM 프레임워크를 제안하며, 이는 단일 모델 내에서 **어셈블리 $\to$ 소스 코드 (역분해)**와 **소스 코드 $\to$ 어셈블리 (재컴파일)**를 모두 지원하는 양방향 변환을 목표로 합니다.

A. 핵심 아키텍처 및 학습 전략

1. 악성코드 인식 CLM 사전 학습 (Malware-Aware CLM Pretraining):

   • 일반적인 코드 대신, 실제 악성코드 바이너리에서 추출한 어셈블리 코드와 역분해된 의사 코드 (Pseudo-code) 대량 코퍼스로 모델의 백본 (Backbone) 을 사전 학습시킵니다.
   • 이를 통해 모델은 난독화 기법, 디버깅 회피 로직, 악성코드 특유의 API 사용 패턴을 학습합니다.

2. 효율적 파라미터 적응 (Parameter-Efficient Adaptation):

   • LoRA (Low-Rank Adaptation): 백본 모델의 가중치를 고정하고 저랭크 행렬만 업데이트하여 학습 비용을 절감하고 도메인 지식의 망각 (Catastrophic Forgetting) 을 방지합니다.
   • 두 가지 적응 전략 비교:
     • Multi-Adapter (MA): 각 태스크 (Asm$\to$Src, Src$\to$Asm) 에 맞는 경량 어댑터 모듈을 부착하여 태스크별 특화 학습을 수행합니다.
     • Seq2Seq Unified (S2S): 단일 모델 내에서 태스크 조건부 접두사 (Task-conditioned Prefix) 토큰을 사용하여 양방향 변환을 하나의 생성 프레임워크로 통합합니다.

3. 데이터 전처리:

   • IDA Pro, Ghidra 등을 사용하여 바이너리를 역분해하고, 명령어 정규화, 레지스터 이름 변경 등을 통해 문법적 노이즈를 제거한 후 토큰화합니다.

B. 평가 지표 (Evaluation Metrics)

단순한 텍스트 유사도를 넘어 실용성을 검증하기 위해 3 가지 차원의 지표를 도입했습니다.

1. 의미적 유사성 (Semantic Similarity): BERTScore 를 사용하여 생성된 코드와 참조 코드의 문맥적 유사성을 측정.
2. 구조적 편집 유사성 (Structural Edit Similarity): 정규화된 Levenshtein 거리를 사용하여 문법적 정확도를 측정.
3. 재실행 가능성 (Re-executability): 생성된 소스 코드를 GCC 로 컴파일하고 샌드박스 환경에서 실행하여 실제로 작동하는지를 검증 (가장 중요한 지표).

3. 주요 기여 (Key Contributions)

1. 최초의 악성코드 인식 CLM 프레임워크: 실제 악성코드 바이너리에서 도메인 특화 표현 학습을 수행하는 최초의 LLM 기반 역분해 프레임워크를 제안했습니다.
2. 양방향 역공학 프레임워크: 단일 모델로 어셈블리$\to$소스 및 소스$\to$어셈블리 변환을 모두 지원하는 최초의 시스템입니다.
3. 하이브리드 적응 전략: Multi-Adapter 와 Seq2Seq Unified(prefix-tuning) 전략을 비교·검증하여 태스크별 최적의 적응 방식을 제시했습니다.
4. 종합 평가 프로토콜: 의미적 유사성뿐만 아니라 코드 재실행 가능성을 포함한 새로운 평가 체계를 구축했습니다.

4. 실험 결과 (Results)

• 데이터셋: SBAN 데이터셋 (676,151 개의 정렬된 샘플) 과 PE-Machine Learning 데이터셋을 사용했습니다.
• 성능 비교: LLM4CodeRE 는 기존 도구 (LLM4Decompile, WADEC 등) 와 범용 코드 모델 (DeepSeek, Qwen, Llama 등) 보다 모든 지표에서 우월한 성능을 보였습니다.
  • Asm$\to$Src (역분해): Multi-Adapter 전략이 의미적 유사성 (0.85) 과 편집 유사성 (0.63) 에서 가장 높은 점수를 기록했습니다.
  • Src$\to$Asm (재컴파일): Multi-Adapter 가 의미적 유사성 (0.64) 에서 가장 우수했습니다.
  • 재실행 가능성 (가장 중요한 결과): XLangKode 데이터셋에서 **LLM4CodeRE (S2S)**가 **86%**의 재실행 성공률을 기록하여, 기존 모델 (DeepSeek 15%, LLM4Decompile 48%) 을 압도적으로 앞섰습니다. 이는 생성된 코드가 단순한 텍스트가 아닌 실제 실행 가능한 프로그램임을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 가치: 악성코드 분석가들이 수동으로 수행하던 역공학 작업을 자동화하고, 생성된 코드의 실행 가능성을 보장함으로써 실제 위협 대응 (Threat Response) 및 방어 시그니처 개발에 직접 활용 가능한 도구를 제공합니다.
• 연구적 의의: LLM 을 악성코드 분석에 적용할 때, 단순한 텍스트 생성이 아닌 도메인 특화 학습과 실행 가능성 검증이 필수적임을 입증했습니다.
• 향후 과제: 현재 Windows PE 포맷에 집중되어 있으나, 향후 Android (APK, DEX, Smali) 악성코드 분석 및 크로스 플랫폼 일반화 연구로 확장할 계획입니다.

이 논문은 생성형 AI 를 사이버 보안, 특히 악성코드 역공학 분야에 적용하는 새로운 표준을 제시하며, 단순한 코드 변환을 넘어 실행 가능한 악성코드 분석 자동화의 가능성을 열었다는 점에서 의의가 큽니다.