Can LLMs Deobfuscate Binary Code? A Systematic Analysis of Large Language Models into Pseudocode Deobfuscation

1. 문제 정의 (Problem Definition)

• 배경: 바이너리 코드 난독화 (Obfuscation) 는 소프트웨어 보호 및 지적 재산권 보호를 위해 널리 사용되지만, 악성코드 분석 및 보안 위협 탐지에도 악용됩니다. 난독화된 바이너리를 원래의 논리로 복원하는 '역설계 (Reverse Engineering)'는 매우 중요한 과제입니다.
• 현재의 한계: 기존의 난독화 제거 (Deobfuscation) 기법들은 주로 수동으로 제작된 규칙이나 휴리스틱에 의존하며, 특정 난독화 패턴에 맞춰져 있어 다양한 조합의 난독화 기법에는 일반화되지 못합니다.
• 연구 질문: 최근 대규모 언어 모델 (LLM) 이 코드 생성 및 보안 분석 분야에서 뛰어난 성능을 보이고 있지만, LLM 이 바이너리 코드 (역컴파일된 의사코드) 의 난독화를 효과적으로 해결할 수 있는지, 그리고 어떤 요인이 성능에 결정적인 영향을 미치는지에 대한 체계적인 평가가 부족했습니다.

2. 방법론 (Methodology)

2.1. 벤치마크 구축: BINDEOBFBENCH

이 연구는 LLM 기반 바이너리 난독화 제거를 평가하기 위한 최초의 포괄적인 벤치마크인 BINDEOBFBENCH를 제안합니다.

• 데이터셋 구성: CodeNet 데이터셋에서 추출한 754,058 개의 C/C++ 소스 코드를 기반으로, 2,092 개의 고품질 프로그램을 선별했습니다.
• 난독화 단계 및 기법: 소스 코드, 중간 표현 (IR), 바이너리 단계의 3 단계에서 적용되는 6 가지 주요 난독화 기법 (BCF, SUB, FLA, MBA, Opaque, ImmMov) 을 조합하여 Level-1(단일) 에서 Level-6(6 가지 모두 조합) 까지 63 가지 구성을 생성했습니다.
• 다양성 확보: 4 가지 명령어 세트 아키텍처 (ARM, MIPS, x86, x64) 와 4 가지 최적화 수준 (O0-O3) 을 적용하여 총 156 만 개 이상의 스트립된 (symbol 제거) 바이너리를 생성했습니다.
• 검증: GPT-4o 와 역설계 전문가를 활용하여 난독화가 성공적으로 적용되었는지 자동 및 수동 검증을 수행했습니다.

2.2. 평가 모델 및 방법

• 평가 대상 모델: 9 가지 대표 LLM 을 5 가지 카테고리로 분류하여 평가했습니다.
  • 일반 목적/코드 특화 (Qwen2.5-Coder, CodeLlama, Llama-3.1, DeepSeek-V3, GPT-4o)
  • 추론 최적화 (DeepSeek-R1, OpenAI-o1)
  • 도메인 특화 전문가 (ReCopilot)
  • 태스크 특화 전문가 (ChatDEOB)
• 비교 대상: 기존 비-LLM 기반 도구 (D810, GooMBA) 및 기존 LLM 기반 접근법 (ChatDEOB) 과 비교했습니다.
• 프롬프트 엔지니어링: Zero-shot 및 Few-shot (In-context learning) 전략을 적용하여 성능 변화를 분석했습니다.

2.3. 다차원 평가 지표

단순한 정확도뿐만 아니라 4 가지 차원에서 정량적 평가를 수행했습니다.

1. 어휘 일관성 (Lexical Consistency): BLEU 점수를 사용하여 식별자, 키워드 등 텍스트 수준의 일치도를 측정.
2. 의미 보존 (Semantic Preservation): 암시적 의미 (임베딩 유사도) 와 명시적 의미 (엔티티 Jaccard 유사도) 를 융합한 'Dual-Perspective Semantic Fusion' 기법으로 행동 일치도 측정.
3. 코드 단순성 (Code Simplicity): 토큰별 델타 엔트로피 (Token-wise delta entropy) 를 사용하여 난독화로 인한 복잡성 감소 정도 측정.
4. 코드 가독성 (Code Readability): Halstead 복잡도 (Effort) 를 사용하여 인간이 코드를 이해하는 데 드는 인지적 노력 측정.

3. 주요 기여 (Key Contributions)

1. 첫 체계적 평가: 바이너리 코드 난독화 제거를 위한 LLM 의 성능을 평가하는 최초의 대규모 벤치마크 (BINDEOBFBENCH) 를 구축하고 공개했습니다.
2. 다차원 평가 프레임워크: 의미 보존뿐만 아니라 코드 단순성과 가독성을 포함한 포괄적인 평가 지표를 제안했습니다.
3. 실증적 통찰: 모델 크기 (Scale) 보다 **추론 능력 (Reasoning Capability)**과 **도메인 전문성 (Domain Expertise)**이 성능에 더 중요하다는 사실을 규명했습니다. 또한, 태스크 특화 파인튜닝 (SFT) 이 광범위한 도메인 프리트레이닝보다 효과적임을 증명했습니다.

4. 주요 결과 (Key Results)

4.1. 모델 성능 비교 (RQ1)

• 모델 크기 vs 추론 능력: 파라미터 수 (모델 크기) 가 성능을 보장하지 않습니다. DeepSeek-R1과 OpenAI-o1과 같은 추론 최적화 모델이 일반 목적 모델보다 난독화된 복잡한 논리를 훨씬 잘 처리했습니다.
• 도메인 지식의 중요성: 코드 특화 모델 (Qwen2.5-Coder) 이 일반 목적 모델 (Llama-3.1) 보다 성능이 좋았으며, 7B 크기의 도메인 전문가 모델 (ReCopilot) 이 큰 모델보다 의미 보존 측면에서 더 견고한 성능을 보였습니다.
• SFT 의 우위: 특정 태스크 (난독화 제거) 에 맞춰 파인튜닝된 ChatDEOB가 광범위한 도메인 프리트레이닝을 받은 ReCopilot 보다 대부분의 난독화 변환에서 더 좋은 성능을 보였습니다.

4.2. 난독화 강도에 따른 성능 (RQ2)

• 심각한 난독화 (Level-6): 난독화 강도가 증가할수록 추론 능력이 도메인 지식보다 더 중요해집니다.
  • DeepSeek-R1: Level-6 난독화에서 62.89% 의 의미 보존율을 유지하며 가장 견고한 성능을 보였습니다.
  • 기타 모델: ChatDEOB (58.30%) 와 ReCopilot (54.62%) 은 성능이 급격히 하락했습니다.
• 어휘 vs 의미: 어휘 일관성 점수는 급격히 떨어지지만, 추론 모델들은 의미적 동등성 (Functional Equivalence) 을 유지하며 논리를 재구성하는 경향이 있었습니다.

4.3. 아키텍처 및 최적화 수준 (RQ3)

• 아키텍처 편향: CodeLlama 와 같은 일반 모델은 x86/x64 (CISC) 에 편향되어 ARM 등 RISC 아키텍처에서 성능이 저하되었습니다. 반면 DeepSeek-R1은 아키텍처에 구애받지 않고 ARM 에서도 72.31% 의 높은 의미 보존율을 보였습니다.
• 최적화 수준 (O3): 고강도 최적화 (O3) 환경에서는 모든 모델의 성능이 저하되지만, DeepSeek-R1 은 복잡한 논리를 깔끔하게 리팩토링하여 Halstead 복잡도를 27.08×10⁴로 낮추는 반면, CodeLlama 는 31.23×10⁴로 더 복잡하게 생성했습니다.

4.4. In-Context Learning 의 영향 (RQ4)

• 일반 모델 (CodeLlama): Few-shot 학습 (예시 제공) 이 성능을 크게 향상시켰습니다 (의미 보존 72.92% 까지 증가).
• 추론 모델 (DeepSeek-R1): 오히려 성능이 정체되거나 하락했습니다. 예시가 모델의 내부 추론 단계를 방해하여 표면적 모방에 치중하게 만들기 때문입니다.

4.5. 악성코드에서의 성능 (RQ5)

• 악성 바이너리: 수동으로 주입된 고난이도 난독화가 적용된 악성코드에서도 LLM 은 규칙 기반 도구 (D810, GooMBA) 보다 뛰어난 일반화 능력을 보였습니다.
• 전략: 추론 모델은 가독성을 높이는 데 탁월하고, 태스크 특화 파인튜닝 모델은 의미 회복과 엔트로피 감소에 가장 효과적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 바이너리 분석에서 "모델의 크기"가 성능의 핵심이 아니라, **"내부 추론 과정 (Reasoning)"**과 **"태스크 특화 학습"**이 핵심임을 증명했습니다.
• 실용적 가치: LLM 은 단순한 코드 복원을 넘어, 난독화로 인해 왜곡된 논리를 단순화하고 가독성을 높여 역설계 분석가의 업무를 보조할 수 있는 강력한 도구임을 입증했습니다.
• 미래 방향: 추론 능력을 강화하고, 특정 도메인 (바이너리 분석) 에 맞는 파인튜닝 전략을 개발하는 것이 향후 LLM 기반 난독화 제거 연구의 핵심 방향임을 제시했습니다.

이 논문은 BINDEOBFBENCH를 통해 LLM 의 바이너리 난독화 제거 능력을 체계적으로 검증함으로써, 소프트웨어 보안 및 역설계 분야의 새로운 기준을 제시했습니다.