Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 바이너리 코드 분석 (Binary Code Analysis) 은 소스 코드가 없는 환경에서 프로그램의 내부 동작을 파악하는 역공학 (Reverse Engineering) 에 필수적이며, 최근 딥러닝을 활용한 바이너리 코드 유사성 탐지 (BCSD, Binary Code Similarity Detection) 모델이 활발히 연구되고 있습니다.
• 문제점: 기존 BCSD 모델들의 성능은 검증되었으나, 의미 보존 변환 (Semantics-preserving Transformations) 에 대한 견고성 (Robustness) 은 충분히 연구되지 않았습니다.
  • 컴퓨터 비전이나 자연어 처리와 달리, 기계어 (Machine Instructions) 는 문법적/의미적 뉘앙스가 매우 정교하여 (예: mov rax, 0 과 xor rax, rax 는 모두 0 을 설정하지만 문법과 부수 효과가 다름) 단순한 입력 교란 (Perturbation) 과는 다른 도전 과제를 가집니다.
  • 공격자는 소스 코드를 수정하지 않고 바이너리 수준에서 코드를 변형하여 모델의 판단을 흐리게 할 수 있습니다.
• 목표: 다양한 의미 보존 변환 기법을 적용하여 최신 BCSD 모델들이 얼마나 취약한지 평가하고, 그 취약점의 원인을 규명하는 것.

2. 방법론 (Methodology)

저자들은 asmFooler라는 시스템을 개발하여 BCSD 모델의 견고성을 평가했습니다.

A. 데이터셋 구성

• 기반 샘플: 620 개의 기본 바이너리 (coreutils, binutils, SPEC2006 등) 를 사용.
• 생성된 변형체 (Variants): 8 가지 의미 보존 변환 기법을 적용하여 총 9,565 개의 바이너리 변형체를 생성.
• 사용된 변환 기법 (8 가지):
  1. 코드 다양화 (Code Diversification):
     • In-place Code Randomization (명령어 치환, 기본 블록 내 재배열, 레지스터 보존 재배열, 레지스터 재할당).
     • Inter-Basic-Block Reordering (기본 블록 간 재배열).
  2. 코드 오프스케이션 (Code Obfuscation):
     • Semantic NOP Implantation (의미 없는 NOP 시퀀스 삽입).
     • Junk Code Insertion (실행되지 않는 죽은 코드 삽입).
     • LLVM 기반 오프스케이션 (명령어 치환, 가짜 제어 흐름, 제어 흐름 평탄화).

B. 평가 대상 모델 (6 가지)

• Graph Neural Network (GNN) 기반: Genius, Gemini
• Embedding 기반: Asm2Vec, SAFE
• Transformer/BERT 기반: Trex, BinShot

C. 공격 시나리오

1. False Negative (FN) 유발: 유사한 코드를 "유사하지 않음"으로 잘못 분류하게 만듦 (탐지 회피).
2. False Positive (FP) 유발: 서로 다른 코드를 "유사함"으로 잘못 분류하게 만듦 (위양성). 이를 위해 Greedy Sampling 전략을 사용하여 특정 모델의 결정 경계를 교란시키는 명령어 시퀀스를 자동 생성.
3. 전이성 (Transferability) 평가: 한 모델 (BinShot) 을 대상으로 생성된 FP 유발 샘플이 다른 모델들에게도 효과적인지 확인.

3. 주요 기여 (Key Contributions)

1. asmFooler 시스템 개발: 8 가지 의미 보존 변환 기법을 활용하여 FN 과 FP 를 유발하는 적대적 바이너리 변형체를 생성하는 시스템.
2. 대규모 적대적 데이터셋 구축: 620 개의 기본 샘플로부터 9,565 개의 변형체를 생성하여 공개.
3. 포괄적인 견고성 평가: 6 가지 최신 BCSD 모델에 대해 다양한 변환 기법 (다양화 및 오프스케이션) 에 대한 성능 저하를 정량적으로 분석.
4. 새로운 통찰 도출: 모델 아키텍처, 전처리 파이프라인, 특징 선택이 견고성에 미치는 영향과 FP 유발 공격의 메커니즘을 설명.

4. 주요 결과 및 발견 (Results & Findings)

A. 모델 견고성에 대한 핵심 통찰

1. 파이프라인 설계의 중요성: 모델의 견고성은 코드 전처리, 아키텍처, 내부 특징 선택에 크게 의존합니다.

   • BinShot (BERT 기반): 제어 흐름 그래프 (CFG) 정보를 사용하지 않아 기본 블록 재배열 (Inter-BBR) 에 매우 취약함.
   • Genius, Gemini (GNN 기반): CFG 정보를 활용하므로 기본 블록 재배열에는 강하지만, 제어 흐름 평탄화 (Control Flow Flattening) 나 가짜 제어 흐름 (Bogus Control Flow) 과 같은 CFG 교란 기법에는 취약함.
   • Asm2Vec: 랜덤 워크 (Random Walk) 기법을 사용하여 명령어 순서가 뒤섞여도 상대적으로 견고함.

2. 변환 예산 (Transformation Budget) 의 한계: 공격의 효과는 모델의 입력 크기 제한과 의미 동등 명령어의 표현 능력에 의해 제한됨.

3. **효율적인 FP 유발:**精心하게 설계된 공격은 최소한의 변경으로도 높은 성공률을 보임.

   • 평균 14.75 개의 추가 명령어 (약 57.58 바이트) 만으로 BinShot 모델의 FP 유발 성공률이 100% 에 근접함.

4. 전이성 (Transferability):

   • FP 유발 공격은 아키텍처가 유사한 모델들 (예: BERT 기반 모델 간) 사이에서 높은 전이성을 보임.
   • 반면, CFG 기반 GNN 모델들은 상대적으로 전이 공격에 더 견고함.

B. XAI (설명 가능한 AI) 를 통한 분석

• SHAP 및 Saliency Map 분석: FP 유발 공격이 모델의 내부 주의 패턴 (Attention Pattern) 을 왜곡시킴을 발견.
  • 공격 전에는 중요한 토큰 (명령어) 에 높은 가중치를 두었으나, 공격 후에는 중요한 특징에 대한 주의가 감소하고 결정 경계 근처로 수렴하여 잘못된 유사성 판단을 내리게 됨.

5. 의의 및 결론 (Significance)

• 보안 위협 인식: ML 기반 바이너리 분석 모델이 실제 환경에서 오프스케이션되거나 다양화된 코드를 만나면 쉽게 우회될 수 있음을 입증.
• 모델 설계 가이드라인:
  • 단일 특징 (예: 명령어 순서만) 에 의존하는 모델은 취약하므로, 정적 특징 (CFG, 호출 그래프) 과 동적 특징 (실행 트레이스) 을 결합한 하이브리드 접근이 필요함.
  • 적대적 학습 (Adversarial Training) 을 통해 다양한 변환 변형체를 학습 데이터에 포함시키는 것이 모델 강화에 필수적임.
• 향후 연구 방향: 암호화, 코드 패킹, 상용 오프스케이션 도구 등 더 복잡한 변형 기법에 대한 연구와, 견고한 BCSD 모델 개발을 위한 체계적인 방어 전략 수립이 필요함.

이 논문은 바이너리 분석에 딥러닝을 적용할 때, 단순한 정확도뿐만 아니라 적대적 환경에서의 견고성이 얼마나 중요한지를 강조하며, 향후 보안 시스템 설계에 중요한 기준을 제시합니다.