기술 요약: DECAF - 자동 피드백 및 탐색을 통한 신경 역컴파일 개선

1. 문제 제기

역컴파일은 저수준 어셈블리 코드를 고수준 소스 코드로 변환하는 과정입니다. 전통적인 역컴파일러 (예: Ghidra, Hex-Rays) 는 변수와 제어 흐름을 복원하기 위해 정교한 프로그램 분석을 활용하지만, 관용적인 구문, 의미 있는 식별자 이름, 사용자 정의 데이터 타입을 재구성하는 데는 종종 실패합니다. 반면, 최근의 신경 역컴파일 모델, 특히 대규모 언어 모델 (LLM) 기반 모델들은 가독성 있고 관용적인 코드 생성에 탁월하지만 "할루시네이션"으로 고통받습니다. 이러한 모델들은 종종 의미적으로 잘못된 코드를 생성하거나, 중단 조건과 같은 중요한 논리를 생략하거나, 컴파일되지 않거나 올바르게 실행되지 않는 코드를 생성합니다.

이 논문이 다루는 핵심 과제는 관용성(가독성과 구조) 과 기능적 정확성(원본 바이너리와 의미적 동등성) 사이의 트레이드오프입니다. 기존의 신경 접근 방식은 일반적으로 단일 후보 출력을 생성하므로, 모델의 첫 번째 추측이 결함이 있을 경우 올바른 해법의 잠재력을 활용하지 못하게 됩니다. 또한, 역컴파일된 코드의 정확성을 검증하는 것은 일반적인 경우 결정 불가능한 문제이므로, 여러 가능성 중에서 최상의 후보를 자동으로 선택하는 것이 어렵습니다.

2. 방법론

저자들은 DECAF(자동 피드백을 통한 역컴파일) 를 제안합니다. 이는 여러 후보 역컴파일을 생성하고 컴파일러 피드백과 훈련된 신경 재순위화기를 사용하여 가장 유망한 것을 자동으로 선택함으로써 신경 역컴파일을 개선하는 시스템입니다.

2.1. DECAF 파이프라인

이 시스템은 세 가지 주요 단계로 작동합니다:

1. 초기 역컴파일: 전통적인 역컴파일러 (Ghidra) 가 대상 바이너리를 처리하여 초기적이고 종종 관용적이지 않은 C 유사 표현을 생성합니다.
2. 후보 생성: 이 출력은 신경 생성기 모델 (LLM) 로 입력됩니다. 단일 추론 대신 시스템은 온도 샘플링을 사용하여 $N$개의 다양한 역컴파일 후보 (예: $N=32$) 를 생성합니다.
3. 자동 피드백 및 재순위화:
   • 컴파일 필터: 각 후보는 컴파일됩니다 (예: gcc -c 사용). 컴파일에 실패한 후보는 폐기됩니다.
   • 재순위화: 남은 후보들은 원본 바이너리에 대해 평가됩니다. 저자들은 세 가지 재순위화 전략을 제안합니다:
     • 로그 확률: 생성기 모델의 정규화된 로그 확률을 기반으로 순위 매기기.
     • 바이트 거리: 후보를 컴파일하고 후보의 바이너리 바이트와 원본 바이너리의 바이트 간의 수정된 레벤슈타인 거리를 계산합니다. 이 거리는 특정 오프셋을 와일드카드로 간주하여 재배치 아티팩트를 고려합니다.
     • 신경 재순위화기: 두 어셈블리 시퀀스 (원본과 재컴파일된 후보) 가 기능적으로 동등할 확률을 예측하도록 훈련된 전용 LLM(Decaf-ReRanker).

2.2. 데이터 및 훈련

• 생성기 모델: 저자들은 EXEBENCH데이터셋에서 LLM4Decompile-Ref-22b-v2(22B 파라미터) 를 미세 조정했습니다. 그들은 타입 인식 감독을 도입하여 모델이 출력물이 컴파일 가능하도록 필요한 #include 문, 순방향 선언, 타입 정의를 생성하도록 훈련했습니다. 또한 그들은 실제 세계의 역공학 시나리오를 시뮬레이션하기 위해 스트립된 바이너리로 모델을 훈련했습니다.
• 재순위화기 모델: 기능적으로 동등한 어셈블리 쌍과 비동등한 어셈블리 쌍을 구분하도록 320 억 파라미터 모델 (QWEN3-32B) 이 훈련되었습니다. 훈련 데이터는 여러 후보를 생성하고 테스트 케이스에 대해 실행한 후, 성공적인 실행 (양성) 을 실패나 불일치 (음성) 와 짝지어 구성되었습니다.
• 취약점 복구: 특정 실험을 위해 저자들은 스트립된 바이너리에서 알려진 취약점 (CWE 클래스) 을 포함하는 코드를 복구하는 시스템의 능력을 평가하기 위해 Juliet Test Suite를 활용했습니다.

3. 주요 기여

1. DECAF 시스템: 가독성과 정확성 사이의 트레이드오프를 해결하기 위해 신경 생성과 컴파일러 피드백 및 탐색 (여러 후보 샘플링) 을 결합한 새로운 프레임워크.
2. Decaf-Gen-22b: 타입 인식 감독과 스트립된 바이너리 입력으로 훈련될 때 기능적 정확성과 바이트 단위 매칭에서 기존 최첨단 신경 역컴파일러 (LLM4Decompile 및 Idioms-Gemma-7b 포함) 를 능가하는 새로운 LLM 생성기 모델.
3. Decaf-ReRanker-32b: 후보 풀에서 기능적으로 올바른 역컴파일을 효과적으로 식별하는 전용 재순위화기 모델로, 많은 시나리오에서 단순한 로그 확률 또는 바이트 거리 휴리스틱을 크게 능가합니다.
4. 방법론적 통찰: 효과적인 재순위화 메커니즘이 마련되어 있다면 여러 후보를 샘플링하는 것 (예: 32 개) 이 기능적으로 올바른 해를 찾을 확률을 극적으로 높인다는 점 (일부 분할에서 상한선을 약 60% 에서 약 88% 로 상승) 을 입증함.
5. 일반화 가능성: 재순위화 방법론이 더 약한 모델들을 증폭할 수 있다는 증거 (예: DECAF 재순위화기를 LLM4Decompile 출력에 적용하면 상당한 이득을 얻음).

4. 실험 결과

저자들은 다양한 분할 (Real/Synth, Stripped/Unstripped, -O0/-O2) 에 걸쳐 EXEBENCH데이터셋에서 그들의 접근 방식을 평가했습니다.

• 기능적 정확성: Stripped REAL -O2분할에서 DECAF 는 재순위화를 통해 **83.9%**의 기능적 정확성률을 달성했으며, 이는 기존 최상위 신경 모델 (Idioms-Gemma-7b) 의 **26.0%**와 생성기 단독 (단일 샘플) 의 **59.1%**보다 훨씬 높습니다.
• 바이트 단위 일치: 동일한 분할에서 DECAF 는 **70.9%**의 정확한 바이트 단위 일치를 달성하여 Idioms-Gemma-7b의 19.1% 를 크게 능가했습니다.
• 소스와의 유사성: 정확성을 최적화하면 가독성이 떨어질 것이라는 직관과 반대로, 저자들은 기능적 정확성을 위해 재순위화하는 것이 일반적으로 원본 소스 코드와의 유사성 (더 낮은 편집 거리) 을 개선한다는 사실을 발견했습니다.
• 취약점 복구: Juliet 테스트 스위트에서 DECAF 는 취약점 복구에 대해 **29.8%**의 F1 점수를 달성하여 Ghidra(1.7%) 를 크게 능가하고 높은 정밀도 (95.5%) 를 보여주었습니다.
• 견고성: 생성에 사용된 컴파일러 (GCC) 와 다른 컴파일러 (Clang) 로 피드백을 테스트했을 때, 신경 재순위화기의 성능은 분포 이동으로 인해 스트립되지 않은 분할에서 하락하여 훈련 데이터 다양성에 대한 의존성을 강조했습니다.

5. 중요성 및 주장

이 논문은 현재 신경 역컴파일러의 한계가 단순히 데이터 부족이나 모델 크기 때문이 아니라 검증과 탐색의 부재에 있음을 주장합니다. 역컴파일을 여러 후보를 생성하고 컴파일러 피드백을 통해 필터링하는 탐색 문제로 간주함으로써, 시스템은 가독성 있고 의미적으로 정확한 고품질 소스 코드를 복구할 수 있습니다.

저자들은 DECAF 가 "최고의 단일 추측" 패러다임을 넘어 신경 역컴파일 분야의 최첨단을 크게 발전시켰다고 주장합니다. 그들은 그들의 접근 방식이 보편적이며 다양한 후보를 생성할 수 있는 모든 신경 역컴파일러를 증폭하는 데 적용될 수 있음을 강조합니다. 또한 이 작업은 전통적인 도구가 실행 가능한 고수준 코드를 제공하는 데 실패하는 스트립된 바이너리에서 취약점을 복구하는 것과 같은 보안 작업에서 이러한 방법들의 실용적 유용성을 강조합니다.

저자들은 바이트 단위 일치를 위한 참조 컴파일러 구성에 대한 접근 의존성과 특정 훈련 없이 다른 컴파일러 아키텍처 (예: Clang 대 GCC) 로 일반화하는 데 따른 어려움 등 한계를 인정합니다. 그들은 향후 작업이 더 다양한 컴파일러 구성에서 재순위화기를 훈련하고 반복적 개선을 위한 강화 학습을 탐구하는 데 초점을 맞춰야 한다고 결론지었습니다.