기술 요약: AutoDecompiler

문제 정의

바이너리 역컴파일은 취약점 발견 및 악성코드 분석과 같은 보안 작업에 필수적이지만, 기존의 대규모 언어 모델(LLM) 접근 방식은 근본적인 문제에 직면해 있습니다. 바로 단일 턴 생성 패러다임(single-turn generation paradigm) 하에서 작동한다는 점입니다. 이 패러다임에서 LLM은 역컴파일된 코드를 한 번 생성하고 종료됩니다. 출력된 코드가 구문론적으로 읽기 쉽고 심지어 컴파일에 성공하더라도, 원래 바이너리의 의미론적 동작(semantic behavior)에서 벗어나는 경우가 빈번합니다. 현재의 방법들은 컴파일러 에러, 런타임 예외, 입출력(I/O) 테스트 실패와 같은 진단 신호를 활용하여 이러한 의미론적 오류를 반복적으로 수정하는 데 실패하고 있습니다. 또한, 코드 생성 분야의 기존 강화 학습(RL) 애플리케이션은 일반적으로 환경 피드백을 바탕으로 스스로의 출력을 진단하고 수정하는 다회차 정제 과정보다는, 단일 연속 토큰 시퀀스를 최적화하는 데 집중되어 있습니다.

방법론

본 논문은 피드백 기반의 다회차(multi-turn) 바이너리 역컴파일을 수행하도록 강화 학습으로 훈련된 역컴파일 특화 LLM인 AutoDecompiler를 제안합니다. 이 시스템은 역컴파일을 일회성 작업이 아니라, 검증 피드백을 바탕으로 모델이 코드를 수정하는 반복적인 정제 루프로 취급합니다.

훈련 파이프라인

AutoDecompiler의 구축은 두 단계의 파이프라인을 따릅니다:

1. 도메인 특화 지도 미세 조정(SFT): 베이스 모델(DeepSeek-Coder 또는 Qwen3-Coder)을 CID 데이터셋의 300K 바이너리 함수 균형 서브셋으로 미세 조정합니다. 이 단계는 모델이 어셈블리 코드나 디컴파일러가 생성한 의사 코드(pseudo-code)를 C 스타일의 소스 코드로 매핑하도록 적응시켜, 정적인 입출력 매핑을 확립합니다.
2. 다회차 정제를 위한 강화 학습(RL): SFT로 초기화된 모델은 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 추가 최적화됩니다. 이 단계에서 모델은 코드 후보를 생성하고, 이는 C 코드 유효성 검사, 재컴파일, 재실행 및 I/O 테스트를 통해 검증됩니다. 생성된 피드백은 보상(reward)을 계산하고 후속 정제 턴을 위한 진단 프롬프트를 구성하는 데 사용됩니다.

핵심 기술 혁신

다회차 정제의 과제를 해결하기 위해, 저자들은 네 가지 새로운 메커니즘을 도입했습니다:

1. 가중치 적용 다차원 역컴파일 보상 (Weighted Multi-dimensional Decompilation Reward):
   단일 목적 함수에 의존하는 대신, 보상 함수($R_t$)는 네 가지 구성 요소의 가중 합으로 이루어집니다:

   • C 유사 유효성 ($R_C$): 출력이 구문론적으로 유효한 C 함수임을 보장하여 환각(hallucination)을 필터링합니다.
   • 컴파일 및 실행 정확성 ($R_{exe}$): 재컴파일 실패에 가장 높은 페널티를 부여하고, 그 다음으로 런타임 에러와 I/O 불일치를 처리하는 단계적 보상 방식으로, 모델이 실행 가능하고 행동적으로 일관된 코드를 생성하도록 유도합니다.
   • 구문 보상 ($R_{syn}$): 생성된 코드와 참조 소스 간의 AST 수준 유사도를 측정하여 구조적 타당성을 유지합니다.
   • 의미론적 보상 ($R_{sem}$): 데이터 흐름 매칭을 기반으로 하며, 변수 의존성 및 값 전파 관계가 보존되도록 하여 구문을 넘어 의미론적 충실도를 확보합니다.

2. 단계 인지 진단 피드백 구성 (Stage-aware Diagnostic Feedback Construction):
   시스템은 이질적인 검증 신호(컴파일러 에러, 런타임 크래시, I/O 실패)를 자연어 진단 메시지로 변환합니다. 이 메시지들은 실패 단계(예: "컴파일 에러", "런타임 에러", "I/O 불일치")별로 분류되어 다음 턴의 프롬프트에 삽입되며, 단순한 스칼라 보상을 넘어 실행 가능한 가이드를 제공합니다.

3. 진전도 인지 궤적 보상 (Progress-aware Trajectory Rewarding):
   모델이 지름길을 학습하거나 원래의 의미론에서 벗어나는 것을 방지하기 위해, 궤적 보상($R_{traj}$)은 최종 결과 보상과 **진전 항(progress term)**을 결មាន합니다. 이 항은 연속된 턴 사이의 보상 개선량($\Delta r_t$)을 측정하여 꾸준한 개선을 장려하고, 퇴보(예: 컴파일 가능한 코드를 비컴파일 가능하게 만드는 것)에 대해 페널티를 부여합니다.

4. 턴 인지 이점 재가중치 부여 (Turn-aware Advantage Reweighting):
   표준 RL은 시퀀스의 모든 토큰에 균등한 이점(advantage)을 할당합니다. AutoDecompiler은 각 특정 정제 턴의 기여도에 따라 궤적 이점을 재분배하는 전략을 도입합니다. 상당한 보상 개선을 가져온 턴은 더 강력한 최적화 신호를 받는 반면, 효과가 없거나 해로운 수정은 가중치가 낮아집니다.

결과

AutoDecompiler 제품군은 310K 바이너리 함수로 훈련되었으며, 엔드 투 엔드(어셈블리 입력) 및 의사 코드 기반의 두 가지 입력 설정에 대해 HumanEval 및 Exe-Bench 벤치마크에서 평가되었습니다. 모델은 1.3B, 6.7B, 30B 파라미터 규모로 구현되었습니다.

• 베이스라인 대비 성능: AutoDecompiler은 동일한 모델 크기와 입력 설정 하에서 단일 턴 대응 모델 및 다른 최첨단(SOTA) 역컴파일 LLM(예: LLM4Decompile, CIM, FAE)보다 일관되게 우수한 성능을 보였습니다.
  • HumanEval에서 6.7B AutoDecompiler-E2E는 재실행 가능성(Re-executability, Re-exe) 비율 63.11%를 달성하여, 이전 최고 기록(CIM-6.7B의 62.05%)을 경신했으며 GPT-4o 및 DeepSeek-V3와 같은 범용 모델을 크게 앞질렀습니다.
  • 의사 코드 설정에서 AutoDecompiler-Pscode 30B는 훨씬 적은 파라미터를 사용했음에도 불구하고, 671B 파라미터 모델을 사용하는 DecLLM에 필적하는 결과(75.30% Re-exe)를 달eric했습니다.
• 효율성: 모델은 이전 연구들(예: 7.2M 샘플을 사용한 LLM4Decompile)보다 실질적으로 작은 훈련 데이터셋(310K 샘플)을 사용하여 이러한 결과를 달성함으로써, 피드백 기반 정제 방식의 효율성을 입증했습니다.
• 절제 연구 (Ablation Studies): 주요 구성 요소(예: 실행 보상, 진전도 인지 궤적 보상, 또는 턴 인지 이점 재가중치 부여)를 제거하면 성능 저하가 발생하여, 각 메커니즘이 시스템의 효과성에 기여함을 확인했습니다.
• 사례 연구: 질적 분석 결과, AutoDecompiler은 실행 및 컴파일 피드백을 활용하여 특정 의미론적 오류(예: 경계 조건 누락) 및 인터페이스 불일치(예: 잘못된 함수 시그니처)를 성공적으로 수정하는 것을 보여주었습니다.

의의 및 주장

본 논문은 강화 학습을 통해 프로그램 피드백을 활용하는 법을 배우는 것이 LLM 기반 바이너리 역컴파일의 기능적 정확성을 향상시키는 효과적인 방향임을 주장합니다.

주요 기여는 다음과 같습니다:

• 패러다임 전환: 역컴파일을 단일 턴 생성 작업이 아닌, 피드백 기반의 다회차 정제 문제로 정식화했습니다.
• 특화된 보상 설계: 단순한 코드 타당성을 넘어 유효성, 재컴파일 가능성, 실행 일관성 및 의미론적 충실도를 공동으로 최적화하는 다차원 보상 시스템을 도입했습니다.
• 정제 메커니즘: 단계 인지 피드백 및 턴 인지 이점 재가중치를 개발하여 반복적인 정제 과정 동안 점진적인 개선을 보장하고 퇴보를 억제했습니다.
• 오픈 소스: 커뮤니티 연구를 촉진하기 위해 AutoDecompiler 제품군을 오픈 소스로 공개했습니다.

저자들은 컨텍스트 길이에 의해 정제 횟수가 제한된다는 점, 현재 범위가 단일 함수 역컴파일에 국한되어 있다는 점(프로시저 간 컨텍스트 부족), 그리고 고도로 난독화된 바이너리에 대한 일반화가 여전히 과제로 남아 있다는 점 등 한계점을 인정했습니다. 그러나 결과는 더 큰 단일 턴 모델보다 반복적 피드백으로 훈련된 더 작고 특화된 모델이 우수한 기능적 정확성을 달성할 수 있음을 보여줍니다.