기술 요약: HELIOS - 구조 인지형 LLM 디컴파일을 위한 계층적 그래프 추상화

문제 정의

이진 파일 디컴파일(Binary decompilation)은 소프트웨어 보안 분야에서 매우 중요하면서도 노동 집약적인 작업으로, 악성코드 분석, 취약점 분류, 레거시 시스템 유지보수에 필수적입니다. 대규모 언어 모델(LLM)이 이 과정을 자동화하기 위해 적용되어 왔으나, 기존 방식들은 "구조적 맹목성(structural blindness)" 문제를 겪고 있습니다. 기존 방법들은 바이너리 아티팩트와 디컴파일 출력을 단순한 1차원 토큰 시퀀스로 취급하여, 프로그램의 동작을 제어하는 제어 흐름 그래프(CFG)와 함수 호출 그래프(FCG)를 무시합니다.

이러한 한계는 특히 컴파일러 변환으로 인해 제어 흐름이 모호해진 최적화된 바이너리를 다룰 때, 구문적으로 취약하고 논리적으로 일관성이 없는 출력을 생성하게 만듭니다. 또한, 최첨단 미세 조정(fine-tuned) 디컴파일러들은 특정 아키텍처에 종속된 학습을 요구하여 다양한 하드웨어 타겟(예: x86, ARM, MIPS)에 대한 일반화 능력이 떨어지며, 상당한 수동 개입 없이는 재컴파일 가능한 코드를 생성하지 못한다는 단점이 있습니다.

방법론: HELIOS 프레임워크

저자들은 HELIOS를 제안하며, 이를 단순한 텍xt-to-text 번역이 아닌 문맥 인지적 구조 추론 작업으로서의 LLM 기반 디컴파일로 재정의합니다. HELIOS는 LLM 자체를 미세 조정하지 않고, 대신 바이너리의 구조적 특성을 담은 계층적 텍스트 표현을 통해 범용 모델을 보강합니다.

핵심 구성 요소

1. 정적 분석 및 특징 추출:
   Ghidra로 구현된 백엔드를 사용하여 다음을 포함한 함수별 아티팩트를 추출합니다:

   • 원시 디컴파일 의사 코드(C-like).
   • P-Code 중간 표현으로부터 도출된 제어 흐름 그래프(CFG).
   • 현재 함수로 제한된 함수 호출 그래프(FCG).
   • 보조 메타데이터(루프 헤더, 문자열 참조, 상수).

2. 계층적 프롬프트 생성:
   HELIOS는 이러한 아티팩트들을 인간 전문가의 분석 과정을 모방하도록 설계된 구조화된 다중 파트 프롬프트로 변환합니다. 프롬프트는 네 가지 뚜렷한 섹션으로 구성됩니다:

   • [FUNCTION_CONTEXT]: 함수 시그니처, 아키텍처, 구조적 통계(예: 블록 수, 루프 존재 여부)를 포함한 고수준 요약.
   • [CFG_OVERVIEW]: 저수준 명령 세부 정보 없이 실행 경로를 명시적으로 매핑하는, 기본 블록과 그 후속 노드들을 설명하는 압축된 인접 리스트.
   • [BLOCK_DETAILS]: 정제된 P-Code 명령과 명시적인 선행/후속 관계를 포함하는 블록 단위 요약으로, 의미론적 증거 기반 역할을 수행함.
   • [RAW_DECOMPILED_CODE]: 개선을 위한 베이스라인 역할을 하는 수정되지 않은 원본 디컴파일 출력.

3. 구조 인지형 프로프팅 및 규칙:
   프레임워크는 일반적인 LLM 실패 모드 분석에서 도출된 **핵심 규칙(Critical Rules)**이 포함된 고정된 시스템 프롬프트를 사용합니다. 이 규칙들은 모델이 다음을 준수하도록 제한합니다:

   • 생성된 제어 흐름이 제공된 CFG와 엄격히 일치할 것.
   • 표준 라이브러리 함수를 재구현하지 말 것.
   • 구조적 증거에 의해 지원되지 않는 새로운 전역 변수나 타입 불일치를 도입하지 말 것.

4. 반복적 컴파일러 피드백 (선택 사항):
   견고성을 더욱 높이기 위해, HELIOS는 "컴파일러 인 더 루프(compiler-in-the-loop)"를 구현합니다. 생성된 코드가 컴파일에 실패하면, 컴파일러 진단 결과가 프롬프트에 추가되며, LLM은 CFG 및 블록 세부 사항과의 일관성을 유지하면서 코드를 수정하도록 요청받습니다. 비용 예측 가능성을 유지하기 위해 이 과정은 함수당 최대 1회로 제한됩니다.

주요 기여

• 구조적 인코딩: 바이너리 제어 흐름, 호출 그래프, 고수준 패턴(루프, 조건문)을 범용 LLM이 소비할 수 있는 압축된 계층적 텍스트 형식으로 인코딩하는 방법을 제안합니다.
• HELIOS 프레임워크: 이 방법을 실체화하여, 고정된 횟수의 모델 호출만으로 텍스트 전용 프롬프팅 및 최첨단 미세 조정 디컴파일러보다 컴파일 가능성과 기능적 정확성 측면에서 유의미한 이득을 입증했습니다.
• 교차 아키텍처 일반화: 6개의 명령어 세트(x86_32/64, ARM_32, AArch64, MIPS_32/64)에 대한 최초의 교차 아키텍처 구조 인지 LLM 디컴파일 연구입니다. 이 연구는 단일 프롬프트 설계가 재학습 없이도 다양한 하드웨어에 걸쳐 어떻게 일반화될 수 있는지를 보여줍니다.

실험 결과

프레임워크는 6개 아키텍처와 다양한 최적화 레벨(-O0 ~ -O3)에 대해 HumanEval-Decompile 및 MBPP-Decompile 데이터셋을 사용하여 평가되었습니다.

• 컴파일 가능성: x86_64에서 HELIOS는 Gemini 2.0의 평균 오브젝트 파일 컴파일 가능성을 45.0%에서 **85.2%**로, GPT-4.1 Mini를 71.4%에서 **89.6%**로 높였습니다. 컴파일러 피드백을 적용하면 이 수치는 **94%**를 초과했습니다.
• 기능적 정확성: HELIOS는 텍스트 전용 프롬프팅 대비 기능적 정확성을 최대 5.6 퍼센트 포인트 향상시켰습니다. x86_64에 대한 GPT-4.1 Mini의 경우, 피드백을 포함한 기능적 정확성은 **55.9%**에 도달하여 LLM4Decompile(36.3%) 및 Nova(3.2%)와 같은 특화된 미세 조정 모델을 능가했습니다.
• 교차 아키텍처 안정성: 구조적으로 맹목적인 베이스라인들이 아키텍처에 따라 성능 편차가 큰 것과 달리(예: MIPS에서 성능 급락), HELIOS는 높은 컴파일 가능성(피드백 포함 GPT-4.1 Mini 기준 >94%)을 유지하며 x86, ARM, MIPS 간의 기능적 정확성 편차를 줄였습니다.
• 절제 연구(Ablation Study): 연구를 통해 원시 구조 데이터(CFG)가 완만한 상승을 제공하지만, 핵심 명령 규칙이 개선의 주요 동력임을 확인했습니다. 컴파일러 피드백은 출력을 더욱 정교하게 만들어 컴파일 가능성을 포화 상태로 밀어 올렸습니다.

의의 및 주장

본 논문은 HELIAS가 역공학(Reverse Engineering)과 같이 그래프가 풍부한 도메인에 LLM을 적용하는 데 있어 패러다임의 전환을 보여준다고 주장합니다. 구조를 인지하는 추론 엔진으로서 LLM을 다룸으로써, 프레임워크는 다음을 달성합니다:

1. 실용적 유용성: 아키텍처별 미세 조정을 위한 노력 없이도 다양한 하드웨어 타겟에 대해 재컴파일 가능하고 의미론적으로 충실한 코드를 생성하여, 보안 워크플로우의 주요 병목 현상을 해결합니다.
2. 효율성: 별도의 작업 특정 학습이 필요 없으며 함수당 최소한의 모델 호출(최대 2회)을 사용하므로, 기존 역공학 도구의 실용적인 구성 요소가 될 수 있습니다.
3. 일반화 가능성: 명시적인 구조적 근거(Grounding)가 대규모 특화 학습 코퍼스를 대체할 수 있음을 시사하며, 이를 통해 일반 목적 모델이 원본 소스와의 텍스트 유사도(편집 거리)는 낮더라도 기능적 정확성 측면에서 특화된 미세 조정 모델을 능가할 수 있음을 보여줍니다.

저자들은 구조적 데이터가 풍부한 작업의 경우, 모델 가중치에만 의존하기보다 구조를 명시적으로 만들고, 이를 바탕으로 추론할 규칙을 제공하며, 접지된 피드백을 위한 외부 도구를 활용하는 것이 가장 효과적인 전략이라고 결론짓습니다.