Multi-View Decompilation for LLM-Based Malware Classification

기술 요약: LLM 기반 악성코드 분류를 위한 다중 뷰 디컴파일 (Multi-View Decompilation)

문제 정의
악성코드 분석가들은 소스 코드를 사용할 수 없을 때 컴파일된 바이너리를 조사하기 위해 디컴파일된 의사(pseudo)-C 코드에 자주 의존한다. 대규모 언어 모델(LLM)은 이러한 디컴파일된 코드를 정상(benign) 또는 악성(malicious)으로 자동 분류하는 데 유망한 성능을 보여왔으나, 기존 파이프라인은 일반적으로 단일 디컴파일러의 출력물에 의존한다는 특징이 있다. 저자들은 디컴파일이 손실이 발생하는 휴리스틱(heuristic) 과정이기 때문에 이러한 가정이 취약하다고 주장한다. 서로 다른 도구들은 제어 흐름 복구, 변수 명명, 타입 추론 및 표현 단순화에 대해 서로 다른 선택을 한다. 결과적으로, 단일 디컴파일러 뷰는 악성 동작을 은폐하거나 LLM을 오도할 수 있는 도구 특유의 아티팩트(artifact)를 도입할 수 있는 반면, 다른 도구는 동일한 동작을 더 명확하게 드러낼 수도 있다.

방법론
다중 디컴파일러 뷰가 상호 보완적인 증거를 제공하는지 조사하기 위해, 저자들은 100개의 C 프로그램(정상 유틸리티 50개 및 Mirai, MyDoom, 루트킷과 같은 패밀리를 포함하는 악성 샘플 50개)으로 구성된 균형 잡힌 벤치마크를 구축하였다. 각 프로그램은 64비트 x86 ELF 오브젝트 파일로 컴파일되었으며, 두 가지 널리 사용되는 오픈 소스 도구인 Ghidra와 RetDec를 사용하여 디컴파일되었다.

본 연구는 다섯 가지 인스트럭션 튜닝된 LLM(GPT-5.4-mini, Claude Haiku 4.5, Llama-3.3-70B, Qwen3-35B, Gemini-2.5-flash-lite 포함)을 세 가지 프롬프팅 설정에 대해 평가하였다:

1. 단일 뷰(Single-View): LLM이 Ghidra 또는 RetDec 중 하나의 출력물을 독립적으로 분류한다.
2. 다중 뷰(Multi-View): LLM이 두 가지 디컴파일 뷰를 하나의 프롬프트로 전달받으며, 이들을 동일한 바이너리에 대한 상호 보완적인 표현으로 취급하도록 지시받는다.
3. 불일치 트리거 합의(Disagreement-Triggered Consensus): 시스템이 먼저 단일 뷰 예측을 실행한다. 만약 예측이 일치하면 해당 라벨을 수용하고, 불일치할 경우 갈등 해결을 위해 다중 뷰 프롬프트를 트리거한다.

평가는 악성 클래스에 초점을 맞추었으며, 특히 트리아지(triage) 시나리오에서 놓치는 것이 매우 치명적인 만큼 **재현율(recall)**과 F1 점수를 우선시하였다.

주요 결과

• 디컴파일러 가변성: 디컴파일러의 선택은 분류 성능에 상당한 영향을 미친다. 단일 도구가 보편적으로 우월한 것은 아니었다. 예를 들어, Qwen 및 GPT 모델에는 Ghidra가 더 나은 결과를 냈으나, Llama-3.3-70B에는 RetDec가 더 효과적이었다.
• 성능 향상: 다중 뷰(Multi-View) 설정은 대부분의 모델 패밀리에서 단일 뷰 베이스라인보다 일관되게 우수한 성능을 보였다. 이는 최선의 단일 뷰 결과와 비교했을 때 악성 클래스 F1 점수를 Gemini-2.5-flash-lite의 경우 최대 +13.9 포인트, Llama-3.3-70B의 경우 +7.9 포인트까지 향상시켰다.
• 개선 메커니즘: 이러한 이득은 주로 **재현율(recall)**의 증가에 의해 주도되었다. 예측 불일치를 분석한 결과, 한 디컴파일러가 악성 동작을 은폐하여 오탐(false negative)을 유발했을 때, 다른 디컴파일러는 LLM이 해당 샘플을 악성으로 올바르게 식별할 수 있는 충분한 증거를 노출하는 경우가 많았다.
• 모델 효율성: 다중 뷰 접근 방식은 규모가 작고 비용이 낮은 모델에서 특히 효과적이었으며, 이를 통해 더 크고 비싼 모델(예: Gemini Pro)과의 성능 격차를 줄일 수 있었다.
• 합의 규칙: 불일치 트리거 합의 규칙은 경쟁력은 있었으나 일반적으로 직접적인 다중 뷰 프롬프팅보다 우수하지는 않았다. 이는 뷰를 결합하는 이점이 단순히 명시적인 불일치를 해결하는 것을 넘어선다는 점을 시사한다.

의의 및 기여
본 논문은 세 가지 주요 기여를 한다:

1. 큐레이션된 벤치마크: 디컴파일러 가변성을 재현 가능한 방식으로 평가할 수 있도록 100개의 정상 및 악성 C 프로그램에 대한 매칭된 Ghidra 및 RetDec 출력을 포함하는 데이터셋을 제공한다.
2. 다중 뷰 정식화: 단일 정형 표현에 의존하는 대신 여러 디컴파일러 출력을 상호 보완적인 증거로 취급하는 새로운 파이프라인을 제시한다.
3. 경험적 검증: 디컴파일러 다양성이 LLM 기반 악성코드 트리아지를 개선할 수 있는 간단하고 별도의 학습이 필요 없는 방법임을 입증한다.

의의 주장
저자들은 이 연구를 실질적인 악성코드 트리아지를 위한 솔루션으로 포지셔닝한다. 이들은 다중 디컴파일러 프롬프팅이 모델 학습, 소스 코드 접근, 또는 복잡한 앙상블 아키텍처 없이도 탐지율(특히 재현율)을 개선한다고 강조한다. 기존의 오픈 소스 디컴파일러와 기성 LLM을 활용함으로써, 이 접근 방식은 단일 뷰 디컴파일의 "취약한" 특성을 완화하고, 한 도구의 휴리스틱에 의해 은폐된 악성 동작이 누락되지 않도록 하는 비용 효율적인 방법을 제공한다.

한계점
저자들은 다음과 같은 몇 가지 제약 사항을 인정한다:

• 본 벤치마크는 전체 실행 파일이 아닌 재배치 가능한 오브젝트 파일(.o)을 사용하므로, 실제 배포된 바이너리의 맥락을 완전히 포착하지 못할 수 있다.
• 본 연구는 깨끗한 디컴파일을 가정하며, 심하게 난독화되거나 패킹(packed)되었거나 안티-디컴파일(anti-decompilation) 기능이 강화된 바이너리에 대한 성능은 평가하지 않는다.
• 본 연구 결과는 두 가지 특정 디컴파일러(Ghidra 및 RetDec)를 기반으로 하며, 독점 도구나 더 많은 수의 뷰를 사용할 경우 결과가 달라질 수 있다.