🤖 AI

Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering

본 논문은 인간 중심의 바이너리 역공학을 위해 경량화된 라우팅 메커니즘을 사용하여 최적의 LLM-as-a-Judge 구성을 적응적으로 선택함으로써 기존 지표 대비 인간 전문가와의 상관관관계를 크게 향상시킨, 확장 가능하고 비용 효율적인 참조 없는(reference-free) 평가 프레임워크인 BinJudge를 소개한다.

원저자: Xiuwei Shang, Li Hu, Xiao Jiang, Jieke Shi, Junda He, Zhou Yang, Shaoyin Cheng, Guoqiang Chen, Weiming Zhang, David Lo

게시일 2026-08-10

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xiuwei Shang, Li Hu, Xiao Jiang, Jieke Shi, Junda He, Zhou Yang, Shaoyin Cheng, Guoqiang Chen, Weiming Zhang, David Lo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 암호화되어 있고, 구두점이 제거되었으며, 관련된 사람들의 이름이 모두 지워진 언어로 쓰인 비밀 메시지를 읽으려 한다고 상상해 보십시오. 이것은 보안 전문가들이 컴퓨터 프로그램이 "바이너리(binary)" 코드—당신의 휴대폰이나 노트북에서 실행되는 가공되지 않은 기계 판독형 명령문—로 컴파일되었을 때 그 프로그램을 이해하려고 할 때 발생하는 현상입니다. 보통 이 프로그램들은 도움이 되는 "소스 코드" 매뉴얼과 함께 제공되지만, 해커나 악성코드 제작자가 흔적을 숨길 때는 그 매뉴얼이 사라집니다. 전문가들은 이 암호화된 바이너리를 사람이 읽을 수 있는 코드처럼 보이게끔 다시 번역하기 위해 특수한 도구들을 사용해야 하지만, 결과물은 종종 숫자의 무더기나 "sub_401B20" 같은 일반적인 이름이 섞인 엉망진창이고 혼란스러운 덩어리로 나옵니다. 이를 이해하기 위해서는 이를 인간 친화적인 이야기로 다시 써야 하는데, 이 과정을 "인간 지향적 바이너리 역공학(Human-Oriented Binary Reverse Engineering)"이라고 부릅니다. 하지만 여기서 까다로운 문제가 있습니다. 새로 정돈된 이야기가 정말 좋은 것인지 어떻게 알 수 있을까요? 완벽한 정답이 존재하지 않기 때문에(원래의 매뉴얼은 사라졌으므로) 단순히 컴퓨터에게 완벽한 답과 얼마나 많은 단어가 일치하는지 묻는 방식은 통하지 않습니다. 그렇다고 인간 전문가에게 모든 줄을 다 읽어달라고 요청하는 것은 너무 느리고, 비용이 많이 들며, 그들도 지칠 수 있습니다. 그래서 큰 질문이 생깁니다. 우리가 완벽한 정답과 비교할 원본 매뉴얼 없이도, AI가 똑똑한 판사 역할을 수행하여 이 번역이 훌륭한지 판단하도록 가르칠 수 있을까요?

이 논문은 바로 그 질문을 탐구하며, 대규모 언어 모델(LLM)—시를 쓰거나 수학 문제를 푸는 것과 같은 종류의 AI—이 이 복잡한 코드 번역의 "심판" 역할을 할 수 있는지 조사합니다. 연구진은 이러한 AI 심판들이 단순히 단어를 매칭하는 기존의 고전적인 컴퓨터 지표들보다 코드의 의미를 이해하는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 실제로 AI 심판은 인간 전문가와 63.20%의 일치율을 보인 반면, 기존의 컴퓨터 방식은 약 35.04%의 일치율만을 보였습니다. 그러나 이 논문은 놀라운 반전도 발견했습니다. 모든 상황에 적용되는 단 하나의 "최고의" AI 설정은 존재하지 않는다는 것입니다. 때로는 특정 AI 모델과 특정 질문 방식이 함수 이름을 짓는 데는 훌륭하게 작동하지만, 코드를 요약하는 데는 처참하게 실패하기도 합니다. 이는 마치 달리기, 수영, 하이킹에 모두 사용할 수 있는 신발 한 켤레를 쓰려는 것과 같습니다. 즉, 적절한 작업에는 적절한 장비가 필요합니다.

이를 해결하기 위해 저자들은 "BinJudge"라고 불리는 영리한 시스템을 구축했습니다. 이것은 각 코드 조각을 살펴보고 즉각적으로 완벽한 AI 심판과 가장 적합한 질문 방식을 선택하는 스마트한 교통 관제사와 같습니다. 이 시스템은 모두에게 적용되는 하나의 "최고"의 심판을 고르는 것이 아니라, 실시간으로 적응합니다. 이렇게 함으로써 BinJudge는 인간 전문가의 일치도를 높이는 동시에(최대 24.7% 개선), 엄청난 비용을 절감했습니다(가장 비싼 고정형 설정을 사용하는 비용의 단 0.06에서 0.84배 수준). 이 논문은 우리가 모든 것을 해결할 마법의 버튼 하나를 고를 수는 없지만, 똑똑하고 유연한 시스템을 구축함으로써 이러한 까다로운 코드 번역을 빠르고, 저렴하며, 놀라울 정도로 정확하게 평가할 수 있음을 증명합니다.

배경: 암호화된 메시지 해독하기

본론으로 들어가기 전에, 몇 가지 핵심 개념을 통해 무대를 설정해 보겠습니다.

**바이너리 역공학(Binary Reverse Engineering)**은 케이크를 구운 뒤 납작하게 만들고 그 위의 프로스팅까지 모두 긁어낸 후, 그 케이크를 재건축하려는 것과 같습니다. 당신은 최종 결과물(바이너리 파일)은 가지고 있지만, 레시피(소스 코드)는 가지고 있지 않습니다. 전문가들은 기계 코드를 프로그래밍 코드처럼 보이는 형태로 되돌리는 역과정을 수행하기 위해 도구들을 사용합니다. 하지만 원래의 "레시피"가 사라졌기 때문에, 그 결과물은 흔히 엉망인 상태가 됩니다.

**인간 지향적 바이너리 역공학(Human-Oriented Binary Reverse Engineering, HOBRE)**은 그다음 단계입니다. 그것은 그 엉망인 기계적인 코드를 가져와서 사람이 실제로 읽을 수 있도록 다듬는 기술입니다. 여기에는 "sub_401B20" 대신 멋지고 설명적인 이름을 함수에 부여하고, 코드가 무엇을 하는지 명확한 요약을 작성하며, 구조를 수정하여 잘 쓰인 이야기처럼 보이게 만드는 과정이 포함됩니다.

평가의 문제: "다듬기"가 제대로 되었는지 어떻게 알 수 있을까요?

기존 방식 (텍스트 매칭): 학생의 에세이를 채점할 때 선생님의 정답지와 얼마나 많은 단어가 일치하는지 세는 것을 상상해 보십시오. 만약 학생이 "고양이가 빠르게 달렸다"라고 쓰고 정답지가 "고양이가 질주했다"라고 되어 있다면, 기존의 컴퓨터는 단어가 일치하지 않기 때문에 "틀렸음! 0점!"이라고 말할 것입니다. 이는 코딩에서 좋지 않은데, 왜냐하면 같은 의미를 전달하는 방법은 매우 다양하기 때문입니다.
인간 방식: 인간 전문가는 코드를 읽고 "네, 말이 되네요"라고 말합니다. 이것이 "골드 스탠다드(Gold Standard)"이지만, 느리고 비용이 많이 들며 규모를 키우기 어렵습니다.
새로운 아이디어 (LLM-as-a-Judge): 수백만 권의 책과 코드 조각을 읽은 AI에게 선생님 역할을 해달라고 요청하면 어떨까요? 단순히 단어를 세는 대신, AI는 의미를 이해합니다. AI는 "고양이"와 "고양이과 동물"이 같은 의미라는 것을 알고, 요약이 단순히 그럴싸하게 들리는 것인지 아니면 실제로 코드를 설명하고 있는지를 구별할 수 있습니다.

논문의 여정: AI 심판 테스트하기

Xiuwei Shang과 그의 팀이 이끄는 연구진은 이 "AI 심판" 아이디어를 시험해 보기로 했습니다. 그들은 단순히 추측하지 않고, BinJudgeBench라는 거대하고 고품질의 놀이터를 구축했습니다.

놀이터 구축하기:
그들은 51개의 실제 소프트웨어 프로젝트를 가져와 바이너리 코드로 컴파일한 다음, 모든 유용한 이름과 주석을 제거했습니다. 그런 다음 8개의 서로 다른 AI 모델에게 코드를 다시 복구해 보라고 요청했습니다. 누가 잘했는지 판단하기 위해, 세 명의 인간 전문가(코드 탐정)가 결과를 읽고 1점에서 5점 척도로 점수를 매겼습니다. 그들은 다음 사항들을 확인했습니다:

의미가 통하는가? (Semantic Correctness)
인간이 코드를 더 빨리 이해하는 데 도움이 되는가? (Utility)
자연스러운 인간의 스타일로 작성되었는가? (Idiomization)

이를 통해 1,200개 이상의 정교하게 등급이 매겨진 사례가 담긴 "골드 스탠다드" 데이터셋이 만들어졌습니다.

첫 번째 발견: AI 심판 vs 기존 지표
연구팀은 AI 심판을 기존의 "단어 카운팅" 지표들과 비교했습니다. 결과는 명확했습니다. AI 심판이 인간적인 측면을 이해하는 데 훨씬 더 뛰어났습니다.

AI 심판은 인간 전문가와 **63.20%**의 일치율을 보였습니다.
기존의 컴퓨터 지표는 **35.04%**의 일치율만을 보였습니다.

이는 AI가 단순히 철자를 맞추는 것이 아니라 코드의 의미를 실제로 "이해"할 수 있음을 시사합니다. 이는 로봇이 당신이 "안녕"이라고 말하는 횟수를 세는 것과, 당신이 따뜻하게 인사를 건네고 있다는 것을 이해하는 친구 사이의 차이와 같습니다.

두 번째 발견: "하나의 사이즈로 모두 해결된다"는 신화
여기서부터 흥미로워집니다. 연구진은 AI 심판의 다양한 설정을 테스트했습니다:

서로 다른 모델: 어떤 AI는 거대하고 비싸며(GPT-4o와 같은), 어떤 것은 더 작고 저렴합니다.
서서히 다른 프롬프트: 어떤 AI에게는 단순히 점수만 주도록 요청했고(Zero-Shot), 어떤 AI에게는 무엇이 "5점"이고 무엇이 "1점"인지 예시를 보여주었으며(Few-Shot), 어떤 AI에게는 자신의 추론 과정을 단계별로 설명하도록 요청했습니다(Chain-of-Thought).
서로 다른 온도(Temperature): 이는 AI가 답변할 때 얼마나 "창의적"이거나 "무작위적"인지를 제어합니다.

그들은 단 하나의 최적의 설정은 존재하지 않는다는 것을 발견했습니다.

함수 이름 짓기와 같은 일부 작업에서는 예시를 보여주는 방식(Few-Shot)이 가장 효과적이었습니다.
코드 요약과 같은 다른 작업에서는 AI에게 단계별로 생각하도록 요청하는 것(Chain-of-Thought)이 작은 모델들의 성능을 높여주었습니다.
때로는 거대하고 비싼 모델이 최고였던 반면, 다른 경우에는 더 작고 저렴한 모델이 충분히 훌륭했습니다.

이는 단순히 하나의 "최고의" AI를 골라 모든 것에 적용할 수 없음을 의미합니다. 이는 시계를 고치기 위해 망치를 쓰려는 것과 같습니다. 때로는 아주 작은 드라이버가 필요하고, 때로는 무거운 망치가 필요합니다.

해결책: BinJudge (스마트한 교통 관제사)
단일 최적의 설정이 없기 때문에, 팀은 BinJudge를 구축했습니다. 이것은 스마트한 라우터 역할을 하는 경량 시스템입니다.

특정 코드 조서각을 살펴봅니다.
스스로에게 묻습니다: "이 특정 코드에 가장 적합한 AI 모델과 질문 스타일은 무엇인가?"
그 특정 조합을 선택하여 해당 코드를 심판에게 보냅니다.

BinJudge의 결과:

더 높은 정확도: 적절한 작업에 맞는 심판을 선택함으로써, BinJudge는 단일 정적 설정을 사용할 때보다 인간 전문가와의 일치도를 4.5%에서 24.7%까지 향상시켰습니다.
더 저렴한 비용: 충분히 성능이 좋은 경우에는 더 작고 저렴한 모델을 선택함으로써, 가장 비싼 "최고" 설정을 사용하는 비용의 0.06배에서 0.84배 사이로 비용을 절감했습니다.

이것이 의미하는 바

이 논문은 우리가 모든 코드에 대해 값비싼 인간 전문가에게 의존할 필요도 없고, 단순히 단어만 세는 멍청한 컴퓨터 지표에 안주할 필요도 없다는 결론을 내립니다. 우리는 AI 심판을 사용할 수 있지만, 똑똑하게 사용해야 합니다. 단 하나의 "최고의" AI를 고를 수는 없으며, 적절한 작업에 적절한 도구를 선택하는 적응형 시스템이 필요합니다.

저자들은 AI 심판이 훌륭하지만 완벽하지는 않다는 점을 주의 깊게 언급했습니다. 코드가 너무 모호하거나 AI가 지나치게 "유창하지만 틀린" 내용을 말할 경우 혼란을 겪을 수 있습니다. 그러나 전반적으로, 이 연구는 적절한 적응형 시스템을 갖춘다면 우리는 코드 번역을 빠르고, 저렴하며, 인간 전문가의 의견에 놀라울 정도로 근접하게 평가할 수 있음을 시사합니다. 이는 어둡고 복잡한 바이너리 코드의 세계를 모두가 더 쉽게 읽을 수 있도록 만드는 큰 진전입니다.

기술 요약: 텍스트 매칭을 넘어: 인간 중심적 바이너리 역공학을 위한 참조 없는 평가를 향하여

문제 정의
인간 중심적 바이너리 역공학(Human-Oriented Binary Reverse Engineering, HOBRE)은 디컴파일된 의사코드(pseudocode)를 인간이 이해하기 쉬운 형태(예: 함수 이름 복구, 코드 요약, 가독성 최적화 등)로 변환하여 분석가의 인지적 부담을 줄이는 것을 목표로 한다. 그러나 HOBRE 출력물을 신뢰성 있게 평가하는 것은 근본적인 과제로 남아 있다. 기존의 평가 방법들은 다음과 같은 세 가지 주요 한계점을 가진다:

인간 평가(Human Evaluation): "골드 스탠다드"로 간주되지만, 비용과 시간이 많이 소ста되며, 분석가의 피로도로 인해 일관성 문제를 겪기 쉽고 확장성이 어렵다.
테스트 기반 메트릭(Test-Based Metrics): 재실행 가능성(re-executability)에 의존하는 방식은 포괄적인 유닛 테스트와 특정 런타임 환경을 요구하는데, 이는 실제 환경의 폐쇄형 바이너리 분석 시에는 불가능한 경우가 많다.
텍스트 매칭 메트릭(Text-Matching Metrics): 전통적인 자동화 지표(예: BLEU, CodeBLEU, BERTScore)는 고품질의 소스 코드 참조(reference)에 의존한다. HOBRE 시나리오에서는 소스 코드를 사용할 수 없는 경우가 빈번하다(예: 악성코드 분석, 스트립된 펌웨어). 또한, 이러한 메트릭은 어휘적 유사성에 집중할 뿐 의미론적 동등성을 포착하지 못하므로, 의미적으로는 정확하지만 어휘적으로는 다양한 출력물을 제대로 반영하지 못한다.

"LLM-as-a-Judge" 패러다임은 대규모 언어 모델(LLM)을 활용하여 참조 없는 의미론적 평가를 수행함으로써 해결책을 제시할 잠재력이 있지만, HOBRE 작업에서 그 효과성, 신뢰성 및 최적의 구성에 대한 체계적인 조사는 이루어지지 않았다.

방법론
본 논문은 HOBRE를 위한 LLM-as-a-Judge에 대한 체계적인 조사를 제안하며, 세 가지 핵심 구성 요소로 구조화된다:

BinJudgeBench 벤치마크:
- 저자들은 최초의 전문가 주석이 달린 참조 없는 HOBRE 평가 벤치마크를 구축하였다.
- 데이터 수집: 51개의 실제 GNU 프로젝트를 6개의 아키텍처와 4개의 최적화 레벨에 걸쳐 24개의 바이너리 변형으로 컴파일하였다. 스트립된 바이너리는 IDA Pro를 사용하여 디컴파일되었다.
- 응답 생성: 8개의 대표 모델(바이너리 특화 딥러닝 모델, 범용 LLM, 바이너리 도메인 LLM 포함)이 세 가지 작업(함수 이름 복구(FNR), 바이너리 코드 요약(BCS), 디컴파일 최적화(DO))에 대한 출력을 생성하였다.
- 주석 달기(Annotation): 세 명의 역공학 전문가가 1,233개의 샘플을 다차원 리커트 척도(1–5)를 사용하여 주석을 달았다. 프레임워크는 의미론적 정확성(Semantic Correctness), 역공학 분석가 유용성(Reverse Analyst Utility), 그리고 작업별 차원(예: FNR의 명명 차별성, BCS의 정보 커버리지)을 평가하였다. 검토자 간 일치도는 Krippendorff's Alpha를 통해 검증되었다.
경험적 연구 (RQ1–RQ3):
- RQ1 (효과성): 연구는 9개의 백본 LLM을 11개의 전통적인 메트릭(매치 기반 및 임베딩 기반)과 비교하여 인간의 판단에 대한 Kendall's $\tau$ , Spearman's $r_s$ , Pearson's $r_p$ 상관관계를 분석하였다.
- RQ2 (구성 영향): 저자들은 백본 LLM, 프롬프트 전략(Zero-Shot, Few-Shot, Chain-of-Thought), 디코딩 온도(temperature)가 상관관계와 API 비용에 미치는 영향을 분석하였다.
- RQ3 (가변성): "One-size-fits-all(일률적 적용)" 구성이 존재하는지 조사하였다. 무작위(random), 정적(static, 단일 최적), 오라클(Oracle, 샘플 수준 최적) 구성을 비교하여 "Oracle Gap"을 결정하였다.
BinJudge 라우터 (RQ4):
- 최적의 구성이 작업과 샘플마다 다르다는 발견에 착안하여, 저자들은 경량 라우팅 메커즘인 BinJudge를 제안하였다.
- 아키텍처: BinJudge는 고정된 UniXcoder 인코더를 사용하여 스트립된 의사코드에서 특징을 추출하고, 이를 작업 임베딩과 결합한다. 이후 다층 퍼셉트론(MLP)을 통해 81개의 가능한 저널 구성(9개 모델 × 3개 프롬프트 × 3개 온도)에 대한 확률 분포를 예측한다.
- 학습: BinJudge는 인간 점수와의 상관관계를 극대화하고 API 비용을 최소화하는 효용 함수를 균형 있게 맞추는 분포 정렬(distribution alignment)을 통해 학습된다.
- 추론: 새로운 샘플에 대해 BinJudge는 최적의 저널 구성을 동적으로 선택한다.

주요 결과

LLM-as-a-Judge의 우수성: LLM은 인간의 판단과 평균 **63.20%**의 상관관계를 달축성하였으며, 이는 전통적인 자동화 메트릭(35.04%)을 크게 상회하는 수치이다. 이 격차는 바이너리 코드 요약(BCS)에서 가장 두드러졌는데, 여기서 LLM은 어휘적 메트릭보다 개방형의 의미론적으로 동등한 표현들을 더 잘 처리하였다.
구성 민감도: 모든 작업에 최적인 단일 구성은 존재하지 않았다.
- 프롬프팅: Few-Shot Learning(FSL)은 일반적으로 초거대 모델에서 이점을 보였고, Chain-of-Thought(CoT)는 소형 모델의 성능을 개선했다.
- 온도: 낮은 온도(0.1/0.5)는 일반적으로 대형 모델에 유리했으나, 높은 온도가 때때로 소형 모델에 도움이 되기도 했다.
- 비용 대비 성능: 상당한 파레토 차이가 존재했다. 예를 들어, Gemini-2.5-Flash는 Claude-3.5-Sonnet의 극히 일부 비용만으로 높은 상관관계를 달성했다.
오라클 갭(The Oracle Gap): 정적 "최적" 구성(예: 70.31% $\tau$ )은 이론적 오라클 상한선(92.95% $\tau$ )에 크게 미치지 못했으며, 이는 고정된 구성이 HOBRE 샘플의 이질성을 처리할 수 없음을 입증한다.
BinJudge 성능: 적응형 라우팅 메커니즘은 정적 최적 구성 대비 인간 전문가와의 상관관계를 4.5%~24.7% 향상시켰다. 결정적으로, BinJudge는 API 비용을 정적 구성의 0.06배~0.84배로 낮추어, 정적 구성과 오라클 성능 사이의 격차를 효과적으로 좁히면서도 비용 효율성을 유지하였다.

의의 및 주장
본 논문은 바이너리 역공학이라는 특수 영역에서 LLM-as-a-Judge에 대한 최초의 체계적인 조사를 제공한다고 주장한다. 주요 기여는 다음과 같다:

BinJudgeBench: 소스 코드 없이도 HOBRE 도구를 평가할 수 있는 고품질의 참조 없는 벤치마크를 제공한다.
경험적 증거: LLM이 전통적인 메트릭이 실패하는 지점에서 깊은 의미론적 동등성을 포착함으로써, HOBRE에서 인간의 판단을 신뢰성 있게 근사할 수 있음을 입증한다.
BinJudge 라우터: "One-size-fits-all"의 한계를 해결하는 확장 가능하고 비용 효율적인 솔루션을 제공한다. 적응적으로 저널 구성을 선택함으로써, BinJudge는 실무 배포가 가능한 고충실도 자동화 평가 체계를 제공한다.

저자들은 LLM 저널이 (특히 의미론적 앵커나 컨텍스트가 부족한 경우) 인간 전문가를 완전히 대체할 수는 없지만, HOBRE 산출물의 자동화되고 확장 가능한 평가를 위한 우수한 대안이 될 수 있다고 결론짓는다.

배경: 암호화된 메시지 해독하기

논문의 여정: AI 심판 테스트하기

이것이 의미하는 바

유사한 논문