기술 요약: SCDBench

문제 정의

스마트 계약 역컴파일 (Ethereum 가상 머신 (EVM) 바이트코드에서 고수준 소스 코드 (Solidity) 를 복원하는 과정) 은 블록체인 보안, 감사 및 투명성에 필수적입니다. 그러나 Ethereum 계약의 99% 이상이 검증되지 않아 접근 가능한 것은 바이트코드뿐입니다. 기존 역컴파일러가 존재하지만, 개발자가 해석하기 어려운 중간 표현이나 의사 코드를 생성하는 경우가 많습니다.

대형 언어 모델 (LLM) 의 등장으로 소스 코드와 유사한 Solidity 를 생성하여 컴파일 가능하고 타당해 보이는 결과를 도출할 수 있는 새로운 패러다임이 제시되었습니다. 그러나 이러한 모델을 평가할 표준화된 벤치마크는 부재합니다. 기존 연구는 좁고 종종 독점적인 데이터셋, 일관성 없는 지표, 제한된 의미 일관성 검사에 의존합니다. 특히 모델이 컴파일은 되지만 동작이 다른 코드를 생성할 수 있으므로, LLM 이 생성한 계약이 원래 바이트코드와 의미적으로 동등한지 판단하는 엄격한 방법이 존재하지 않습니다.

방법론: SCDBench

저자들은 LLM 기반 스마트 계약 역컴파일러를 엄격하게 평가하기 위해 설계된 데이터셋 및 벤치마크 방법론인 SCDBench를 소개합니다.

1. 데이터셋 구성

이 벤치마크는 2026 년 1 월 1 일 이전에 검증된 Ethereum 배포에서 추출한 600 개의 실제 Solidity 계약으로 구성됩니다.

• 출처: 772,736 개의 고유한 바이트코드 - 소스 쌍 코퍼스에서 유래되었으며, 근사 중복 및 대량 생성된 템플릿 변형을 제거하기 위해 필터링되었습니다.
• 층화: 계약은 난이도 수준 (쉬움, 중간, 어려움) 으로 나누어 각 200 개씩 구성됩니다. 난이도는 바이트코드 크기, 인터페이스 크기, 제어 흐름 복잡도, 저장소 연산 및 저수준 Solidity 기능에 따라 결정됩니다.
• 의미 체크포인트: 재현성을 위해 데이터셋에는 14,553 개의 공개 함수를 포괄하는 227,383 개의 구체적인 의미 테스트 케이스가 포함되어 있습니다. 이러한 케이스는 차분 퍼징 (differential fuzzing) 원칙을 통해 생성됩니다. 즉, 구체적인 입력으로 기준 (ground-truth) 계약을 실행하여 결과 (반환 데이터, 되돌림 상태, 로그, 상태 변경) 를 기록하여 나중에 재생할 수 있도록 합니다.

2. 평가 파이프라인

SCDBench 는 4 단계 누적 평가 프로토콜을 사용합니다. 계약은 다음 단계로 진행하기 위해 각 단계를 통과해야 하며, 어떤 단계에서든 실패하면 이후 모든 단계가 실패로 간주됩니다.

1. 형식 완성도: 출력이 파싱 가능한 컴파일러 설정, 자체 포함된 Solidity 코드 및 대상 계약 이름을 포함하는지 확인합니다.
2. 컴파일 가능성: 생성된 코드가 유효한 대상 아티팩트로 성공적으로 컴파일되는지 검증합니다.
3. ABI 복구: 기준 애플리케이션 바이너리 인터페이스 (ABI) 에 대한 공개 함수 시그니처의 재구성을 평가하며, 정밀도 (Precision), 재현율 (Recall), F1 점수를 보고합니다.
4. 의미 일관성: 가장 엄격한 단계입니다. 역컴파일된 계약에 대해 생성된 테스트 케이스를 재생합니다. 반환 데이터, 되돌림 상태, 로그 및 저장소 변경 사항에 대해 모든 재생된 케이스가 기준과 일치할 때만 함수가 일관된 것으로 간주됩니다.

3. 실험 설정

저자들은 제로샷 (zero-shot) 설정에서 최첨단 폐쇄형 모델 (Claude Opus 4.7, GPT-5.3-Codex) 과 오픈 가중치 베이스라인 (GLM-5) 을 평가했습니다.

• 입력: EVM 어셈블리 (바이트코드의 텍스트 렌더링) 및 선택적 고유하지 않은 함수 선택자 힌트.
• 수정 변형: 모델이 자신의 컴파일 오류 메시지를 받아 수정을 시도하는 제로샷 컴파일 수정 설정을 테스트했으며, 이는 상첨자 †로 표기됩니다.
• 추론: GLM-5 는 확장된 추론의 영향을 평가하기 위해 "instruct"(비사고) 모드와 "high-thinking"모드 모두에서 테스트되었습니다.

주요 결과

평가 결과, 구문적 성공 (컴파일) 과 의미적 정확성 사이에 상당한 격차가 있음을 드러냈습니다.

• 형식 및 컴파일 가능성: 최첨단 모델은 일반적으로 오픈 가중치 베이스라인보다 우수한 성과를 냅니다. **GPT-5.3-Codex†**가 가장 높은 컴파일률 (총 90.3%) 을 달성했으며, 이어 Opus 4.7†(69.2%) 가 뒤를 이었습니다. 제로샷 수정은 모든 모델에서 성능을 크게 향상시켰으며, 이는 초기 실패의 대부분이 근본적인 역컴파일 오류가 아닌 사소한 컴파일러 수준의 불일치임을 시사합니다.
• ABI 복구: **GPT-5.3-Codex†**가 가장 높은 마이크로 F1 점수 (0.896) 를 달성했습니다. 정밀도는 전반적으로 높았으나 재현율은 다양하여, 모델이 추가 함수를 환각시키는 것보다 기준 함수를 놓치는 경우가 많음을 나타냅니다.
• 의미 일관성: 이는 여전히 주요 병목 현상입니다.
  • **Opus 4.7†**는 가장 높은 의미 일관성률 (공개 함수의 29.4%) 을 달성했습니다.
  • **GPT-5.3-Codex†**는 "어려움" 계약에서 가장 잘 수행되었으나 (25.2%), 전체적으로는 약간 낮았습니다 (28.0%).
  • 완벽한 복구: 가장 성능이 좋은 모델조차 600 개 계약 중 42 개 (7.0%) 만 완벽하게 역컴파일했습니다. 거의 모든 "어려움" 계약은 완벽하게 복구되지 않았습니다.
• 추론 영향: GLM-5 의 "high-thinking"구성은 컴파일, ABI 복구 및 의미 일관성 측면에서 "instruct"변형보다 현저히 우수한 성과를 보였으며, 이는 확장된 추론이 바이트코드 구조 및 컴파일러 제약을 탐색하는 데 도움이 됨을 시사합니다.

주요 기여

1. 데이터셋: 난이도에 따라 층화된 600 개의 실제 계약, 페어된 바이트코드, 기준 소스 및 22 만 개 이상의 의미 테스트 케이스로 구성된 큐레이션된 다양성 벤치마크.
2. 방법론: 가독성을 넘어 컴파일 가능성, ABI 정확도 및 차분 재생을 통한 엄격한 의미 일관성을 강제하는 단계별 평가 프레임워크.
3. 실증적 통찰:
   • 추론 능력을 갖춘 최첨단 모델은 오픈 가중치 베이스라인보다 훨씬 강력합니다.
   • 제로샷 컴파일 수정은 역컴파일 품질을 크게 향상시키는 간단하고 비용 효율적인 단계입니다.
   • 의미 일관성이 핵심 미해결 과제입니다: 높은 컴파일률 및 ABI 복구율이 의미적 충실도를 보장하지는 않습니다.

의의

본 논문은 SCDBench 가 스마트 계약 역컴파일 분야에서 엄격하고 재현 가능한 평가를 위한 공통 기반을 확립한다고 주장합니다. 구문적 타당성에서 의미 일관성으로 초점을 이동시킴으로써, 이 벤치마크는 다음과 같은 목표를 지향합니다.

• 신흥 역컴파일 접근 방식의 공정한 비교를 가능하게 합니다.
• 계약 의미를 보존하는 현재 LLM 의 특정 한계를 강조합니다.
• 테스트 및 개선을 위한 표준화된 프레임워크를 제공함으로써 블록체인 보안 및 투명성을 위한 신뢰할 수 있는 도구 개발을 가속화합니다.

저자들은 최첨단 LLM 이 구조화되고 컴파일 가능한 코드를 생성할 수 있지만, 완전한 의미 일관성을 달성하는 것은 여전히 중요한 미해결 문제이며, 컴파일러 기반 수정 및 의미 검증을 통합한 에이전트 역컴파일러 설계에 대한 추가 연구가 필요하다고 결론지었습니다.