Enhancing Smart Contract Vulnerability Detection in DApps Leveraging Fine-Tuned LLM

기술 요약: 미세 조정된 LLM을 활용한 DApp의 스마트 컨트랙트 취약점 탐지 성능 향상

문제 정의
탈중앙화 애플리케이션(DApp)은 기반이 되는 스마트 컨트랙트의 취약점으로 인해 심각한 보안 위험에 직면해 있습니다. 정적 분석 및 상태 전이 검증과 같은 전통적인 탐지 방법은 알려진 패턴(예: 재진입성, 산술 오류)에는 효과적이지만, 새롭게 등장하는 위협과 "기계가 감사할 수 없는(machine-unauditable)" 논리적 결함에는 어려움을 겪습니다. 최근 통계에 따르면 컨트랙트 취약점의 거의 80%는 토큰 가격 조작과 같이 기존 프로그램 분석을 회피하는 복잡한 문제를 포함한 논리적 오류입니다. 또한, 기존의 벤치마크는 종종 단순화된 데이터셋(40줄 미만의 컨트랙트)에 의존하여 실제 DApp 프로젝트의 복잡성을 제대로 반영하지 못합니다. 프롬프트 엔지니어링이나 검색 증강 생성(RAG)을 사용하는 기존의 거대 언어 모델(LLM) 접근 방식 역시 솔리디티(Solidity) 프로그래밍 언어에 대한 도메인 특화 적응력이 부족하여 40~60%의 정확도에 그치는 한계를 보입니다.

방법론
본 논문은 미세 조정된 LLM을 활용하여 DApp의 취약점 탐지 능력을 강화하는 새로운 프레임워크를 제안합니다. 방법론은 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 포괄적 데이터 수집:
   저자들은 215개의 실제 DApp 프로젝트와 4,998개의 스마트 컨트랙트로 구성된 새로운 데이터셋을 구축했습니다. 이전 데이터셋들과 달리, 이 컬렉션은 SmartCollect라는 커스텀 파이썬 도구를 사용하여 공용 라이브러리 및 외부 컨트랙트를 포함한 전체 프로젝트 의존성을 복구하며 수집되었습니다. 이 데이터셋은 재진입성, 산술 문제, 타임스탬프 의존성과 같은 표준 취약점과 함께, 토큰 가격 조작 취약성을 가진 23개의 컨트랙트를 포함함으로써 논리적 오류 사례의 희소성 문제를 구체적으로 해결합니다.

2. 데이터 증강 (ROS):
   취약점 탐지에서 발생하는 심각한 클래스 불균형(취약한 경우가 소수인 현상)을 해결하기 위해, 본 연구는 **무작위 오버 샘플링(Random Over Sampling, ROS)**을 채택합니다. 이 기술은 소수 클래스의 샘내를 복제하여 데이터셋의 균형을 맞춤으로써, 불균형한 실제 데이터로 학습된 딥러닝 모델에서 흔히 나타나는 성능 저하를 완화합니다.

3. 이중 역할 LLM 아키텍처:
   제안된 시스템은 프롬프트 엔지니어링을 통해 활성화되는 두 가지 별도의 역할을 수행하는 2단계 감사 프로세스를 사용합니다:

• 스마트 컨트랙트 감사인(Smart Contract Auditor): 코드를 검토하여 잠재적 취약점을 식별하고 추론을 생성합니다.
• 검증인(Verifier): 정확성과 엄격성을 보장하기 위해 식별된 취약점 유형을 추가로 검증합니다.
  프롬프트는 사고의 흐름(Chain-of-Thought, CoT) 추론을 바탕으로 설계되어, 모델이 문맥을 이해하고 로직을 분석하며 구조화된 출력을 제공하는 감사인의 워크플로우를 모방하도록 합니다.

4. 미세 조정 전략:
   본 연구는 주요 오픈 소스 모델(Llama3-8B 및 Qwen2-7B)에 대해 두 가지 미세 조정 접근 방식을 평가합니다:

• 전체 파라미터 미세 조정 (Full-Parameter Fine-Tuning, FFT): 최적의 작업 특화 성능을 달기 위해 경사 하강법을 통해 모든 모델 파라미터를 업데이트합니다.
• 저차원 적응 (Low-Rank Adaptation, LoRA): 베이스 모델의 가중치를 고정하고 가중치 업데이트를 근사하기 위해 저차원 행렬($A$ 및 $B$)을 학습시키는 매개변수 효율적 방법으로, 계산 오버헤드를 줄입니다.

주요 기여

• 실제 환경 데이터셋: 복잡한 논리적 오류와 토큰 가격 조작 결함을 포함하는 대규모의 대표적인 데이터셋(215개 DApp 프로젝트, 4,998개 컨트랙트)을 구축하여, 단순화된 기존 벤치마크의 간극을 메웠습니다.
• 미세 조정 프레임워크: 도메인 특화 미세 조정(FFT 및 LoRA)이 프롬프트 기반 LLM 및 최첨단 도구(GPTLENS, GPTSCAN)보다 스마트 컨트랙트 취약점 탐지에서 유의미하게 우수한 성능을 보임을 입증했습니다.
• 논리적 오류 탐지: "기계가 감사할 수 없는" 취약점에 대한 집중적인 접근을 통해, 미세 조정된 LLM이 기존 도구가 놓치는 가격 조작과 같은 논리적 결함을 효과적으로 탐지할 수 있음을 증명했습니다.
• 데이터 증강 검증: ROS를 적용하는 것이 불균형한 취약점 데이터셋에 대한 모델 성능을 유의미하게 향상시킨다는 실증적 근거를 제시했습니다.

실험 결과
본 연구는 성능, 미세 조정의 영향, 논리적 오류 탐지 및 데이터 증강에 관한 네 가지 연구 질문에 답하기 위해 비교 실험을 수행했습니다:

• 베이스라인 대비 성능: 미세 조정된 모델은 미세 조정되지 않은 프롬프트 기반 접근 방식보다 성능이 월등히 높았습니다. 표준 Qwen2-7B 프롬프트가 0.20의 F1-score만을 기록한 반면, 미세 조정된 Llama3-8B-FFT는 0.73의 F1-score(정밀도: 0.78, 재현율: 0.70)를 달축성했습니다.
• SOTA와의 비교: 미세 조정된 모델들(Llama3-8B-FFT 및 Qwen2-7B-FFT)은 0.78의 정밀도를 달성하여, GPTLENS(0.64)와 GPTSCAN(0.57)을 능가했습니다.
• 논리적 오류 탐지: 본 접근 방식은 가격 조작 취약점(PMV) 탐지에서 탁월한 능력을 보여주었습니다. Llama3-8B-FFT 모델은 PMV에 대해 0.97의 정밀도와 0.68의 재현율을 달성하여, 비기계적 감사 결함을 처리할 수 있는 능력을 입증했습니다.
• 데이터 증강의 영향: 미세 조정 과정에 ROS를 적용함으로써 추가적인 개선을 얻었습니다. Llama3-8B-FFT-ROS 모델은 F1-score 0.83(정밀도: 0.84, 재현율: 0.79)을 달성하였으며, 이는 비증강 FFT 베이스라인과 비교했을 때 정밀도는 67%, 재현율은 916% 증가한 수치입니다.

의의
본 논문은 LLM의 도메인 특화 미세 조정과 ROS와 같은 데이터 증강 기술의 결림이 블록체인 생태계의 진화하는 보안 과제에 대한 강력한 솔루션을 제공한다고 주장합니다. 사전 정의된 취약점 패턴과 범용 프롬프팅을 넘어, 이 접근 방식은 실제 DApp에서의 복잡하고 논리적이며 기계가 감사할 수 없는 취약점을 탐지하는 데 효과적입니다. 결과적으로 본 연구는 미세 조정된 LLM이 특히 현대 스마트 컨트랙트 리스크의 대부분을 차지하는 정교한 논리적 오류를 식별하는 데 있어 블록체인 보호의 핵심 계층 역할을 할 수 있음을 강조합니다.