기술 요약: 솔리디티 스마트 계약을 위한 취약점 탐지 도구의 실증 분석

문제 제기

블록체인 기술의 급속한 채택으로 자동화된 비즈니스 로직을 처리하는 스마트 계약 (SC) 의 보안 중요성이 부각되었습니다. 자동화된 취약점 탐지 도구의 확산에도 불구하고, 실증적 증거는 높은 오탐 (FP) 비율과 일관성 없는 탐지 능력을 포함한 심각한 신뢰성 문제를 시사합니다. 기존 평가들은 종종 도구 편향을 내포하는 자동 라벨링 데이터셋, 규모가 제한된 데이터셋, 또는 계약 또는 함수 수준에서만 주석이 달린 데이터셋에 의존합니다. 또한, 이러한 도구들이 관리된 단순화된 벤치마크에 비해 실제 복잡하고 현실적인 계약에서 얼마나 잘 수행되는지에 대한 이해에는 중요한 격차가 존재합니다. 더욱이, 탐지 도구로서의 대규모 언어 모델 (LLM) 의 등장으로 인해 통제된 환경을 넘어선 일반화 가능성을 결정하기 위한 엄격한 평가가 요구됩니다.

방법론

저자들은 다음과 같은 주요 방법론적 단계를 포함한 포괄적인 실증 연구를 수행했습니다:

1. 데이터셋 구성:

   • 본 연구는 2,182 개의 솔리디티 스마트 계약 인스턴스로 구성된 수동 주석 데이터셋을 구축했습니다.
   • 취약점은 개발자 및 연구자를 대상으로 한 동기 부여 설문에서 확인된 세분화 선호도를 반영하여 코드 라인 단위로 라벨링되었습니다.
   • 데이터 소스는 다음과 같습니다:
     • SmartBugs 결과: 47,587 개의 더 큰 코퍼스에서 추출된 1,501 개의 계약의 층화 샘플로, 도구 출력 (최소 두 개의 도구가 취약점을 플래그해야 함) 을 기반으로 선정되었습니다.
     • SmartBugs Curated: 142 개의 수동 주석 계약 (139 개가 취약한 것으로 확인됨).
     • ZEUS 데이터셋: Kalra 등 (2018) 의 데이터셋에서 Etherscan API 를 통해 검색된 538 개의 계약을 수동으로 재평가한 것입니다.
   • 제 3 자 평가자가 비취약성 라벨을 이중 확인했으며, 불일치는 합의 과정을 통해 해결되었습니다.

2. 도구 평가:

   • 전통적 도구: 본 연구는 SmartBugs 2.0 프레임워크의 19 개 취약점 탐지 도구 (honeypots 를 대상으로 하는 HoneyBadger 제외) 를 평가했습니다. 여기에는 정적 분석기 (예: Slither, Solhint, Securify), 동적 분석기/퍼저 (예: Manticore, Sfuzz), 심볼릭 실행 도구 (예: Osiris, Oyente) 가 포함되었습니다.
   • LLM 평가: ChatGPT-4o 를 라인 단위 취약점 탐지기로서 평가했습니다. 모델은 DASP TOP 10 분류법에 기반하여 취약점을 식별하도록 프롬프트되었습니다.
   • 시나리오: 산술 취약점에 관한 두 가지 시나리오 하에서 평가가 수행되었습니다. 하나는 이를 포함하는 경우 (Solidity < 0.8.0 에 관련됨) 이고, 다른 하나는 이를 배제하는 경우 (Solidity >= 0.8.0 의 기본 오버플로우 체크를 고려함) 입니다.

3. LLM 세부 사항:

   • ChatGPT-4o 는 SmartBugs Curated 데이터셋과 SmartBugs Results 데이터셋의 400 개 실제 세계 계약 무작위 샘플에서 테스트되었습니다.
   • 본 연구는 계약 복잡성 (순환 복잡성과 코드 라인 수로 측정) 과 잠재적 데이터 누출 (학습 데이터 중복) 이 LLM 성능에 미치는 영향을 분석했습니다.

4. 결합 전략:

   • 도구들은 탐지 행동에 기반하여 k-평균 알고리즘을 사용하여 클러스터링되었습니다.
   • 각 클러스터에서 대표 도구를 선택하여 상호 보완적인 탐지 세트를 구성했습니다.

주요 기여

1. 데이터셋 공개: 2,182 개의 인스턴스에 대한 라인 단위 취약점 주석을 특징으로 하는, 현재까지 가장 큰 수동 분석 스마트 계약 데이터셋을 공개했습니다. 이 데이터셋은 기존 벤치마크에 존재하는 정밀한 기준 부재를 해결합니다.
2. 광범위한 도구 평가: 19 개의 최첨단 도구(및 LLM 접근법) 를 DASP TOP 10 분류법에 매핑하여 수동으로 검증된 기준에 대해 평가한 가장 포괄적인 실증 평가를 수행했습니다.
3. LLM 성능 분석: LLM 기반 탐지 (ChatGPT-4o) 가 관리된 벤치마크에 비해 실제 세계 계약에서 훨씬 낮은 효과를 보임을 입증하여, 일반화 문제와 잠재적 데이터 누출 문제를 강조했습니다.
4. 최적 도구 조합: Conkas, Slither, Smartcheck 세 가지 도구의 특정 조합을 식별하여, 함께 사용할 경우 수동 주석 취약점의 최대 76.78% 를 탐지하며 평균 실행 시간이 1 분 미만임을 확인했습니다.

결과

도구 성능 (RQ1)

• 단일 도구의 부족: DASP TOP 10 분류법의 모든 취약점 클래스를 탐지한 단일 도구는 없습니다.
• 전문성:
  • Osiris는 산술 취약점에 가장 효과적이었습니다.
  • Smartcheck는 서비스 거부 (DoS) 탐지에서 뛰어났습니다.
  • Solhint는 접근 제어, 확인되지 않은 저수준 호출, 불량 난수 생성에 강력한 능력을 보였으나, 높은 오탐 비율로 고통받았습니다.
  • Conkas와 Slither는 전체적으로 가장 효과적인 도구로 부상했으며, Conkas 는 산술 취약점이 포함되었을 때 더 잘 수행되었고 Slither 는 산술 취약점이 제외되었을 때 (Solidity >= 0.8.0) 더 잘 수행되었습니다.
• 실행 시간: 재현율과 실행 시간 사이에는 상당한 트레이드오프가 존재합니다. 예를 들어, Slither는 매우 낮은 평균 실행 시간 (1.14 초) 으로 높은 재현율 (0.68) 을 달성한 반면, Sfuzz는 유사한 재현율을 보였으나 평균 582 초 이상이 소요되었습니다.
• 미탐지 클래스: 도구들은 프론트 러닝, 짧은 주소, 불량 난수 생성에 대해 크게 어려움을 겪었으나, Securify 가 프론트 러닝을 탐지하는 등 이전 연구 대비 일부 개선이 관찰되었습니다.

LLM 효과성 (RQ2)

• Curated 대 실제 세계: ChatGPT-4o 는 이전 보고서에 비해 SmartBugs Curated 데이터셋에서 중간 수준의 재현율 (47.67%) 과 더 높은 정밀도를 달성했습니다. 그러나 400 개의 실제 세계 계약에서는 성능이 붕괴되었습니다 (정밀도: 5.6%, 재현율: 3.3%, F1: 1.9%).
• 복잡성 요인: 실제 세계 계약은 관리된 벤치마크보다 훨씬 크고 복잡했습니다 (더 높은 순환 복잡성). 본 연구는 계약 크기와 복잡성이 증가함에 따라 LLM 효과성이 저하된다고 시사합니다.
• 데이터 누출: 본 연구는 관리된 데이터셋에서의 높은 성능이 부분적으로 데이터 누출 때문일 것이라고 가설을 세웠는데, 이러한 계약들은 종종 모델의 학습 컷오프 이전이거나 학습에 사용된 공개 저장소에 존재하기 때문입니다.

도구 결합 (RQ3)

• 도구를 클러스터링하고 상호 보완적인 대표자를 선택함으로써, 저자들은 Conkas, Slither, Smartcheck라는 세트를 식별하여 모든 취약점 (산술 포함) 의 73.38% 와 비산술 취약점의 76.78% 를 collectively 탐지했습니다.
• 이 조합은 개별 도구 및 이전 조합보다 통계적으로 우월했습니다 (Fisher 의 정확 검정, p < 0.001), 최소한의 계산 오버헤드 (평균 1 분 미만) 로 높은 커버리지율을 제공합니다.

중요성과 주장

본 논문은 다음과 같이 스마트 계약 보안 분야에 중요한 기여를 한다고 주장합니다:

1. 신뢰할 수 있는 벤치마크 제공: 수동으로 주석 달린 라인 단위 데이터셋은 자동 라벨링 데이터셋의 편향을 넘어선 향후 도구 평가를 위한 강력한 기준을 제공합니다.
2. 평가 격차 강조: 단순화된 벤치마크와 실제 배포 환경에서의 도구 성능 간 불일치를 강조하여, 관리된 데이터셋만으로 도구 효능을 과대평가하지 않도록 경고합니다.
3. LLM 한계 입증: 범용 LLM 은 유망하지만, 추가적인 도메인 특화 미세 조정 또는 검증 없이는 실제 세계 스마트 계약 감사에 필요한 신뢰성을 현재는 결여하고 있음을 실증적 증거로 제시합니다.
4. 실용적 솔루션 제시: 상호 보완적인 도구 조합의 식별은 개발자와 감사자가 계산 비용을 관리하면서 취약점 탐지를 극대화할 수 있는 실용적이고 확장 가능한 전략을 제공합니다.

저자들은 도구가 개선되었음에도 불구하고, 특히 오탐, 소수 취약점 클래스의 탐지, 그리고 복잡한 실제 세계 시나리오에 대한 AI 기반 방법의 일반화와 관련하여 여전히 중요한 과제가 남아있다고 결론지었습니다.