No More Hidden Pitfalls? Exposing Smart Contract Bad Practices with LLM-Powered Hybrid Analysis

기술 요약: 더 이상의 숨겨진 함정은 없는가? LLM 기반 하이브리드 분석을 통한 스마트 계약의 나쁜 관행 노출

문제 정의

이더리움 플랫폼이 성숙해짐에 따라 스마트 계약의 보안과 품질이 매우 중요해졌습니다. 전통적인 보안 감사는 수동 코드 리뷰와 자동화된 도구에 의존하지만, 이러한 방법들은 상당한 한계가 있습니다. 수동 리뷰는 비효로적이며 미묘한 취약점을 간과하기 쉽고, 기존의 자동화 도구들은 정교한 패턴 매칭에 의존하는 경우가 많아 복잡한 보안 이슈나 품질 관련 나쁜 관행(bad practices)을 탐지하는 데 실패하곤 합니다. 또한, 현재의 도구들은 대개 명시적인 취약점(예: 재진입성)에만 집중하며, 직접적으로 악용되지는 않더라도 위험을 높이고 유지보수성을 저하시키며 숨겨된 경제적 위험을 생성하는 "나쁜 관행"(서투른 코딩 습관이나 설계 결정)은 종종 간과합니다. 보안 및 코드 품질 차원에 걸친 47개 이상의 구체적인 나쁜 관행을 체계적으로 연구하고 효과적으로 탐지할 수 있는 도구가 부족한 실정입니다.

방법론: SCALM 프레임워크

저자들은 정적 분석과 대규모 언어 모델(LLM) 추론을 결합한 하이브리드 분석 접근 방식을 통해 나쁜 관행을 탐지하도록 설계된 새로운 프레임워크인 **SCALM (Smart Contract Audit Language Model)**을 제안합니다. 이 아키텍처는 두 가지 핵심 모듈로 구성됩니다.

1. 문맥 인지형 함수 수준 슬라이싱 및 벡터화 (Context-Aware Function-Level Slicing and Vectorization)

SCALM은 고립된 코드 분석을 넘어 문맥이 풍부하게 보강된 함수 슬라이스를 구축함으로써 범위를 확장합니다.

• 분해(Decomposition): 시스템은 정규 표현식과 중괄호 카운팅을 사용하여 솔리디티(Solidity) 코드를 파싱하고, 계약을 독립적인 함수들로 분해합니다.
• 주석 필터링(Annotation Filtering): 내장된 SWC(Smart Contract Weakness Classification) 주석(예: // SWC-107)을 활용하여 나쁜 관행과 관련된 함수만을 필터링하고 추출함으로써 신호 대 잡음비를 개선합니다.
• 의존성 인지형 조립(Dependency-Aware Assembly): 대상 함수를 위해 시스템은 유향 호출 그래프(directed call graph)를 구축하여 풍부한 문맥을 조립합니다. 여기에는 메인 함수 코드, 관련 상태 변수, 트리거된 이벤트, 그리고 재귀적으로 호출된 함수(최대 깊이 3까지)가 포함됩니다.
• 벡터화(Vectorization): 이러한 문맥 슬라이스는 임베딩 모델(text-embedding-ada-002)을 사용하여 1536차원의 의미론적 벡터로 변환되어 벡터 데이터베이스에 저장됩니다. 이를 통해 관련 나쁜 관행 패턴을 검색하기 위한 효율적인 유사도 검색이 가능해집니다.

2. 다층 추론 및 검증 (Multi-Layer Reasoning and Verification)

핵심 탐지 엔진은 계층적 검증을 수행하기 위해 검색 증강 생성(RAG) 시스템과 **스텝 백 프롬프팅(Step-Back prompting)**을 결합하여 사용합니다.

• RAG 검색(RAG Retrieval): 함수 슬라이스를 분석할 때, 시스템은 벡터 데이터베이스에서 의미론적으로 유사한 코드 스니펫과 나쁜 관행 규칙을 검색하여 LLM에 문맥을 제공합니다.
• 스텝 백 프롬프팅(Step-Back Prompting): LLM에게 버그를 직접 식별하도록 요청하는 대신, 프레임워크는 먼저 고수준의 보안 원칙(예: "취약점을 방지하는 근본적인 구문 규칙은 무엇인가?")을 추상화한 후, 이를 특정 코드 구현에 매핑하는 스텝 백 프롬프팅을 채택합니다.
• 3단계 검증(Three-Layer Verification): 분석은 세 가지 뚜렷한 레이어를 통해 진행됩니다.
  1. 구문 검증(Syntax Validation): 코드 수준의 취약점(예: 가시성 수정자, 체크되지 않은 호출)을 확인합니다.
  2. 디자인 패턴 검증(Design Pattern Validation): Checks-Effects-Interactions 및 접근 제어와 같은 패턴의 올바른 적용 여부를 검증합니다.
  3. 아키텍처 검증(Architecture Validation): 시스템 수준의 리스크, 신뢰 경계 및 계약 토폴로지를 분석합니다.
• 출력(Output): 시스템은 발견된 내용을 위험 점수, 특정 코드 블록, 해결 제안을 포함한 구조화된 JSON 감사 보고서로 집계합니다.

주요 기여

1. 체계적 연구: 본 논문은 스마트 계약의 나쁜 관행을 분류하고 분석한 최초의 체계적 연구로서, 35개의 보안 관련 및 12개의 품질 관련 나쁜 관행(총 47개 이상의 이슈)을 제시합니다.
2. SCALM 프레임워크: 문맥 인지형 함수 수준 슬라이싱과 다층 추론 검증 시스템(구문, 디자인 패턴, 아키텍처)을 통합한 LLM 기반 프레임워크를 도입했습니다.
3. 포괄적 평가: DAppSCAN, SmartBugs, SolQuality 등 여러 데이터셋과 6개의 최첨단 LLM(GPT-4o, Claude-3.5-Sonnet, Llama-3.1 포함)을 통해 광범위한 실험을 수행했습니다.
4. 오픈 소스: 추가 연구를 촉진하기 위해 코드와 실험 데이터를 오픈 소스로 공개했습니다.

실험 결과

저자들은 SCALM을 7개의 벤치마크 도구(전통적 도구 4개: Mythril, Oyente, Confuzzius, Conkas; LLM 기반 도구 3개: GPTLens, VulnHunt-GPT, LLM-SmartAudit)와 비교 평가했습니다.

• 성능: SCALM은 모든 기존 도구보다 우수한 성능을 보였습니다. 보안 관련 탐지(SWC 카테고리)에서 SCALM은 92.67%에서 98.27% 사이의 F1 점수를 달성했습니다. 품질 관련 탐지(가독성, 효율성, 아키텍처 등)에서도 F1 점수가 **86.96%**를 상회했습니다.
• 모델 민감도: LLM의 선택은 성능에 큰 영향을 미쳤습니다. GPT-4o는 가장 높은 탐지율을 기록하며 28개 SWC 카테고리에 걸친 취약점을 성공적으로 식별한 반면, 다른 모델들은 특정 복잡한 이슈(예: SWC-109, SWC-133)에서 다양한 수준의 실패를 보였습니다.
• 어블레이션 연구(Ablation Studies):
  • RAG 구성 요소를 제거했을 때 성능이 크게 하락했습니다 (RAG로 인한 보안 패턴 평균 F1 향상 폭은 17.5%).
  • 다층 추론을 제거했을 때 더욱 급격한 감소가 발생했습니다 (다층 추론으로 인한 보안 패턴 평균 F1 향상 폭은 30.99%).
  • 이러한 결과는 외부 지식의 검색과 보안 원칙의 계층적 추상화 모두가 프레임워크의 성공에 결정적임을 입증합니다.
• 강건성(Robustness): RAG 구성 요소는 코드 변이(변수 이름 변경, 데드 코드 삽ocation, 주석 변경)에 대해 높은 강건성을 보였으며, 모든 변이 유형에 대해 Recall@3 92% 이상을 유지했습니다.

의의 및 주장

본 논문은 SCALM이 스마트 계약 분석에서 전통적인 패턴 매칭 방식에서 **의미론적 이해(semantic understanding)**로의 패러다임 전환을 나타낸다고 주장합니다. 계층적 추상화를 통해 저수준 코드 취약점과 고수준 보안 설계 원칙 사이의 간극을 메움으로써, 프레임워크는 더욱 포괄적인 감사 역량을 제공합니다.

저자들은 LLM이 큰 잠재력을 보여주지만 만능 해결책은 아니라는 점을 강조합니다. 성능은 모델마다 다르며, 프레임워크는 선택된 LLM(예: GPT-4o)의 특정 강점에 의존합니다. 결론적으로 SCALM은 개발자에게 나쁜 관행을 식별하고 수정할 수 있는 강력한 도구를 제공하여 스마트 계약 생태계의 전반적인 보안과 유지보수성을 향상시킨다고 밝히고 있습니다. 이 연구는 진화하는 스마트 계약 취약성을 해결하기 위해 정적 분석 기술과 고급 LLM 추론을 결结合하는 것의 필요성을 강조합니다.