Prompt to Pwn: Automated Exploit Generation for Smart Contracts

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 스마트 계약은 디지털 금융의 핵심이지만, 일단 배포되면 수정이 불가능하여 취약점이 발견되더라도 패치하기 어렵습니다. 기존 연구는 주로 LLM(대형 언어 모델) 을 활용한 취약점 탐지 (Detection) 에 집중해 왔습니다.
• 문제: 취약점 탐지와 달리 자동화된 익스플로잇 생성 (Automated Exploit Generation, AEG) 은 실행 가능한 공격 코드를 생성하고 이를 실행 환경에서 검증해야 하므로 훨씬 더 복잡한 과제입니다.
  • 현재 LLM 이 실제 공격자 ("Script Kiddies") 가 되어 스마트 계약 생태계에 해를 끼칠 수 있는지에 대한 체계적인 평가가 부족합니다.
  • 기존 도구 (Slither, Mythril 등) 는 정적 분석에 의존하여 정확도가 낮거나 확장성이 부족합니다.
• 연구 목표: 최신 LLM 이 스마트 계약 취약점에 대해 얼마나 효과적으로 자동화된 익스플로잇 (PoC) 을 생성할 수 있는지, 그리고 어떤 요인이 그 성능에 영향을 미치는지 실증적으로 분석하는 것입니다.

2. 방법론 (Methodology: ReX Framework)

저자들은 ReX라는 새로운 프레임워크를 제안하여 LLM 기반의 익스플로잇 생성을 Foundry(스마트 계약 테스트 스택) 와 연동했습니다.

• ReX 워크플로우:

  1. 데이터 전처리: 취약한 솔리디티 (Solidity) 계약서에서 노이즈를 제거합니다.
  2. 스크립트 생성: LLM 에게 프롬프트를 입력하여 두 가지 Foundry 스크립트를 생성하게 합니다.
     • Exploit Contract: 취약점을 악용하는 로직.
     • Test Contract: 공격이 성공했는지 검증하는 테스트.
  3. 자동 수정 (Optional): 생성된 코드에서 일반적인 컴파일 오류 (EIP-55 주소 체크섬 누락, payable 캐스팅 누락 등) 를 자동으로 수정합니다.
  4. 컴파일 및 테스트: Foundry 를 사용하여 로컬 환경에서 코드를 컴파일하고 실행합니다.
  5. 반복 피드백 루프: 컴파일 실패나 테스트 실패 시 오류 메시지를 LLM 에게 다시 입력하여 수정을 요청합니다 (최대 재시도 횟수 제한).

• 평가 데이터셋:

  • SmartBugs-Curated: 통제된 벤치마크용 기존 데이터셋.
  • Web3-AEG: 2021~2025 년 실제 발생한 38 건 이상의 고위험 사고 (Bybit, Pine Protocol 등) 에 대한 전문가가 작성한 PoC 와 소스 코드를 포함한 새로운 데이터셋.

• 평가 모델: GPT-4.1, Gemini 2.5 Pro, Claude Opus 4, DeepSeek-R1, Qwen3-Plus 등 5 개의 최신 LLM 평가.

• 성공 기준: Foundry 샌드박스 환경에서 실행 가능한 PoC 가 생성되어 클래스 레벨의 안전성 불변성 (Safety Invariant) 을 위반하는지 여부.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 실증 연구: 통합 벤치마크 및 검증 파이프라인 하에서 스마트 계약용 LLM 기반 자동화된 익스플로잇 생성 (AEG) 을 평가한 최초의 연구입니다.
2. ReX 프레임워크 및 데이터셋 공개: LLM 기반 AEG 평가를 위한 ReX 프레임워크와 실제/합성 취약점을 포함한 공개 데이터셋 (Web3-AEG) 을 구축했습니다.
3. 성능 한계 및 영향 요인 규명: LLM 의 성능이 주로 모델 자체의 능력과 취약점 유형에 의존하며, 코드 구조나 프롬프트 튜닝의 영향은 제한적임을 밝혔습니다.
4. 방어 전략 제안: LLM 기반 공격에 대응하기 위한 새로운 방어 기법 (논리 분할, 구조적 복잡성 증가, 가짜 취약점 삽입 등) 을 제안하고 그 효과를 검증했습니다.

4. 실험 결과 (Results)

4.1 LLM 성능 평가

• 전체 성과: 최신 LLM 은 단일 계약 (Single-contract) 내의 취약점에 대해서는 유의미한 PoC 를 생성할 수 있으나, 계약 간 (Cross-contract) 공격에서는 성능이 크게 떨어집니다.
• 모델별 비교:
  • Gemini 2.5 Pro가 가장 높은 성공률 (평균 67.3%) 을 보였으며, 산술 오버플로우 (92.9%) 등 단순 패턴 취약점에서 특히 강했습니다.
  • GPT-4.1과 Claude Opus 4도 양호한 성능을 보였으나, 복잡한 로직 (재진입 등) 에서는 어려움을 겪었습니다.
  • DeepSeek-R1과 Qwen3-Plus는 상대적으로 낮은 성공률을 기록했습니다.
• 반복 수정의 효과: 초기 생성 실패 시 피드백 루프 (Iterative Repair) 를 적용하면 성공률이 약 2 배 (27% → 58%) 향상되었습니다.

4.2 영향 요인 분석 (RQ2)

• 모델 능력 (가장 중요): LLM 의 일반적인 코딩 능력 (Aider, SWE-bench 점수 등) 이 AEG 성공률과 강한 상관관계를 보입니다.
• 취약점 유형: 산술 오버플로우, 시간 조작 등 구조가 단순하고 패턴이 명확한 취약점은 성공률이 높았으나, 재진입 (Reentrancy) 이나 프론트러닝 (Front Running) 등 계약 간 상태 불일치를 요구하는 공격은 실패율이 높았습니다.
• 계약 구조: 코드 길이 (nSLOC) 나 복잡도 점수와 같은 구조적 지표는 LLM 의 공격 성공 여부와 큰 상관관계가 없었습니다.
• 프롬프트 엔지니어링: 프롬프트 최적화는 문법 오류를 줄이는 데 도움이 되지만, LLM 의 추론 능력을 대체할 수는 없어 전체 성공률 향상에는 한계가 있었습니다.

4.3 방어 전략 효과 (RQ3)

• 단일 방어 기법: 논리 분할, 구조적 복잡성 증가, 가짜 취약점 (Decoy) 삽입 등 단일 기법은 성공률을 크게 낮추지 못했습니다.
• 결합 방어 기법: 여러 기법을 결합 (논리 분할 + 구조적 복잡성 + 가짜 취약점 + 저수준 문법 사용) 하면 LLM 의 공격 성공률을 43.8% (Gemini) / 37.5% (GPT) 수준까지 낮출 수 있었습니다.
  • 단, 나쁜 무작위성 (Bad Randomness) 과 시간 조작 (Time Manipulation) 취약점은 여전히 방어하기 어려운 것으로 나타났습니다.

5. 의의 및 결론 (Significance)

• 위험성 경고: 최신 LLM 은 숙련된 공격자가 아니더라도 접근 가능한 API 를 통해 실제 스마트 계약에 대한 자동화된 공격 (PoC) 을 생성할 수 있음을 증명했습니다. 이는 "Script Kiddies"의 공격 능력을 비약적으로 높일 수 있음을 시사합니다.
• 방어의 방향 전환: 기존 취약점 수정이 아닌, LLM 의 분석 비용을 높이는 비대칭적 방어 (Asymmetric Hardening) 전략의 필요성을 강조합니다. 예를 들어, 계약 로직을 분할하거나 LLM 이 이해하기 어려운 저수준 문법을 사용하는 것이 효과적입니다.
• 한계점: 현재 평가는 로컬 Foundry 환경에서 이루어졌으며, 메인넷의 가스 비용, MEV 경쟁, 오라클 조작 등 실제 경제적 공격 조건을 완전히 반영하지는 못했습니다. 또한, LLM 이 생성한 PoC 가 경제적 손실로 이어지는지 여부는 별개의 문제입니다.

요약하자면, 이 논문은 LLM 이 스마트 계약 보안에 있어 '양날의 검'이 될 수 있음을 보여주며, 단순한 취약점 탐지를 넘어 자동화된 공격 생성 능력을 평가하고 이에 대응하는 새로운 방어 패러다임을 제시했습니다.