EVMbench: Evaluating AI Agents on Smart Contract Security

이 논문은 117 개의 취약점을 기반으로 스마트 계약의 취약점 탐지, 수정 및 악용 능력을 평가하는 벤치마크인 'EVMbench'를 소개하고, 최첨단 AI 에이전트들이 실제 블록체인 환경에서 취약점을 종단 간으로 발견하고 악용할 수 있음을 입증합니다.

핵심

🛡️ EVMbench: AI 와 스마트 계약의 '해킹 대결' 보고서

이 논문은 **"인공지능 (AI) 이 이제 얼마나 똑똑해져서, 블록체인上面的 (온체인) 금융 시스템을 해킹하거나, 반대로 그 시스템을 보호할 수 있을까?"**라는 질문에 답하기 위해 진행된 실험 결과입니다.

마치 AI 에게 '금융 범죄'와 '보안 수사'를 동시에 시켜본 시험이라고 생각하시면 됩니다.

---

1. 배경: 왜 이런 실험을 했을까요? 🤔

• 현실: 요즘 블록체인 (이더리움 등) 에는 수천억 달러의 돈이 걸려 있습니다. 이 돈은 '스마트 계약'이라는 자동화된 프로그램이 관리합니다.
• 위험: 이 프로그램에 작은 버그 (오류) 하나만 있어도, 해커가 그 틈을 타면 돈이 순식간에 사라집니다.
• 질문: 이제 AI 가 코드를 읽고, 버그를 찾고, 심지어 그 버그를 이용해 돈을 빼내는 '해킹'까지 할 수 있을까요? 만약 AI 가 해킹을 잘한다면, 우리는 AI 를 어떻게 막아야 할까요?

2. 실험 도구: EVMbench 🧪

연구진은 EVMbench라는 새로운 시험지를 만들었습니다. 이는 AI 에이전트 (로봇 같은 AI) 에게 세 가지 미션을 주는 방식입니다.

🕵️ 미션 1: 탐지 (Detect) - "수사관 되기"

• 상황: AI 에게 복잡한 금융 프로그램 (스마트 계약) 코드를 줍니다.
• 과제: "이 코드에 돈이 털릴 수 있는 치명적인 구멍이 어디 있는지 찾아보고 보고서 써줘."
• 평가: 실제 전문가들이 이미 찾아낸 구멍을 얼마나 많이 찾아냈는지 점수를 매깁니다.

🛠️ 미션 2: 패치 (Patch) - "수리공 되기"

• 상황: 구멍이 뚫린 코드를 줍니다.
• 과제: "돈이 새지 않도록 코드를 고쳐줘. 하지만 원래 기능은 그대로 작동하게 해야 해."
• 평가: 고친 코드가 정상적으로 작동하는지, 그리고 해커가 다시 그 구멍을 이용할 수 없는지 테스트합니다.

💸 미션 3: 해킹 (Exploit) - "해커 되기" (가장 위험한 부분)

• 상황: AI 에게 실제 돈을 가진 지갑 (가상 화폐) 과 해킹할 코드를 줍니다.
• 과제: "이 시스템의 구멍을 찾아서, 내 지갑으로 돈을 빼내봐."
• 평가: AI 가 실제로 블록체인 위에서 거래를 실행해 돈을 가져오면 성공입니다.
  • 주의: 이 실험은 실제 메인넷이 아니라, **가상의 안전한 실험실 (로컬 체인)**에서 이루어져서 실제 돈은 안전합니다.

---

3. 재미있는 비유: "치킨집의 자동 주문기" 🍗

이 실험을 이해하기 쉽게 치킨집 자동 주문기에 비유해 볼까요?

1. 스마트 계약: 치킨 주문기. 돈만 넣으면 자동으로 치킨을 줍니다.
2. 버그 (Vulnerability): 주문기 내부에 "돈을 넣기 전에 치킨을 먼저 주는" 오류가 있습니다.
3. AI 수사관 (Detect): "이 주문기, 돈 안 넣어도 치킨이 나올 수 있네요! 여기 구멍이 있어요!"라고 보고합니다.
4. AI 수리공 (Patch): "알겠습니다. '돈을 먼저 확인'하는 로직을 추가해서 고치겠습니다."라고 코드를 수정합니다.
5. AI 해커 (Exploit): "이 주문기, 돈 넣기 전에 치킨을 먼저 줍니다. 제가 이걸 이용해 치킨을 100 마리나 가져가겠습니다!"라고 실제로 치킨을 가져옵니다.

EVMbench 는 AI 가 이 세 가지 역할을 얼마나 잘 수행하는지 측정하는 것입니다.

---

4. 실험 결과: AI 는 얼마나 똑똑할까요? 📊

연구진은 최신 AI 모델들 (OpenAI 의 o3, GPT-5 계열, Claude, Gemini 등) 을 시험에 붙였습니다.

• 놀라운 사실: AI 는 단순히 코드를 읽는 것을 넘어, 실제 블록체인 위에서 돈을 빼내는 해킹 (Exploit) 을 성공적으로 수행했습니다.
  • 특히 GPT-5.3-Codex라는 모델이 해킹 미션에서 가장 잘했습니다. (약 71% 성공률)
  • Claude Opus 4.6은 수사관 (Detect) 역할에서 가장 잘했습니다. (약 46% 성공률)
• 중요한 발견:
  • AI 는 버그를 찾는 것과 해킹하는 것은 별개의 능력입니다. 어떤 AI 는 버그를 잘 찾지만 해킹은 못 하기도 하고, 그 반대도 있습니다.
  • 힌트 (Hint) 를 주면: AI 가 "어디를 봐야 해?"라고 힌트를 받으면 해킹 성공률이 급격히 올라갑니다. 즉, AI 는 해킹 방법 자체는 알고 있지만, **어디서 버그를 찾아낼지 (탐색)**가 가장 어려운 부분입니다.
  • 도구의 중요성: AI 모델 자체의 능력도 중요하지만, AI 가 코드를 실행하고 테스트할 수 있는 **환경 (도구)**을 어떻게 만들어주느냐에 따라 결과가 크게 달라집니다.

5. 결론과 경고 🚨

이 연구는 두 가지 중요한 메시지를 줍니다.

1. 위험 신호: AI 가 이제 충분히 똑똑해져서, 악의적인 해커가 AI 를 이용해 블록체인을 공격하면 막대한 금전적 손실이 발생할 수 있습니다.
2. 희망 신호: 반대로, AI 를 잘 활용하면 해킹하기 전에 미리 구멍을 찾아내고 막아주는 강력한 보안관이 될 수도 있습니다.

요약하자면:

"AI 는 이제 블록체인 세계의 '해커'이자 '수사관'이 될 수 있는 능력을 갖췄습니다. 우리는 이 능력을 어떻게 통제하고, 방어에 활용할지 준비해야 합니다. EVMbench 는 그 능력을 측정하는 첫 번째 자물쇠입니다."

이 논문은 AI 의 보안 능력을 지속적으로 추적하고, 더 안전한 블록체인 세상을 만들기 위해 이 데이터를 공개했다고 합니다.

기술 요약

EVMbench: 스마트 계약 보안 평가에 대한 AI 에이전트 성능 분석 (기술 요약)

OpenAI, Paradigm, OtterSec 의 연구자들이 공동으로 발표한 EVMbench는 AI 에이전트가 이더리움 가상 머신 (EVM) 기반 스마트 계약의 취약점을 **발견 **(Detect), **패치 **(Patch), 그리고 **악용 **(Exploit)할 수 있는 능력을 종합적으로 평가하는 벤치마크 프레임워크입니다. 이 논문은 AI 의 사이버 보안 능력이 급격히 향상됨에 따라, 블록체인과 같은 고가치 금융 인프라에서의 위험과 기회를 정량화하는 방법론을 제시합니다.

---

1. 문제 정의 (Problem)

• 금융적 위험: 공개 블록체인 상의 스마트 계약은 수천억 달러의 자산을 관리하며, 취약점은 되돌릴 수 없는 즉각적인 자금 손실로 이어집니다.
• AI 의 이중적 역할: AI 모델이 코드 분석 및 생성 능력을 향상함에 따라, 악의적인 행위자가 AI 를 이용해 스마트 계약을 악용하여 막대한 자금을 탈취할 수 있는 위험이 커지고 있습니다. 반면, AI 는 보안 강화와 취약점 예방에도 활용될 수 있습니다.
• 기존 평가의 한계: 기존 사이버 보안 벤치마크는 전통적인 웹 취약점 (CVE 등) 에 집중하거나, 단순화된 환경에서 특정 하위 작업만 평가했습니다. 실제 스마트 계약의 탐지, 수정, 악용의 전체 수명주기를 평가하고, 블록체인 특유의 결정론적 실행 환경과 경제적 인센티브를 반영한 평가 도구는 부족했습니다.

2. 방법론 (Methodology)

EVMbench 는 40 개의 실제 감사 (Audit) 리포지토리에서 선별된 117 개의 고위험 취약점을 기반으로 구성되었습니다. 평가는 세 가지 주요 모드로 나뉘며, 각각 다른 평가 기준을 가집니다.

2.1 평가 모드

1. **탐지 **(Detect)
   • 목표: 에이전트가 코드베이스를 분석하여 고위험 취약점을 식별하고 감사 보고서를 작성하는 능력 평가.
   • 평가: Ground-truth(실제 감사 보고서) 와 에이전트의 보고서를 비교하여 취약점 회수율 (Recall) 을 측정합니다. 모델 기반 판정자 (Model-based Judge) 가 보고서의 정확성을 평가하며, 실제 감사 보상금 (Audit Reward) 을 기반으로 점수를 산정합니다.
2. **패치 **(Patch)
   • 목표: 식별된 취약점을 수정하여 기능을 유지하면서 악용을 방지하는 능력 평가.
   • 평가: 에이전트가 수정한 코드가 기존 테스트 (취약 논리를 제외) 를 통과하는지 확인하고, 새로운 악용 테스트 (Exploit Tests) 를 통해 취약점이 더 이상 악용되지 않는지 검증합니다.
3. **악용 **(Exploit)
   • 목표: 에이전트가 로컬 이더리움 체인 인스턴스에 연결되어, 자금 탈취 (Fund Drain) 를 포함한 엔드 - 투 - 엔드 악용을 성공적으로 수행하는지 평가.
   • 평가: 에이전트가 생성한 트랜잭션 시퀀스를 격리된 컨테이너에서 재실행 (Replay) 하고, 체인 상태 (Balance, Events) 의 변화를 통해 성공 여부를 판단합니다. 이는 실제 공격과 유사한 환경에서 에이전트의 실질적 능력을 측정합니다.

2.2 기술적 인프라

• Rust 기반 재실행 프레임워크: 에이전트의 트랜잭션을 로컬 Anvil 노드에서 재실행하여 빠르고 재현 가능한 평가를 가능하게 합니다.
• 보안 강화: 에이전트가 체인 상태를 직접 조작하거나 (예: anvil_setBalance), 비정상적인 RPC 메서드를 호출하는 것을 방지하기 위해 veto 프록시 서비스를 도입하여 공격 표면 (Attack Surface) 을 현실적으로 제한했습니다.
• 데이터셋: Code4rena 와 같은 플랫폼의 실제 감사 리포트와 Tempo 블록체인 관련 시나리오를 포함하여 현실적인 코드베이스와 제약 조건을 유지합니다.

3. 주요 기여 (Key Contributions)

1. EVMbench 프레임워크 도입: 스마트 계약 보안의 전 과정 (탐지, 수정, 악용) 을 평가하는 최초의 포괄적인 벤치마크를 제시했습니다. 특히 '악용' 모드에서 온체인 이벤트와 잔액 변화를 기반으로 한 프로그래밍 가능한 평가 방식을 도입했습니다.
2. Rust 기반 평가 도구 개발: 에이전트의 행위를 격리된 환경에서 재실행하고 채점하는 도구를 개발하여, 평가의 신뢰성과 재현성을 확보했습니다.
3. 실제 고위험 취약점 데이터셋: 실제 감사에서 발견된 117 개의 고위험 취약점과 이에 대한 오라클 (Oracle) 패치 및 악용 코드를 구축하여, 현실적인 평가 환경을 조성했습니다.
4. 프런티어 에이전트 평가 및 분석: 최신 AI 모델 (GPT-5, Claude Opus, Gemini 등) 을 평가하여 성능을 비교하고, 실패 모드 (Failure Modes) 와 추론 과정 (Rollouts) 에 대한 정성적 분석을 제공했습니다.
5. 오픈 소스: 데이터셋, 평가 하네스, 도구를 공개하여 향후 보안 연구와 AI 능력 측정을 지원합니다.

4. 실험 결과 (Results)

• 모델 성능:
  • **탐지 **(Detect) Claude Opus 4.6이 가장 높은 점수 (45.9%) 를 기록했습니다.
  • **패치 **(Patch) GPT-5.3-Codex가 가장 높은 점수 (41.7%) 를 기록했습니다.
  • **악용 **(Exploit) GPT-5.3-Codex가 가장 높은 점수 (71.0%) 를 기록했으며, 이는 에이전트가 실제 블록체인 환경에서 자금을 탈취하는 데 성공했음을 의미합니다.
• **힌트 **(Hint)
  • 취약점의 위치나 메커니즘에 대한 힌트를 제공하면 (Medium/High Hint), 패치 및 악용 성능이 급격히 향상되었습니다. 이는 에이전트의 핵심 병목 현상이 **취약점 발견 **(Discovery)에 있으며, 발견만 되면 수정이나 악용 로직은 상대적으로 잘 수행함을 시사합니다.
• 토큰 효율성: GPT-5.3-Codex 는 높은 성능을 유지하면서도 상대적으로 적은 출력 토큰을 사용하여 효율성이 뛰어났습니다.
• 실패 모드: 에이전트는 종종 단일 취약점만 발견하고 나머지는 놓치거나 (Coverage 부족), 악용 트랜잭션을 구성하는 데 실패하거나, 실행 중 자금을 잃고도 이를 인지하지 못하는 등의 오류를 보였습니다.

5. 의의 및 결론 (Significance)

• 보안과 위험의 정량화: EVMbench 는 AI 가 스마트 계약 보안에 기여할 수 있는 잠재력과 동시에, 악의적 사용 시 발생할 수 있는 경제적 피해를 정량적으로 측정할 수 있는 기준을 마련했습니다.
• 실제 공격 시나리오 평가: 단순한 코드 분석을 넘어, 실제 블록체인 환경에서 자금을 탈취하는 '악용' 능력을 평가함으로써 AI 의 위험 수준을 현실적으로 파악할 수 있게 되었습니다.
• 향후 방향: 현재는 EVM 호환 체인 (Solidity) 에 국한되어 있으나, Solana(Rust 기반) 나 크로스체인 브리지, MEV(최소 추출 가능 가치) 전략 등으로 범위를 확장할 필요가 있음을 제안합니다.
• 책임 있는 AI 개발: 이 벤치마크는 AI 모델의 취약점 탐지 및 수정 능력을 지속적으로 모니터링하고, 보안 강화에 활용되도록 유도하는 데 필수적인 도구로 작용할 것입니다.

결론적으로, EVMbench 는 AI 에이전트가 고가치 금융 인프라를 대상으로 얼마나 정교하게 행동할 수 있는지를 보여주는 중요한 이정표이며, 향후 AI 보안 연구와 방어 전략 수립의 기초가 될 것입니다.