Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?

이 논문은 기존 EVM 벤치마크의 데이터 오염과 평가 범위 한계를 지적하며, AI 에이전트가 스마트 컨트랙트 취약점을 탐지할 수는 있으나 인간 개입 없이는 완전 자동화된 감사가 불가능함을 입증했습니다.

핵심

이 논문은 **"AI 가 이제 스마트 컨트랙트 **(블록체인 계약)라는 질문에 대해, "아직은 아니지만, 인간과 함께라면 매우 유용한 도구가 될 수 있다"는 결론을 내립니다.

기존의 유명한 테스트 (EVMbench) 가 AI 의 능력을 과대평가했다는 것을 지적하며, 더 엄격한 새로운 테스트를 진행한 내용입니다.

이 복잡한 내용을 세상에서 쉽게 이해할 수 있는 비유로 설명해 드릴게요.

---

🕵️‍♂️ 비유: "초능력 탐정 vs. 실제 범죄 현장"

이 논문의 핵심은 **"시험지 **(EVMbench)를 비교하는 것입니다.

1. 기존 테스트 (EVMbench): "과거 기출문제만 풀던 AI"

기존에 발표된 테스트는 AI 들에게 **과거에 이미 해결된 120 개의 범죄 사건 **(코드 취약점)을 풀게 했습니다.

• 결과: AI 가 45% 의 범죄를 찾아내고, 72% 는 성공적으로 해결했다고 발표되었습니다.
• 세상의 반응: "와! AI 가 이제 보안 감사를 다 대신할 거야! 인간 감사는 끝났다!"라는 소문이 돌았습니다.
• 논문의 지적: 하지만 이 테스트에는 치명적인 문제가 있었습니다.
  • 기출문제 암기: AI 가 훈련할 때 이미 이 사건들을 봤을 가능성이 높습니다. (시험지를 미리 본 것과 같죠.)
  • 편파적인 환경: AI 가 사용하는 '도구'와 '작업 방식'을 통일하지 않아, AI 자체의 능력인지 도구의 능력인지 구분이 안 됐습니다.

2. 새로운 테스트 (Re-Evaluating): "예상치 못한 실제 범죄 현장"

저희 연구팀은 AI 들에게 **아직 아무도 풀지 못한, 2026 년 2 월 이후에 발생한 22 개의 실제 범죄 **(실제 해킹 사건)을 풀게 했습니다. 이 사건들은 AI 가 훈련할 때 절대 볼 수 없었습니다.

• **결과 1 **(탐지 능력) AI 가 범죄의 '흔적'을 찾는 능력은 나쁘지 않았습니다. 약 65% 는 찾아냈습니다. 하지만 여전히 35% 는 놓쳤습니다.
• **결과 2 **(실제 해결 능력) 이게 핵심입니다. 범죄의 '흔적'을 찾았다고 해서, 그 범죄를 **실제로 해결 **(해킹)한 AI 는 단 한 명도 없었습니다. (0% 성공)
  • 비유: AI 는 "여기 도둑이 들어갈 구멍이 있네요!"라고 말은 잘하지만, 그 구멍을 통해 실제로 돈을 훔쳐오는 시뮬레이션은 전혀 못 합니다.

3. 놀라운 발견: "도구가 더 중요했다?"

기존 테스트에서는 AI 모델 자체의 성능만 비교했는데, 저희는 **AI 가 사용하는 '작업 도구 **(Scaffold)를 바꿔보았습니다.

• 결과: 같은 AI 모델이라도, 오픈소스 도구를 쓰면 **상용 **(비밀)보다 훨씬 잘 풀었습니다.
• 비유: 같은 천재 요리사라도, **고급 칼 **(상용 도구)을 쓰면 실패하고, **손으로 만든 낡은 칼 **(오픈소스 도구)을 쓰면 요리를 잘한다는 뜻입니다. 즉, AI 의 실력보다 어떤 도구로 일하느냐가 더 중요할 수 있습니다.

---

💡 이 연구가 우리에게 주는 교훈

1. "완전한 자동화는 아직 멀었다"

"AI 가 인간 감사를 완전히 대체한다"는 말은 과장입니다.

• AI 는 잘 알려진 흔한 실수 (문자열 누락, 간단한 계산 오류 등)는 잘 찾아냅니다.
• 하지만 복잡하고 새로운 방식의 해킹이나 실제 해킹을 실행하는 단계에서는 아직 인간에게 훨씬 못 미칩니다.

2. "AI 는 훌륭한 '1 차 필터'가 될 수 있다"

AI 를 인간을 대체하는 '최종 심사관'으로 쓰면 안 되지만, **인간이 하기 싫어하는 '1 차 검색'**으로는 아주 훌륭합니다.

• 비유: AI 는 초능력을 가진 경비원입니다. 경비원은 문이 열린 곳 (흔한 실수) 을 바로 찾아내지만, 복잡한 지하 통로를 뚫는 해커 (정교한 해킹) 를 막아내지는 못합니다.
• 추천 방식: **AI 가 먼저 1 차 검색을 하고, 인간 전문가가 그 결과를 받아서 심층 분석을 하는 '협업 **(Human-in-the-loop)이 가장 효과적입니다.

3. "실제 환경에서 테스트해야 한다"

기존 테스트처럼 과거의 기출문제만 풀게 하면 AI 가 너무 잘하는 척합니다. **아직 본 적 없는 새로운 상황 **(실제 해킹 사건)에서 테스트해야 진짜 실력을 알 수 있습니다.

---

📝 한 줄 요약

"AI 는 스마트 컨트랙트 보안에서 '훌륭한 보조 수단'이 될 수 있지만, 아직 인간을 완전히 대체할 '완벽한 감시자'는 아닙니다. AI 가 찾아낸 단서를 인간이 최종적으로 확인하고 해결하는 '팀플레이'가 가장 안전합니다."

이 논문의 저자들은 AI 를 두려워하거나 과신하기보다, AI 와 인간이 어떻게 함께 일할지에 집중해야 한다고 조언합니다.

기술 요약

1. 문제 정의 (Problem Statement)

OpenAI, Paradigm, OtterSec 이 발표한 EVMbench는 스마트 컨트랙트 보안 분야에서 AI 에이전트의 능력을 평가한 최초의 대규모 벤치마크입니다. EVMbench 는 에이전트가 취약점을 45.6% 까지 탐지하고, 선별된 하위 집합의 72.2% 를 악용 (Exploit) 할 수 있다고 결론지으며, "완전 자동화된 AI 감사 (Auditing) 가 곧 현실화될 것"이라는 낙관적인 전망을 제시했습니다.

그러나 본 논문은 EVMbench 의 실험 설계에 두 가지 치명적인 한계가 있음을 지적하며, 그 결론이 과장되었을 수 있다고 주장합니다.

1. 좁고 혼란스러운 평가 범위 (Narrow and Confounded Scope): EVMbench 는 14 가지 에이전트 구성만 테스트했으며, 대부분 모델을 벤더가 제공하는 특정 '스캐폴드 (Scaffold, 도구 및 워크플로우)'와만 짝지어 평가했습니다. 이로 인해 모델 자체의 성능과 도구/워크플로우의 영향이 구분되지 않았습니다.
2. 데이터 오염 및 현실성 부족 (Data Contamination): 평가에 사용된 120 개의 취약점 중 약 36 개는 2025 년 8 월 이전의 Code4rena 감사 보고서에서 비롯되었습니다. 이는 2025 년 말~2026 년 초에 출시된 최신 모델들의 학습 데이터에 포함되었을 가능성이 높아, 모델이 실제 능력을 발휘한 것이 아니라 학습 데이터를 기억 (Memorization) 했을 수 있습니다. 또한, 선별된 대회 데이터는 실제 배포된 환경의 복잡성을 반영하지 못합니다.

2. 방법론 (Methodology)

저자들은 EVMbench 의 인프라를 기반으로 하되, 위 한계를 극복하기 위해 평가 범위를 대폭 확장하고 새로운 데이터셋을 구축했습니다.

• 확장된 에이전트 구성: 14 개에서 26 개의 에이전트 구성으로 확장했습니다. 4 개 모델 패밀리 (Claude, GPT, Gemini, GLM) 와 3 가지 스캐폴드 (Claude Code, Codex CLI, OpenCode) 를 조합하여 모델과 도구의 영향을 분리했습니다.
• 오염 없는 'Incidents' 데이터셋 구축:
  • 모든 평가 모델의 출시일 (2026 년 2 월 19 일) 이후 발생한 22 개의 실제 보안 사고 (Real-world Incidents) 를 수집했습니다.
  • 이 데이터는 학습 데이터에 포함되지 않았으며, 실제 온체인 (On-chain) 에서 발생한 금융 손실이 확인된 사례들입니다.
  • 각 사고는 하나의 명확한 취약점과 악용 시나리오를 포함하며, 실제 공격 환경 (포크된 체인 상태, 힌트 없음, 수익성 있는 트랜잭션 실행 필요) 에서 평가됩니다.
• 평가 모드: EVMbench 의 3 가지 모드 중 탐지 (Detect) 와 악용 (Exploit) 에 집중했습니다. 패치 (Patch) 는 탐지 난이도로 환원된다는 기존 연구 결과를 반영하여 제외했습니다.
• 평가자 (Grader) 신뢰성 검증: 모델 기반 평가자 (GPT-5 등) 의 일관성을 검증하여, 새로운 평가자 모델이 기존 결과와 99.2% 일치함을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. EVMbench 의 재평가: 더 넓은 모델 패밀리와 스캐폴드를 포함한 26 가지 구성에 대한 체계적인 벤치마크 수행.
2. 실제 사고 기반 데이터셋 (Incidents Dataset) 공개: 학습 데이터 오염이 없는 22 개의 실제 보안 사고 데이터셋을 공개하여, 벤치마크 성능이 실제 환경으로 전이되는지 검증.
3. 안정성 및 일반화 가능성 부재 입증: 모델 순위가 데이터셋, 작업 유형, 스캐폴드 선택에 따라 극적으로 변동됨을 보여줌.
4. 실제 악용의 불가능성 입증: 실제 사고 데이터셋에서 어떤 에이전트도 종단간 (End-to-End) 악용에 성공하지 못했음을 증명.

4. 주요 결과 (Key Results)

A. 탐지 (Detect) 성능의 불안정성

• 순위 변동: EVMbench 데이터셋과 새로운 Incidents 데이터셋 사이에서 모델 순위가 크게 뒤바뀌었습니다. 예를 들어, Gemini 3.1 Pro 는 EVMbench 에서 2 위였으나, 실제 사고 데이터셋에서는 최하위 (30.0%) 로 떨어졌습니다.
• 스캐폴드의 영향: 동일한 모델이라도 사용하는 스캐폴드에 따라 성능이 달라졌습니다. 오픈소스 스캐폴드인 OpenCode가 벤더 스캐폴드 (Claude Code, Codex CLI) 보다 최대 5% 포인트 (pp) 더 높은 성능을 보였습니다. 이는 EVMbench 가 모델 성능을 과소/과대 평가할 수 있음을 시사합니다.
• 추론 노력 (Reasoning Effort) 의 비선형성: 더 많은 추론 토큰을 사용한다고 해서 항상 성능이 향상되는 것은 아닙니다. 일부 모델은 낮은 추론 노력에서 더 높은 점수를 기록하기도 했습니다.

B. 악용 (Exploit) 성능의 현실적 한계

• EVMbench vs. 실제 사고: EVMbench 선별된 태스크에서는 최상위 에이전트가 61.1% 의 성공률을 보였으나, 실제 사고 데이터셋 (22 건) 에서는 110 개의 에이전트 - 사고 쌍 중 0 건 (0%) 도 성공적으로 악용하지 못했습니다.
• 발견과 악용의 괴리: EVMbench 는 "발견 (Discovery) 이 병목이다"라고 결론지었으나, 본 연구는 실제 환경에서는 악용 (Exploitation) 자체가 병목임을 보여줍니다. 에이전트는 취약점을 일부 탐지할 수 있지만, 복잡한 프로토콜 상호작용과 온체인 상태 추론을 포함한 실제 공격 시나리오를 구성하는 데 실패했습니다.

C. 사례 연구 (Case Studies)

• 성공 사례: 단순한 접근 제어 누락, 재진입 (Reentrancy), 산술 오버플로우와 같은 잘 알려진 패턴은 대부분의 에이전트가 탐지했습니다.
• 실패 사례: 크로스체인 리플레이 공격, 복잡한 DeFi 프로토콜의 오라클 조작, 중첩된 호출 컨텍스트에서의 상태 불일치 등 도메인 특화적이고 논리적 복잡도가 높은 취약점은 거의 모든 에이전트가 탐지하지 못하거나 악용에 실패했습니다.

5. 의의 및 시사점 (Significance & Implications)

• 완전 자동화 감사의 부재: 현재 AI 에이전트는 스마트 컨트랙트 보안을 완전히 대체할 수 있는 수준이 아닙니다. 탐지 성능이 50% 미만이며, 실제 악용 능력은 0% 에 가깝습니다.
• Human-in-the-Loop 워크플로우의 필요성:
  • 개발자: 배포 전 에이전트 스캔은 유용한 사전 점검 도구이나, 100% 신뢰해서는 안 됩니다.
  • 감사 회사: AI 는 1 차 필터 (First-pass filter) 로서 잘 알려진 취약점을 빠르게 선별하는 데 효과적입니다. 반면, 인간 감사자는 프로토콜 특화 지식, 적대적 추론, 그리고 AI 의 오탐지 (False Positive) 를 필터링하는 역할을 수행해야 합니다.
  • 미래 방향: AI 와 인간의 협업을 통해 AI 가 광범위한 코드 스캔을 담당하고, 인간이 도메인 지식을 제공하여 에이전트의 성능을 극대화하는 하이브리드 워크플로우가 가장 실용적인 접근법입니다.
• 평가 방법론의 개선: 향후 벤치마크는 데이터 오염을 방지하고, 스캐폴드와 추론 노력을 통제 변수로 포함하며, 오탐지 (False Positive) 를 고려한 정밀도 (Precision) 기반 평가가 필수적입니다.

결론적으로, 이 논문은 AI 에이전트가 스마트 컨트랙트 보안에 유망한 도구임을 인정하면서도, EVMbench 가 제시한 낙관적인 결론이 실제 환경에서는 성립하지 않음을 데이터로 증명했습니다. AI 는 인간 감사자의 능력을 보조하는 '힘의 배가 (Force Multiplier)'가 될 수 있지만, 아직은 인간 판단을 대체할 수 없습니다.