기술 요약: PoCo – 스마트 계약을 위한 에이전트 기반 개념 증명 (PoC) 악용 생성

1. 문제 정의

스마트 계약은 취약점으로 인해 막대한 금전적 손실 (2025 년 10 월 기준 약 150 억 달러) 로 이어질 수 있는 매우 적대적인 환경에서 작동합니다. 보안 감사는 이러한 결함을 식별하는 데 필수적이지만, 취약점을 시연하는 실행 가능한 테스트인 개념 증명 (PoC) 악용 코드를 생성하는 과정은 주요 병목 현상입니다.

수동으로 PoC 를 생성하는 것은 시간이 많이 소요되고 오류가 발생하기 쉬우며, 종종 엄격한 감사 일정으로 인해 제약を受습니다. 기존 자동화 접근 방식은 몇 가지 한계를 겪고 있습니다:

• 실행 가능한 테스트 코드 대신 블록체인 트랜잭션 시퀀스를 생성하는 경우가 많습니다.
• 직접적인 금전적 인출이 가능한 취약점에만 초점을 맞추고, 접근 제어 또는 논리 오류는 무시합니다.
• 실제 세계의 멀티-계약 소프트웨어 프로젝트의 특정 상황에 적응할 수 없는 고정된 파이프라인에 의존합니다.

해결된 핵심 문제는 감사관이 작성한 고수준의 자연어 취약점 설명에서 실제 세계의 Solidity 스마트 계약을 대상으로 실행 가능한 PoC 악용 코드를 자동 생성하는 것입니다.

2. 방법론: PoCo 프레임워크

PoCo 는 Foundry 기반 테스트 코드를 자율적으로 생성하도록 설계된 에이전트 프레임워크입니다. 정적 코드 생성 도구와 달리 PoCo 는 Reason-Act-Observe(추론-행동-관찰) 루프 내에서 단일 대규모 언어 모델 (LLM) 에이전트로 작동합니다.

2.1 에이전트 아키텍처

PoCo 는 LLM 을 일련의 외부 도구와 결합하여 자율성을 달성합니다:

• 기본 도구: 파일 시스템 검색 (glob, grep), 읽기, 편집/쓰기.
• 계획 도구: 작업 진행 상황을 추적하기 위한 경량 Todo 인터페이스.
• 스마트 계약 도구:
  • smart-contract-compile: Foundry 의 Forge 를 사용하여 Solidity 계약을 컴파일합니다.
  • smart-contract-test: 생성된 PoC 를 취약한 코드베이스에 대해 실행합니다.
• 환경: 모든 코드 실행은 안전성과 재현성을 보장하기 위해 격리된 Docker 컨테이너 내에서 발생합니다.

2.2 운영 루프

에이전트는 ReAct 스타일의 루프를 따릅니다:

1. 추론: 에이전트는 취약점 설명과 대상 코드베이스를 분석합니다.
2. 행동: 특정 함수 검색, 테스트 파일 작성, 컴파일 등 도구를 선택하고 실행합니다.
3. 관찰: 도구로부터 피드백 (예: 컴파일 오류, 테스트 실패) 을 받습니다.
4. 정제: 피드백에 기반하여 에이전트는 테스트가 컴파일되고 어설션 (assertion) 을 통과할 때까지 구문, 논리 또는 상태 설정을 반복적으로 수정합니다.

이 시스템은 설명 가능성, 취약점 분석, Foundry 특정 기능(예: vm.prank), 실행 가능성, 그리고 반복적 정제를 강조하는 시스템 프롬프트에 의해 안내됩니다.

2.3 평가 방법론

저자들은 2022~2025 년의 23 개 실제 세계 취약점 보고서를 포함하는 새로운 데이터셋인 PRoof-of-Patch에서 PoCo 를 평가했습니다.

• RQ1 (형식적 완성도): 생성된 PoC 가 컴파일되고 실행될 수 있는가? 성공은 성공적인 컴파일과 테스트 어설션 통과로 정의됩니다.
• RQ2 (논리적 정확성): PoC 가 실제로 취약점을 시연하는가? 저자들은 새로운 패치 기반 검증 오라클을 도입했습니다: PoC 는 취약한 코드를 성공적으로 악용하지만 개발자의 실제 완화 패치 (ground-truth mitigation patch) 에 대해 실행될 때는 차단될 때 논리적으로 올바른 것으로 간주됩니다.
• RQ3 (주석 민감도): 감사관의 설명 수준 (고수준 vs 상세 vs 절차적) 이 성공에 어떤 영향을 미치는가?

기저 모델 (Baselines) 에는 Zero-shot 프롬프팅(단일 시도) 과 워크플로우 프롬프팅(피드백이 있는 고정 2 단계 파이프라인이지만 자율적 계획은 없음) 이 포함되었습니다.

3. 주요 기여

1. PoCo 프레임워크: 코드베이스를 자율적으로 탐색하고, 상태를 관리하며, 악용 코드를 반복적으로 디버깅하는 에이전트 기반 AI 주도 PoC 생성을 위한 청사진.
2. PRoof-of-Patch 데이터셋: 자동화된 정확성 검증을 가능하게 하는 23 개 실제 세계 취약점과 해당 완화 패치 및 소스 코드를 연결하는 고품질 오픈소스 데이터셋.
3. 새로운 검증 방법론: 개발자가 제공한 패치를 독립적인 오라클로 사용하여 수동 검사 없이 생성된 PoC 의 논리적 정확성을 자동으로 검증하는 기술.
4. 실증적 증거: 에이전트 프레임워크가 고품질 PoC 생성에서 비에이전트 기저 모델보다 훨씬 뛰어난 성능을 보인다는 것을 입증한 실험 캠페인.

4. 실험 결과

평가에는 Claude Sonnet 4.5, OpenAI o3, GLM 4.6이라는 세 가지 최첨단 LLM 이 사용되었습니다.

• 형식적 완성도 (RQ1):

  • Zero-shot: 69 번 시도 중 4 개의 형식적 PoC 만 생성 (대부분 컴파일 실패).
  • 워크플로우: 22 개의 형식적 PoC 생성.
  • PoCo: 50 개의 형식적 PoC 생성 (GLM 16 개, o3 19 개, Claude 15 개). 코드베이스를 탐색하고 반복적으로 디버깅하는 PoCo 의 능력이 주요 차별화 요소였습니다.

• 논리적 정확성 (RQ2):

  • Zero-shot: 3 개의 올바른 악용 코드.
  • 워크플로우: 11 개의 올바른 악용 코드.
  • PoCo: 32 개의 논리적으로 올바른 악용 코드 생성 (o3 14 개, Claude 11 개, GLM 7 개).
  • PoCo 는 최고의 워크플로우 기저 모델보다 거의 세 배 많은 올바른 악용 코드를 생성했습니다.

• 주석 민감도 (RQ3):

  • 성공률은 절차적 > 상세 > 고수준의 위계를 따랐습니다.
  • 그러나 논문은 미묘한 차이를 지적합니다: 일부 경우 (예: #077) 지나치게 구체적인 절차적 지시는 에이전트를 "과도하게 제약"하여 실패로 이어졌으며, 반면 더 높은 수준의 설명은 에이전트가 유연한 해결책을 찾도록 허용했습니다.

5. 중요성과 주장

이 논문은 이 작업에서 원시 모델 능력보다 에이전트 자율성이 더 중요하다고 주장합니다. 가장 능력이 부족한 모델 (GLM 4.6) 조차도 Zero-shot 또는 워크플로우 기저 모델 하에서는 성공적인 PoC 를 전혀 생성하지 못했지만, PoCo 에이전트 루프를 장착한 후에는 16 개의 형식적 PoC 와 7 개의 올바른 악용 코드를 생성했습니다.

저자들은 PoCo 가 스마트 계약 보안 수명주기의 중요한 병목 현상을 해결한다고 강조합니다: 텍스트 기반 취약점 보고서를 실행 가능하고 검증 가능한 테스트 사례로 변환하는 것. 이 과정을 자동화함으로써 PoCo 는 다음을 가능하게 합니다:

• 감사관이 취약점에 대한 부인할 수 없는 실행 가능한 증거를 제공할 수 있습니다.
• 개발자는 문제를 수정하기 위한 즉각적이고 재현 가능한 테스트 사례를 받을 수 있습니다.
• 이해관계자는 위험을 더 잘 평가하고 수정 작업을 우선순위화할 수 있습니다.

이 논문은 PoCo 가 취약점을 자동으로 발견하지는 않지만, 이를 검증하고 문서화하는 데 필요한 노력을 크게 줄여 스마트 계약 감사의 전반적인 보안과 신뢰성을 향상시킨다고 결론지었습니다. 이 작업은 Web3 생태계에서 더 견고하고 자동화된 보안 검증을 향한 한 걸음으로 제시됩니다.