An end-to-end agentic pipeline for smart contract translation and quality evaluation

1. 문제 정의 (Problem)

스마트 계약은 탈중앙화 금융 (DeFi), NFT, DAO 등 블록체인 생태계의 핵심 인프라이나, 개발 과정에서 다음과 같은 심각한 도전 과제가 존재합니다.

• 개발 병목 현상: 도메인 전문가 (법률/비즈니스) 와 Solidity 개발자 간의 소통 부재로 인해 명세 오해와 구현 오류가 빈번하게 발생합니다.
• 높은 실패 비용: 블록체인 상의 배포된 계약은 불변성 (Immutability) 을 가지므로, 배포 후 버그를 수정하는 것은 매우 어렵거나 불가능합니다. (예: DAO 해킹, Parity 지갑 동결 등 막대한 금전적 손실)
• AI 의 이중적 역할: 최근 LLM 은 코드 생성 능력이 뛰어나지만, 동시에 실제 스마트 계약의 취약점을 악용하는 데에도 사용될 수 있어, 생성된 코드의 품질과 보안을 체계적으로 평가할 수 있는 프레임워크의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

이 논문은 CrewAI 스타일의 에이전트 팀을 활용하여 자연어 명세에서 Solidity 코드 생성, 검증, 평가까지 이어지는 7 단계 엔드 - 투 - 엔드 파이프라인을 제안합니다.

핵심 파이프라인 단계

1. 요구사항 명세 에이전트 (Requirement Specification Agent): 자연어 명세를 UniversalContractSchema 구조로 파싱합니다. 당사자, 금융 조건, 시간적 제약, 자산, 의무, 조건 등을 추출하여 도메인 특유의 용어를 보존합니다.
2. Solidity 생성 에이전트 (Generator Agent): 파싱된 스키마를 기반으로 12 가지 핵심 규칙을 준수하여 Solidity 코드를 생성합니다. (예: ERC20 표준 준수, 상태 기계 명시적 강제, 경제적 논리 완전성 등)
3. 보안 감사 에이전트 (Security Auditing Agent): 생성된 코드를 8 가지 주요 취약점 카테고리 (재진입 공격, 접근 제어 결함, 정수 오버플로우 등) 에 대해 LLM 을 통해 분석하고 심각도 (Critical~None) 와 수정 권고안을 생성합니다.
4. 강화 루프 (Reinforcement Loop): 감사 결과에서 'Medium' 이상의 취약점이 발견되면, Refiner Agent가 자동으로 코드를 수정합니다. 최대 2 회 반복되며, 보안이 통과될 때까지 또는 한도에 도달할 때까지 개선합니다.
5. 배포 옵션 (Optional Deployment): 생성된 코드로부터 ABI(Application Binary Interface) 를 추출하고, MCP(Model Context Protocol) 서버를 생성하여 AI 어시스턴트가 배포된 계약과 상호작용할 수 있도록 합니다.
6. 품질 평가 프레임워크: 생성된 계약을 5 가지 차원의 가중치 기반 rubric 으로 평가합니다.
   • 기능적 완성도 (25%), 변수 충실도 (15%), 상태 기계 정확도 (15%), 비즈니스 로직 충실도 (35%), 코드 품질 (10%).
7. Ground Truth 비교: 전문가가 작성한 정답 코드 (Ground Truth) 와 생성된 코드를 비교하여 오차 (Delta) 를 정량화합니다.

3. 주요 기여 (Key Contributions)

1. 다단계 에이전트 파이프라인: CrewAI 기반의 에이전트 팀을 통해 명세 파싱, 코드 생성, 보안 감사, 자동 수정을 통합한 자동화 시스템 구축.
2. 5 차원 품질 평가 체계: 기능적/의미적 충실도에 기반한 정량적 평가 지표와 복합 점수 산출 로직 제시.
3. 에이전트 강화 루프: 보안 취약점을 자동으로 식별하고 수정하는 반복적 개선 메커니즘 도입.
4. Ground Truth 대비 쌍별 평가: 생성 모델과 인간 전문가 구현체 간의 정량적 비교를 통해 오류 모드 (논리 누락, 상태 전환 불일치 등) 를 식별.
5. 재현 가능한 벤치마크 인프라: 모든 단계에서 구조화된 아티팩트와 프로버넌스 (provenance) 메타데이터를 생성하여 연구 재현성 보장.

4. 실험 결과 (Results)

총 9,000 개의 스마트 계약을 대상으로 실험을 수행한 결과는 다음과 같습니다.

• 종합 성능: 평균 복합 점수는 **81.54 점 (B 등급)**이며, 처리 시간은 계약당 약 109.96 초였습니다.
• 컴파일 성공률: 생성된 코드의 **86.54%**가 Solidity 0.8.x 컴파일러를 통과하여 배포 가능한 상태였습니다.
• Ground Truth 대비 성능: 놀랍게도 생성된 계약이 인간 전문가가 작성한 Ground Truth 보다 평균 8.29 점 더 높은 점수를 받았습니다.
  • 이유: LLM 에이전트는 명세에 있는 함수명, 변수명, 상태 레이블을 문자 그대로 (verbatim) 정확하게 따르는 반면, 인간 개발자는 아키텍처 최적화나 가독성을 위해 명세와 다르게 구현하는 경우가 많기 때문입니다.
  • 특히 **상태 기계 정확도 (State Machine Correctness)**에서 생성 코드가 인간 코드보다 18.3% 높게 평가되었습니다.
• 보안 개선 효과: 강화 루프를 통해 'Medium' 이상 심각도의 취약점이 70.9% 감소했고, 치명적 취약점 (Critical) 은 287 개에서 34 개로 88.2% 감소했습니다.
• 복잡도에 따른 성능: 명세 복잡도가 낮을수록 성능이 좋았습니다. (복잡도 낮음: 평균 87.2 점 / 복잡도 높음: 평균 71.8 점). 복잡한 계약일수록 논리 누락 (Logic Omissions) 이 빈번하게 발생했습니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 자동화: 이 프레임워크는 자연어 명세에서 배포 가능한 스마트 계약까지의 과정을 자동화하면서도, 체계적인 보안 감사와 품질 평가를 통해 "침묵하는 결함"이 배포되는 위험을 줄입니다.
• 연구와 실무의 연결: 생성된 코드가 인간 코드보다 명세 충실도 측면에서 더 우수하다는 발견은, LLM 기반의 자동화 접근 방식이 특정 도메인 (명세 준수) 에서 인간을 능가할 수 있음을 시사하며, 향후 인간 - AI 협업 워크플로우의 새로운 방향을 제시합니다.
• 확장성: 현재 프레임워크는 속성 기반 테스트 (Property-based testing), 형식 검증 (Formal verification), 규제 준수 (Compliance) 체크 등 향후 확장을 위한 모듈러 구조를 갖추고 있습니다.

한계점:

• 복잡한 수학적 연산이나 암호학적 원리에서 LLM 의 환각 (Hallucination) 가능성.
• 가스 (Gas) 최적화 평가 지표 부재.
• 매우 복잡한 명세 (8 개 이상의 함수, 5 개 이상의 상태) 에 대한 성능 저하.

결론적으로, 이 연구는 생성형 AI 를 활용한 스마트 계약 개발의 신뢰성을 높이고, 체계적인 품질 평가 기준을 마련했다는 점에서 블록체인 안전성 및 자동화 분야에서 중요한 이정표가 됩니다.