SolAgent: A Specialized Multi-Agent Framework for Solidity Code Generation

기술 요약: SolAgent

문제 정의

스마트 컨트랙트는 수십억 달러 규모의 디지털 자산을 관리하며 탈중앙화 웹의 중추 역할을 수행합니다. 그러나 그 불변성(immutability)으로 인해, 단 하나의 취약점이라도 발생하면 치명적인 금융 손실로 이어질 수 있습니다. 대규모 언어 모델(LLM)이 일반적인 코드 생성 능력에서 숙련도를 보여주었음에도 불구하고, 엄격한 요구사항이 따르는 솔리디티(Solidity) 개발에서는 상당한 어려움을 겪고 있습니다. 현재의 범용 LLM 및 멀티 에이전트 프레임워크는 구문론적으로는 그럴듯하지만 기능적으로는 틀린 코드("환각 현상")를 생성하거나, 미묘한 보안 취약점을 포함하는 경우가 많습니다. 또한, 기존의 에이전트 프레임워크는 도메인 특화 검증 도구와의 통합이 부족하며, 실제 솔리디티 프로젝트의 복잡한 의존성 구조를 처리하지 못해 높은 컴파일 실패율과 불충분한 보안 보증을 초래합니다.

방법론

저자들은 인간 전문가의 스마트 컨트랙트 개발 워크플로우를 모방하도록 설계된 특화된 도구 증강 멀티 에이전트 프레임워크인 SolAgent를 제안합니다. SolAgent는 **이중 루프 정제 메커니즘(dual-loop refinement mechanism)**과 특화된 도구 통합을 통해 단일 패스 생성의 한계를 해결합니다.

핵심 아키텍처

1. 멀티 에이전트 협업: 시스템은 다음과 같은 듀얼 에이전트 아키텍처를 채택합니다:

   • 코딩 에이전트(Coding Agent): 사용자 요구사항을 기반으로 초기 솔리디티 구현체를 생성합니다.
   • 정제 에이전트(Refining Agent): 외부 도구로부터 받은 피드백을 분석하고 버그 수정 및 가스 사용량 최적화를 위해 구현체를 수정함으로써 코드를 반복적으로 개선합니다.

2. 도구 증강 정제 (이중 루프):

   • 내부 루프 (정확성 및 효율성): Forge(Foundry)를 활용하여 코드를 컴파일하고 유닛 테스트를 실행합니다. 에이전트는 컴파일 실패, 테스트 어설션 오류, 스택 트레이스에 대한 피드백을 받아 기능적 정확성을 확보합니다.
   • 외부 루프 (보안): 정적 분석 도구인 Slither를 활용하여 보안 취약점(심각도별 분류)을 탐지합니다. 에이전트는 이 피드백을 사용하여 재진입성(reentrancy)이나 정수 오버플로우와 같은 문제를 해결합니다.
   • 컨텍스트 인지(Context Awareness): 에이전트들은 파일 시스템 도구(디렉토리 목록, 파일 읽기)를 갖추어 프로젝트 구조를 탐색하고, 의존성을 해결하며, 코드베이스의 컨텍스트를 이해할 수 있습니다. 이는 일반적인 에이전트들에게서 흔히 결여되는 능력입니다.

3. 동적 중단 메커니즘: 무한 루프나 성능 저하를 방나하기 위해 프레임워크는 동적 중단 알고리즘을 사용합니다. 정제는 다음의 경우 중단됩니다:

   • 모든 테스트가 통과하고 심각한 취약점이 남아있지 않은 경우 (성공).
   • $N$ 회 연속으로 통과율이 정체되는 경우.
   • 연속된 라운드 간의 피드백 유사도가 임계값을 초과하는 경우 (에이전트가 루프에 빠졌음을 나타냄).

4. 워크플로우 증류(Workflow Distillation): 접근성을 높이고 계산 비용을 줄이기 위해, 저자들은 SolAgent가 생성한 고품질 상호작용 궤적(trajectories)을 더 작은 오픈 소스 모델(Qwen3-8B)로 증류합니다. 이를 위해 두 가지 데이터 전략을 사용합니다:

   • 전체 컨텍스트(Full-Context): 상세하게 레이블링된 인간의 요구사항을 사용합니다.
   • 압축 컨텍스트(Compressed-Context): 토큰 효율성을 높이기 위해 요약된 기능적 요구사항을 사용합니다.
     증류된 모델은 단일 패스로 안전하고 정확한 코드를 생성하도록 훈련되어, 멀티 에이전트의 지능을 효과적으로 "압축"합니다.

주요 기여

1. 도구 증강 멀티 에이전트 프레임워크: SolAgent는 도메인 특화 컴파일(Forge) 및 정적 분석(Slither) 도구를 엔드 투 엔드 스마트 컨트랙트 생성 및 정제 워크플로우에 직접 통합한 최초의 프레임워크로 제시됩니다.
2. 이중 루프 정제 메커니즘: 기능적 정확성과 보안을 동시에 최적화하는 메커니즘을 도입하여, 모델이 흔히 하나를 위해 다른 하나를 희생하게 되는 단일 패스 생성의 "불가능한 삼각형" 문제를 해결합니다.
3. 광범-한 평가 및 증류: 저자들은 SolEval+ 벤치마크(고품질 실제 프로젝트에서 파생됨)에서 새로운 SOTA(State-of-the-Art)를 구축하였으며, SolAgent가 생성한 궤적이 더 작은 오픈 소스 모델로 능력을 효과적으로 증류할 수 있음을 입증했습니다.

실험 결과

실험은 81개의 파일과 1,188개의 실행 가능한 테스트 케이스로 구성된 SolEval+ 벤치마크에서 수행되었습니다.

• 기능적 정확성: SolAgent는 (Claude-Sonnet-4.5를 베이스로 사용하여) **Pass@1 비율 64.39%**를 달 기록하며, 일반적인 LLM(25%), GitHub Copilot과 같은 AI IDE, 그리고 기존 에이전트 프레임워크(예: MetaGPT, Qwen-Agent)를 크게 앞질렀습니다. 또한 베이스라인의 3045%와 비교하여 90% 이상의 컴파일 성공률을 유지했습니다.
• 보안: 인간이 작성한 베이스라인과 비교했을 때, SolAgent는 보안 취약점을 최대 39.77% 감소시켰습니다 (특히 GPT-5-Mini 사용 시). Slither 피드백을 제거했을 때 취약점이 크게 증가하는 것을 통해 Slither 피드백 통합의 중요성이 입증되었습니다 ("Min-Vuln" 분석 기준).
• 가스 효율성: SolAgent는 베이스라인 대비 1.0에 가까운 절단 평균(trimmed mean) 비율을 유지하며 경쟁력 있는 가스 효율성을 보여주었습니다. 이는 정확성과 보안에 집중하는 과정에서 과도한 가스 소비가 발생하지 않았음을 나타냅니다.
• 증류 효과: 증류된 Qwen3-8B 모델(SolAgent-tracker-v2)은 Pass@1 1.31%를 달성하여 훨씬 더 큰 Qwen3-32B 모델의 성능과 일치하는 모습을 보였으며, 이는 에이전트 궤적을 더 작은 모델로 전이하는 것의 효용성을 입증합니다.

의의 및 주장

본 논문은 Sol-Agent가 LLM의 생성 능력과 블록체인 개발의 엄격한 정확성 및 보안 요구사항 사이의 간극을 메움으로써 자동화된 스마트 컨트랙트 생성 분야에서 중요한 진전을 이루었다고 주장합니다.

• 신뢰성: 반복적인 정제와 도구 사용을 통해 인간 전문가의 워크플로우를 모방함으로써, SolAgent는 문법적으로 올바를 뿐만 아니라 기능적으로 견고하고 안전한 코드를 생성합니다.
• 접근성: 증류 결과는 복잡한 멀티 에이전트 시스템의 고품질 추론 프로세스가 더 작은 오픈 소스 모델로 전이될 수 있음을 시사하며, 이를 통해 소규모 조직과 개인 개발자들이 더 안전한 스마트 컨트랙트 생성을 더 쉽고 비용 효율적으로 이용할 수 있게 합니다.
• 도메인 특화: 본 연구는 "도메인 불일치(domain mismatch)" 해결책의 필요성을 강조하며, 전문적인 검증 루프와 컨텍스트 인지 도구 통합 없이는 범용 에이전트가 솔리디티와 같은 고위험 환경에서 실패한다는 점을 논증합니다.

저자들은 SolAgent가 새로운 SOTA를 구축했지만, 향후 연구는 복잡한 멀리-컨트랙트(multi-contract) 시스템을 지원하고 더욱 강력한 보안 보증을 위해 형식 검증(formal verification) 도구를 통합하는 데 집중할 것이라고 결론지었습니다.