AgentForge: Execution-Grounded Multi-Agent LLM Framework for Autonomous Software Engineering

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 은 코드 생성 능력은 뛰어나지만, 실제 소프트웨어 엔지니어링 작업에서 정확성을 검증하는 데 한계가 있습니다.

• 기존 접근법의 한계: 대부분의 시스템은 코드를 생성하는 것을 1 회성 예측 문제로 간주하거나, 실행을 시뮬레이션하거나 선택적으로만 검증합니다.
• 핵심 문제: 실제 버그 수정은 '계획 - 구현 - 실행 - 테스트 - 수정'의 피드백 루프가 필수적입니다. 하지만 기존 프레임워크는 실제 실행 (Grounded Execution) 을 강제하지 않아, 모델이 생성한 코드의 오류나 회귀 (Regression) 를 신뢰할 수 있게 감지하지 못합니다.
• 시뮬레이션의 위험: 실제 실행 대신 시뮬레이션된 실행 결과를 추론하면 체계적인 오류가 파이프라인 전체로 전파될 수 있습니다.

2. 방법론 (Methodology)

저자들은 "실행 기반 검증 (Execution-Grounded Verification)" 을 최우선 원칙으로 삼아 AgentForge라는 다중 에이전트 프레임워크를 제안합니다.

가. 핵심 아키텍처

시스템은 5 개의 전문화된 에이전트와 공유 메모리, 그리고 강제적인 Docker 샌드박스로 구성됩니다.

1. Planner (계획자): 구조화된 실행 계획을 수립합니다.
2. Coder (코더): 통합 Diff(unified diff) 형식으로 최소한의 패치를 생성합니다.
3. Tester (테스터): 실행 가능한 테스트 케이스를 생성합니다.
4. Debugger (디버거): 실행 피드백 (오류 로그) 을 기반으로 패치를 반복적으로 수정합니다.
5. Critic (비평가): 최종 결과를 검증하고 결정합니다.

나. 실행 기반 반복 정제 (Execution-Grounded Iterative Refinement)

• MDP(마르코프 결정 과정) 모델링: 저장소 상태를 상태 (State), 코드 패치를 행동 (Action) 으로 간주합니다.
• 강제 샌드박스 실행: 생성된 모든 코드 패치는 리소스 제약이 있는 Docker 컨테이너 (512MB RAM, 0.5 CPU, 네트워크 차단) 내에서 실행됩니다.
• 피드백 루프: 테스트 실패 시 Debugger 에이전트가 실제 실행 로그 (stdout/stderr) 를 받아 수정을 시도하며, 최대 3 회까지 반복합니다.
• 이중 검색 (Dual Retrieval):
  • 에피소드 메모리: 과거 성공한 작업과 패치 쌍을 저장하여 유사한 문제 해결에 활용합니다.
  • 저장소 인덱싱: 현재 코드베이스의 실시간 인덱스를 검색하여 기존 인터페이스와 의존성을 정확히 파악합니다.

다. 기술적 특징

• Diff 기반 편집: 전체 파일을 재생성하는 대신 변경된 부분만 패치하여 토큰 비용과 오류 발생 확률을 줄입니다.
• 스트리밍 출력: SSE 및 WebSocket 을 통해 실시간으로 생성 과정을 모니터링할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 실행 기반 검증의 공식화: LLM 기반 소프트웨어 엔지니어링을 모델 내부의 확률 (Likelihood) 이 아닌, 외부 프로그램 실행 결과에 의해 정의되는 반복 정제 문제로 공식화했습니다.
2. 이론적 기반:
   • 실행 신호의 우위: 실행 피드백이 다음 토큰 확률보다 기능적 정확성을 판단하는 더 강력한 감독 신호임을 증명했습니다.
   • 오류 전파 감소: 생성, 테스트, 디버깅을 분리함으로써 단일 에이전트 방식보다 오류 누적을 줄일 수 있음을 이론적으로 보였습니다.
3. AgentForge 프레임워크 구현: 5 에이전트 파이프라인, 이중 검색 시스템, 그리고 모든 코드 변경에 대한 강제 샌드박스 검증을 통합한 오픈소스 시스템을 구축했습니다.

4. 실험 결과 (Results)

SWE-bench Lite (실제 GitHub 이슈 300 개) 를 기준으로 평가했습니다.

• 성능: AgentForge 는 **40.0%**의 해결률 (Resolution Rate) 을 기록했습니다.
  • 단일 에이전트 (GPT-4o) 대비 +26.0%p 향상.
  • ReAct 방식 (GPT-4o) 대비 +28.0%p 향상.
  • 기존 SWE-agent(18.1%) 보다도 월등히 높은 성능을 보였습니다.
• Ablation Study (성분 분석):
  • 모든 에이전트 (Planner, Coder, Tester, Debugger, Critic) 가 성능 향상에 기여했습니다.
  • 특히 Tester-Debugger 루프가 가장 큰 기여를 했으며, Planner 를 제거하면 성능이 단일 에이전트 수준으로 떨어졌습니다.
  • 이는 구조화된 분해와 실행 피드백이 핵심임을 입증합니다.
• 오류 분석: 실패 사례의 40% 는 '잘못된 위치 특정 (Faulty localization)'으로, 여러 파일 간의 의존성 파악 실패가 주된 원인이었습니다.
• 비용 효율성: 단일 에이전트보다 약 2.7 배 더 많은 토큰을 사용하지만, 해결률 대비 비용 효율성이 높습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 모델의 규모 (Scale) 만을 늘리는 대신, 검증된 실행 피드백과 구조화된 파이프라인 설계가 실제 소프트웨어 엔지니어링 성능에 더 중요함을 보여주었습니다.
• 신뢰성 확보: 샌드박스 환경에서의 강제 실행은 할루시네이션 (환각) 을 줄이고 실제 동작을 보장하여, 자율 소프트웨어 엔지니어링의 실용성을 높였습니다.
• 향후 방향: 다중 파일 조율 능력 향상, 더 정교한 검색 메커니즘, 그리고 더 작은 규모의 전문 모델 활용 등을 통해 발전 가능성이 열려 있습니다.

이 논문은 LLM 이 단순한 코드 생성기를 넘어, 실제 실행 환경을 통해 스스로 학습하고 수정하는 자율적 엔지니어링 에이전트로 진화할 수 있음을 입증한 중요한 연구입니다.