기술 요약: RepoZero

문제 제기

대형 언어 모델 (LLM) 이 코드 생성 분야에서 상당한 진전을 보였음에도 불구하고, 처음부터 완전한 소프트웨어 저장소를 구축하는 능력은 여전히 잘 이해되지 않고 있습니다. 저장소 수준의 코딩을 평가하는 기존 벤치마크는 다음과 같은 치명적인 한계를 겪고 있습니다:

1. 평가 편향: 많은 벤치마크가 인간 개입 또는 "LLM 을 심판자로 활용"하는 프레임워크에 의존하여 주관성과 불확실성을 초래합니다.
2. 데이터 유출: 방대한 GitHub 코퍼스로 사전 훈련된 모델들은 진정한 추론 능력을 보여주기보다 기존 저장소를 암기하는 경향이 있습니다. 이를 완화하기 위해 "정제된" 또는 희귀한 저장소를 사용하는 것은 본질적으로 데이터셋 규모를 제한하며 빠른 오염에 취약합니다.
3. 검증 격차: "처음부터" 생성에 대한 현재 벤치마크는 특히 기존 단위 테스트가 부족한 새로 생성된 프로젝트의 경우, 검증 가능하고 실행 기반의 기준 정답 (ground truths) 이 부족한 경우가 많습니다.

방법론: RepoZero 벤치마크

이러한 도전 과제를 해결하기 위해 저자들은 처음부터 저장소 수준의 생성을 완전히 자동화되고 실행 기반으로 검증할 수 있도록 설계된 최초의 벤치마크인 RepoZero를 소개합니다.

핵심 개념: 저장소 재현

RepoZero 는 생성 작업을 저장소 재현으로 재정의합니다. 자연어 설명만으로 코드를 생성하는 대신, 에이전트는 다음을 제공합니다:

1. API 명세: 소스 저장소 API 의 기능적 명세.
2. 화이트박스 테스트 케이스: 프롬프트에 제공된 4 개의 예시 테스트 케이스 (입력 및 기준 정답 출력).
3. 제약 조건: 교차 언어 임베딩이나 직접 API 위임과 같은 "단순화" 솔루션을 방지하기 위한 엄격한 규칙.

에이전트는 전체 저장소를 다른 프로그래밍 언어 (예: Python 에서 JavaScript 로, 또는 C/C++ 에서 Rust 로) 로 다시 구현해야 합니다. 생성된 저장소는 숨겨진 테스트 스위트에 대해 실행되고 원본 소스 저장소의 출력과 바이트 단위로 비교하여 평가됩니다.

벤치마크 구축

• 데이터셋: 두 개의 하위 집합이 선별되었습니다: RepoZero-Py2JS(400 개 샘플, Python 에서 JavaScript 로) 와 RepoZero-C2Rust(200 개 샘플, C/C++ 에서 Rust 로).
• 소스 선정: 결정론적 성질, 오픈소스 무결성, 그리고 아키텍처적 복잡성 (다중 파일 구현 필요) 을 기준으로 저장소가 수동으로 선정됩니다.
• 테스트 생성: LLM 이 소스 API 를 호출하는 테스트 파일과 케이스를 생성합니다. 이러한 테스트는 결정론적 (시간 의존성 또는 메모리 주소 출력 제거) 이고 실행 가능하도록 엄격하게 필터링됩니다.
• 평가 프로토콜:
  • 블랙박스 테스트: 에이전트에게 4 개의 화이트박스 케이스만 노출되며, 나머지 테스트 스위트는 과적합을 방지하기 위해 숨겨집니다.
  • 환경 격리: 평가는 파일 시스템 권한이 제한된 격리된 Docker 컨테이너에서 실행됩니다.
  • 교차 언어 제약: 에이전트는 외부 패키지나 브리지 명령어 (예: 셸 래퍼에서 Python 호출) 를 사용하는 것이 금지되어 진정한 교차 언어 합성을 강제합니다.

에이전트 코드 - 테스트 진화 (ACE) 프레임워크

이 논문은 테스트 시간 확장 (test-time scaling) 을 위한 ACE 프레임워크를 제안합니다. 정적 평가와 달리 ACE 는 반복적 루프를 사용합니다:

1. 코딩 에이전트가 대상 저장소를 생성합니다.
2. 테스트 에이전트가 새로운 테스트 케이스를 생성하고 소스 저장소를 실행하여 기준 정답 출력을 얻습니다.
3. 대상 저장소가 실패하면 오류 메시지가 코딩 에이전트에 피드백되어 정제됩니다.
   이 과정은 소스 저장소를 결정론적 오라클로 활용하여 저장소가 모든 테스트 케이스를 통과할 때까지 계속됩니다.

주요 기여

1. RepoZero 벤치마크: 단일 파일 코딩과 전체 소프트웨어 공학 사이의 간극을 메우는 처음부터 저장소 생성을 위한 확장 가능하고 검증 가능한 최초의 벤치마크입니다. 이는 교차 언어 제약과 실행 기반 검증을 독창적으로 결합합니다.
2. ACE 프레임워크: 반복적 테스트 생성과 오류 기반 정제를 통합하여 복잡한 저장소 합성을 위한 효과적인 테스트 시간 확장을 가능하게 하는 새로운 에이전트 워크플로우입니다.
3. 종합적 평가: OpenHands-bash 및 Mini-SWE-Agent 와 같은 여러 에이전트 발판 (scaffold) 을 통해 Kimi, GLM, DeepSeek, Ernie, Minimax, Claude 등 최첨단 LLM 들에 대한 광범위한 벤치마킹을 수행했습니다.

실험 결과

저자들은 Easy, Medium, Hard 난이도 계층에서 수많은 모델을 평가했습니다. 주요 발견 사항은 다음과 같습니다:

• 제한된 성공률: 가장 강력한 에이전트조차도 modest 한 통과율을 달성합니다. 가장 성능이 좋은 모델인 Claude-4.6-Sonnet은 OpenHands-bash 발판을 사용하여 Py2JS 에서 약 51.5%, C2Rust 에서 **44.6%**의 통과율을 기록했습니다.
• 에이전트 성능: 더 정교한 컨텍스트 엔지니어링에 기인하여 Mini-SWE-Agent가 일반적으로 OpenHands-bash보다 우수한 성과를 보였습니다.
• 테스트 시간 확장의 영향: ACE 프레임워크는 성능을 크게 향상시켰습니다. OpenHands-bash 에서의 DeepSeek V3.1 의 경우, 코딩만 수행했을 때의 26.1% 통과율이 코딩 - 테스트 - 정제의 두 번의 반복을 통해 **42.9%**로 증가했습니다.
• 실패 모드: 분석 결과, 런타임 오류는 드물었으나 에이전트는 다음과 같은 이유로 자주 실패했습니다:
  • 문맥적 이탈: 긴 추론 궤적 동안 요구 사항을 놓치는 현상.
  • 실행 가능성 대 정확성: 실행 가능한 코드의 약 40% 가 소스의 결정론적 출력과 일치하지 않아, 실행되는 코드와 의미적으로 정확한 코드 사이의 격차를 드러냈습니다.

중요성과 주장

이 논문은 RepoZero 를 종단간 코드 생성을 위한 도전적이고 확장 가능하며 신뢰할 수 있는 테스트베드로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

• 현재 LLM 에이전트는 고급 발판을 지원받더라도 실제 소프트웨어 개발 요구 사항과 능력 사이에 상당한 격차가 있으며, 통과율은 거의 55% 를 초과하지 않습니다.
• 테스트 생성을 통한 자기 검증은 코딩 에이전트를 발전시키는 데 있어 중요한 방향입니다. 실행 가능한 환경을 활용한 테스트 주도 개발 능력은 성공의 근본적인 결정 요인으로 식별됩니다.
• 이 벤치마크는 교차 언어 합성과 엄격한 실행 제약을 통해 데이터 유출을 성공적으로 완화하여 이전의 "LLM 을 심판자로 활용"하는 접근 방식보다 더 엄격한 평가를 제공합니다.

이 연구는 반복적인 "코드 - 테스트" 루프가 유망하지만, 향후 진전을 위해서는 자율적이고 고품질의 테스트 스위트 합성의 보다 견고한 통합과 에이전트 내의 장기 컨텍스트 유지 능력 향상이 필요하다고 결론지었습니다.