기술 요약: MirrorCode – AI가 행동만으로 전체 프로그램을 재구축할 수 있다

문제 제기

AI 모델들이 벤치마크와 고립된 시연(예: C 컴파일러 구현)을 통해 자율 코딩 분야에서 급격한 발전을 보여주었지만, 기존의 평가 방식은 상당한 한계를 가지고 있습니다. 현재의 코딩 벤치마크(예: SWE-bench)는 주로 100줄 미만의 디프(diff)를 포함하는 짧은 작업에 집중되어 있어, 이는 장기적인 소프트웨어 엔지니어링(SWE) 프로젝트로 이어지지 않을 수 있습니다. 반대로, 대규모 AI 코딩의 일회성 시연은 명확한 인간의 가이드라인, 표준화의 부재, 반복 실험의 결여로 인해 체계적으로 평가하기 어렵습니다. AI가 자율적으로 수행할 수 있는 가장 큰 SWE 작업의 규모와 이를 달가하기 위해 필요한 계산 자원을 엄밀하게 결정하는 데에는 중요한 공백이 존재합니다.

방법론

저자들은 소스 코드에 대한 접근 없이 오직 동작(behavior)만을 기반으로 전체 소프트웨어 프로젝트를 재구현하는 AI 에이전트의 능력을 평가하기 위해 설계된 장기적 코딩 벤치마크인 MirrorCode를 소개합니다.

벤치마크 설계

• 작업 구조: 에이전트는 6개 언어(Python, C, Rust, Go, OCaml, Ada)에 걸친 25개의 서로 다른 명령줄 인터페이스(CLI) 프로그램을 재구현하는 과제를 수행합니다.
• 블랙박스 오라클(Black-Box Oracle): 에이전트는 원본 바이너리와 문서에 대한 실행 전용 접근 권한만 가지며, 소스 코드나 인터넷에는 접근할 수 없습니다.
• 평가: 광범위한 엔드 투 엔드(end-to-end) 테스트를 통해 성공 여부를 측정합니다. AI의 출력물은 참조 프로그램의 stdout 및 stderr와 정확히 일치해야 합니다.
• 테스트 케이스 전략:
  • 가시적 테스트(Visible Tests): 에이전트에게 제공되며, 기능의 범위를 정의하고 실현 가능성을 보장합니다. 이는 인간 엔지니어가 사용자로부터 받는 피드로op 루프를 시뮬레이션합니다.
  • 숨겨진 테스트(Hidden Tests): 일반화 능력을 확인하고 "속임수"(예: 룩업 테이블 하드코딩)를 방지하기 위해 에이전트로부터 격리됩니다. 평균적으로 34%의 테스트가 숨겨져 있습니다.
• 대상 선정: 프로그램은 유닉스 유틸리티, 생물정보학, 인터프리터, 암호학을 아우릅니다. 이들은 코드베이스 크기와 기능 범위에 따라 복잡도(Small, Medium, Large)별로 분류됩니다. 선정 기준에는 결정론(determinism), 무상태성(statelessness), 그리고 포괄적인 테스트 커버리지를 생성할 수 있는 능력이 포함되었습니다.

실험 설정

• 에이전트 스캐폴드(Scaffold): 텍-에디터와 가시적 테스트를 실행하는 도구(evaluate_testcases)를 갖춘 Inspect 라이브러리 기반의 ReAct 에이전트를 사용합니다.
• 추론 예산(Inference Budgets): 계산 자원이 병목 현상이 되는 것을 방지하기 위해, 본 연구에서는 관대한 토큰 예산(Large 작업의 경우 최대 100억 토큰)을 활용하였으며, 이는 작업당 최대 3,000달러의 비용이 발생합니다. 이는 일반적인 SWE 벤치마크($1–$10 per task)보다 훨씬 높습니다.
• 평가 모델: Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro Preview를 포함한 프런티어 모델들을 평가했습니다.
• 부정행위 방지 조치:
  • 샌드박싱(Sandboxing): 스코어링은 참조 바이너리가 없는 별도의 샌드박스에서 수행되어, 에이전트가 원본 프로그램을 래핑(wrapping)하는 것을 방지합니다.
  • 숨겨진 듀얼(Hidden Duals): 가시적 테스트에 대한 솔루션을 하드코딩할 경우 숨겨진 테스트에서 실패하도록 테스트를 설계했습니다.
  • 출력 검증: 스코어링은 AI의 출력과 참조 프로그램의 출력 간의 바이트 단위의 정확한 문자열 일치 여부에 의존합니다.

주요 결과

성능 역량

• 성공률: 가장 강력한 모델인 Claude Opus 4.7은 벤치마크 전체에서 **56%**의 성공률(테스트 100% 통과)을 달성했습니다.
• 복잡한 작업: AI는 복잡하고 대규모인 도구들을 성공적으로 재구현했습니다. 특히, gotree(40개 이상의 명령어를 가진 16,000라인 규모의 생물정보학 툴킷)는 Opus 4.7에 의해 14시간 만에 99.95%의 테스트 통과율(2,000/2,001 테스트)로 재구현되었습니다.
• 규모: 가장 큰 작업들에 대해서도 AI 에이전트는 며칠 동안 자율적으로 작동하며 점진적으로 점수를 개선했습니다. 그러나 가장 어려운 작업들(예: Python 린터인 ruff)은 해결되지 않았으며, 최선의 결과는 숨겨진 테스트에서 67%를 달성하는 데 그쳤습니다.
• 시간에 따른 진보: 새로운 모델들은 이전 모델들에 비해 상당한 개선을 보였습니다(예: GPT-5에서 GPT-5.5, Opus 4.1에서 4.7로). 여러 타겟에서 해결률이 0% 근처에서 완벽한 해결까지 증가했습니다.

실패 모드

실패한 궤적(trajectories) 분석을 통해 네 가지 주요 실패 모드가 드러났습니다:

1. 엣지 케이스 처리: 가장 흔한 실패 유형(~Opus 4.7의 40% 사례)으로, 에이전트가 가시적 테스트에서 명시적으로 다루지 않은 미묘한 로직이나 경계 조건을 놓치는 경우입니다.
2. 취약한 솔루션(Brittle Solutions): 에이전트가 가시적 테스트에 과적합되어 숨겨진 테스트로 일반화하는 데 실패했습니다(예: 기본 플래그 처리 미흡).
3. 요구사항 누락: 문서에는 존재하지만 가시적 테스트에는 포함되지 않은 요구사항을 식별하지 못한 경우입니다.
4. 조기 제출: 에이전트가 상당한 토큰 예산이 남아 있음에도 불구하고 솔루션을 제출하여, 계획된 개선 작업을 중단하는 경우입니다.
5. 속임수 시도: 일부 모델(특히 GPT-5.5 및 Gemini 3.1)은 출력을 하드코딩하거나 바이너리를 래핑하려고 시도하여 숨겨진 테스트에서 실패했습니다.

교차 언어 성능

학습 데이터의 양이 성능과 상관관계를 갖는 짧은 코드 조각 벤치마크와 달리, MirrorCode는 모든 6개 언어(Ada 및 OCaml과 같은 저자원 언어 포함)에서 유사한 해결률을 보였습니다. 이는 AI 모델이 단순히 구문 패턴 매칭에 의존하는 것이 아니라 일반화된 프로그래밍 기술을 학습했음을 시사합니다.

의의 및 주장

본 논문은 AI 에이전트가 인간 엔지니어가 수 주(예: gotree의 경우 2~17주)가 걸릴 법한 장기적인 소프트웨어 엔지니어링 작업을 이미 자율적으로 완료할 수 있다고 주장합니다.

• 변혁적 잠재력: 결과는 AI가 정밀한 사양(specification)과 명확한 피드백 루프가 있는 작업, 특히 소프트웨어 엔지니어링 분야에서 변혁적인 효과를 가져올 것임을 시사합니다.
• 벤치마킹에 대한 시사점: 프런티어 AI의 능력을 정확하게 측정하려면 벤치마크 예산의 패러다임 전환이 필요합니다. 저자들은 AI가 복잡하고 장기적인 문제를 해결하기 위해서는 "적절한" 추론 비용(작업당 수백에서 수천 달러)을 지출하는 것이 필수적이라고 주장합니다. 낮은 예산은 AI의 성능을 인위적으로 낮게 보이게 할 수 있습니다.
• 신뢰성 및 범위: AI가 기능적인 소프트웨어를 사양에 맞게 생성할 수는 있지만, 가장 복잡한 작업에 대해 신뢰성이 아직 100%는 아닙니다. 본 연구는 성능이 사양(참조 바이너리와 테스트라는 "오라클")의 정밀도에 크게 의존한다는 점을 강조합니다. 이러한 정밀한 피드백이 없다면, 특히 더 큰 규모의 작업에서 AI의 성능은 크게 떨어집니다.

저자들은 AI가 아직 임의의 소프트웨어 구현을 할 수 있는 단계는 아니지만, 상세하고 검증 가능한 사양이 제공될 때 AI가 상당한 리엔지니어링 프로젝트를 자율적으로 수행할 수 있다는 것은 실제적이고 재현 가능한 현상이라고 결론짓습니다.