From Translation to Superset: Benchmark-Driven Evolution of a Production AI Agent from Rust to Python

이 논문은 LLM 을 활용한 Rust 에서 Python 으로 대규모 코드베이스의 번역과 벤치마크 기반의 반복적 개선을 통해 Codex CLI 에이전트의 성능을 유지·향상시키고, 15.9 배의 코드 축소와 함께 새로운 기능을 추가한 확장된 플랫폼으로 진화시킨 방법론을 제시합니다.

핵심

1. 배경: 왜 이 일을 했나요? (거대한 도서관의 문제)

제이피모간 체이스 (JP Morgan) 에서는 **'CODEX CLI'**라는 아주 똑똑한 AI 비서가 있습니다. 이 비서는 개발자들이 코드를 짜고 문제를 해결하도록 도와줍니다.

• 원래 상태 (Rust): 이 비서는 **'Rust'**라는 언어로 만들어졌습니다. Rust 는 매우 안전하고 빠르지만, 매우 까다로운 요리사처럼 비유할 수 있습니다. 재료를 다듬는 데 시간이 오래 걸리고, 레시피 (코드) 가 매우 길고 복잡합니다 (약 65 만 줄).
• 문제점: 이 레시피가 너무 길고 복잡해서, 새로운 기능을 추가하거나 고치려면 요리사 (개발자) 가 너무 많은 에너지를 써야 했습니다. 게다가 이 레시피는 매일매일 업데이트되는데, 새로운 버전이 나올 때마다 수동으로 옮기는 건 불가능에 가까웠습니다.

해결책: 이 비서를 **'Python(파이썬)'**이라는 언어로 다시 만들어 보자는 아이디어가 나왔습니다. Python 은 유연하고 빠른 요리사처럼, 레시피가 훨씬 짧고 (약 4 만 줄, 15.9 배 줄어듦) 새로운 요리를 쉽게 개발할 수 있습니다.

2. 핵심 방법론: "시험지"로 번역을 다듬다

그런데 단순히 코드를 기계적으로 옮기면 (번역하면) 실수가 생기기 마련입니다. 그래서 연구팀은 아주 독특한 방법을 썼습니다.

• 기존 방식: 번역이 끝난 후, 개발자가 일일이 "이게 맞나?"라고 확인하는 것 (단위 테스트).
• 이 논문의 방식: **"실전 시험지 (벤치마크)"**를 사용했습니다.
  • AI 비서에게 실제 개발자들이 겪는 80 개의 어려운 문제 (Terminal-Bench, SWE-bench) 를 풀게 했습니다.
  • 비유: 요리사가 새로운 레시피를 만들면, 맛을 보며 "이게 원래 요리랑 똑같은가?"를 확인하는 게 아니라, 실제 손님 (사용자) 을 불러와서 "이 요리가 원래 요리만큼 맛있는가?"를 평가하게 한 것입니다.
  • 만약 Python 버전이 문제를 못 풀면, AI 가 다시 코드를 수정하고 다시 시험을 봅니다. 이 과정을 반복해서 정답률 (성적) 이 Rust 버전과 비슷해질 때까지 다듬었습니다.

3. 놀라운 결과: 단순한 번역을 넘어 '초능력'을 얻다

결과적으로 Python 버전은 Rust 버전과 **거의 똑같은 실력 (성적)**을 냈습니다.

• Rust 버전: 80 문제 중 47.5% 해결
• Python 버전: 80 문제 중 42.5% 해결 (거의 비슷함)

하지만 여기서 끝난 게 아닙니다. Python 버전은 Rust 에 없던 '초능력'까지 추가했습니다.

• 비유: 원래 Rust 요리사는 '불고기'만 잘 만들었습니다. Python 으로 옮기면서 '불고기'도 똑같이 잘 만들게 되었을 뿐만 아니라, **새로운 메뉴 (다중 에이전트 협업, 음성 모드, 비용 추적 등 30 가지 기능)**까지 추가한 것입니다.
• 이 새로운 기능들은 스위치 (기능 플래그) 로 켜고 끌 수 있어서, 비교할 때는 원래 기능만 켜고, 필요할 때는 모든 기능을 켜서 쓸 수 있게 만들었습니다.

4. 왜 Python 이 더 나을까요? (속도 vs 효율)

많은 사람이 "Rust 가 더 빠르지 않나?"라고 생각할 수 있습니다. 맞습니다. 하지만 이 AI 비서의 경우, 가장 시간이 걸리는 부분은 요리사 (코드) 가 아니라 '손님 (AI 모델)'이 주문을 내리는 시간입니다.

• 비유: 요리사가 요리를 만드는 데 1 초 걸리든 0.1 초 걸리든, 손님이 메뉴를 고르고 주문하는 데 10 초가 걸린다면, 요리사의 미세한 속도 차이는 전체 시간의 1% 도 안 됩니다.
• 결론: Python 으로 바꾸면 코드가 15 배나 줄어들고, 유지보수가 훨씬 쉬워지며, 더 많은 개발자가 참여할 수 있게 됩니다. 성능 저하는 거의 없는데, 효율은 엄청나게 좋아진 셈입니다.

5. 요약: 이 논문이 전하는 메시지

1. 시험지가 최고의 교정제: 단순히 코드를 옮기는 게 아니라, 실제 문제를 풀어보는 '시험 (벤치마크)'을 통해 번역의 정확도를 높이는 것이 가장 효과적입니다.
2. 번역은 끝이 아니다: 번역이 끝난 후에도 Python 버전은 계속 발전하여 원래 버전보다 더 많은 기능을 추가할 수 있습니다.
3. 적합한 도구 선택: AI 가 하는 일 (LLM 호출) 이 가장 느린 부분이라면, 그 주변을 빠르게 처리할 수 있는 Python 이 Rust 보다 더 현명한 선택이 될 수 있습니다.

한 줄 요약:

"어려운 언어 (Rust) 로 만든 복잡한 AI 비서를, 더 쉬운 언어 (Python) 로 옮겼는데, 단순히 똑같이 잘만 하는 게 아니라 더 똑똑하고 기능도 더 많은 비서로 업그레이드하는 데 성공했습니다. 그리고 그 과정에서 실제 시험 (벤치마크) 이 최고의 검증 도구임을 증명했습니다."

기술 요약

논문 요약: Rust 에서 Python 으로 생산용 AI 에이전트의 벤치마크 기반 진화

이 논문은 JP Morgan Chase 의 LLM Suite 팀이 실제 생산 환경에서 운영 중인 AI 코딩 에이전트인 CODEX CLI를 Rust(648K LOC, 65 개 크레이트) 에서 Python(41K LOC, 28 개 모듈) 으로 이전하는 과정과 그 결과를 다룹니다. 저자들은 단순한 일회성 이주 (Migration) 가 아닌, LLM 을 활용한 지속적인 코드 번역과 공식 에이전트 벤치마크를 목적 함수 (Objective Function) 로 활용하여 번역 품질을 검증하고 개선하는 새로운 방법론을 제시합니다.

1. 문제 정의 (Problem)

• 대규모 시스템의 언어 간 이주 난제: 기존 소프트웨어 공학에서 대규모 코드베이스의 언어 변경 (예: Rust → Python) 은 노동 집약적이며 오류가 발생하기 쉽고, 보통 일회성 작업으로 끝납니다.
• 상위 소스 (Upstream) 동기화 부재: 이주가 완료되면 원본 (Rust) 과 이주본 (Python) 은 영구적으로 분리되어, 원본의 지속적인 개선 사항이 이주본에 반영되지 못합니다.
• 검증의 한계: 기존 단위 테스트 (Unit Test) 만으로는 에이전트의 실제 동작 (End-to-End) 을 검증하기 어렵습니다. API 프로토콜 불일치, 환경 오염, 도구 가용성 문제 등 통합 단계의 오류는 단위 테스트로 발견되지 않습니다.

2. 방법론 (Methodology)

저자들은 다음과 같은 핵심 방법론을 적용했습니다.

• 벤치마크를 목적 함수로 활용 (Benchmark-as-Objective-Function):
  • 단순한 단위 테스트 대신 Terminal-Bench와 SWE-bench Verified와 같은 공개 에이전트 벤치마크를 번역의 정확성을 검증하는 '목적 함수'로 사용했습니다.
  • 벤치마크 점수가 낮아지면 실패한 태스크를 분석하여 API 프로토콜 불일치, 환경 설정 오류, 툴 부재 등의 근본 원인을 파악하고 LLM 에게 피드백을 주어 번역을 반복적으로 개선 (Iterative Refinement) 했습니다.
• LLM 지원 지속적 동기화 아키텍처:
  • 일회성 번역이 아닌 Diff-Translate-Test 루프를 구축했습니다.
  • 원본 Rust 리포지토리의 변경 사항 (Diff) 을 추출하여 LLM 이 해당 부분만 Python 으로 번역하고, 벤치마크 회귀 테스트를 통해 검증하는 자동화 파이프라인을 구성했습니다.
• 관용적 번역 (Idiomatic Translation):
  • 기계적인 번역이 아닌 Python 의 관용구 (Idioms) 에 맞춘 번역을 지향했습니다.
    • Rust 의 Result<T, E> → Python 의 예외 처리 (raise/try)
    • Tokio 동시성 → asyncio
    • serde 직렬화 → Pydantic
    • ratatui TUI → Textual

3. 주요 기여 (Key Contributions)

1. 벤치마크 기반 번역 방법론의 유효성 입증: 단위 테스트만 통과하는 번역이 실제 에이전트 태스크에서는 실패할 수 있음을 보여주고, 벤치마크를 통한 디버깅이 통합 오류를 해결하는 데 훨씬 효과적임을 증명했습니다.
2. 동등성 (Parity) 을 넘어선 기능의 확장 (Superset):
   • Python 포트는 Rust 원본과 기능적 동등성을 달성한 후, codex.enhancements 모듈을 통해 **30 가지 이상의 기능 플래그 (Feature Flags)**를 추가했습니다.
   • 추가된 기능: 멀티 에이전트 오케스트레이션, 시맨틱 메모리, 지속적 계획 수립, 비용 추적, IDE 브리지, 보이스 모드 등.
   • 플래그 기반 아키텍처: 모든 확장 기능을 끄면 Rust 와 1:1 동등한 상태 (Strict Parity Mode) 가 되어 공정한 벤치마크 비교가 가능하도록 설계했습니다.
3. 지속적인 상위 소스 동기화: Git 서브모듈, 자동 Diff 추출, LLM 기반增量 번역, 벤치마크 회귀 테스트를 결합하여 빠르게 진화하는 Rust 코드베이스를 실시간으로 Python 포트에 반영하는 아키텍처를 제시했습니다.
4. 종합적 경험적 평가: 코드 복잡도, 테스트 커버리지, 런타임 성능, 그리고 실제 에이전트 벤치마크 (Terminal-Bench, SWE-bench) 를 통한 정량적 평가를 수행했습니다.

4. 결과 (Results)

• 코드 효율성:
  • 15.9 배 코드 축소: Rust 648K LOC 에서 Python 41K LOC 로 줄어든 결과 (28 개 모듈).
  • 복잡도 감소: 사이클로매틱 복잡도 (Cyclomatic Complexity) 의 89% 가 최소 등급 (Rank A) 을 기록하여 가독성과 유지보수성이 향상됨.
• 성능:
  • 지연 시간: LLM API 호출 (1~10 초) 이 에이전트 세션의 주요 병목인 상황에서, Python 의 로컬 연산 오버헤드는 전체 지연 시간의 0.1% 미만으로 무시할 수준임.
  • 시작 시간: Rust 바이너리보다 3~5 배 느리지만 (약 54ms), 에이전트 세션 전체 시간 대비 미미함.
• 벤치마크 성능 (Head-to-Head):
  • Terminal-Bench (80 개 태스크): Python 42.5% (34/80) vs Rust 47.5% (38/80). API 400 에러 복구 패치 적용 후 Rust 와 근접한 성능 달성.
  • SWE-bench Verified (80 개 태스크): Python 73.8% (59/80) vs Rust 70.0% (56/80). Python 이 소폭 우세한 결과.
  • 결론: 두 구현체 모두 실제 태스크 해결 능력을 입증했으며, Python 이 SWE-bench 에서 약간 더 높은 성능을 보임.
• 발견된 버그 및 개선:
  • 벤치마크를 통해 단위 테스트로는 발견되지 않았던 WebSocket 빈 응답 실패 모드, API 400 에러 복구 부재, 환경 오염 등의 치명적 버그를 발견하고 수정했습니다.
  • 특히 Python 포트는 Rust 에 없던 429 (Rate Limit) 감지 및 재시도 로직, API 키 회전 기능을 추가하여 Rust 원본보다 더 견고한 전송 계층을 갖게 되었습니다.

5. 의의 및 결론 (Significance)

• 언어 선택의 패러다임 변화: AI 에이전트 시스템에서 병목은 LLM API 지연 시간이며, 로컬 실행 언어의 성능 차이는 미미합니다. 따라서 Python 의 높은 표현력과 생태계 접근성이 Rust 의 컴파일 안전성보다 더 큰 가치를 제공함을 증명했습니다.
• 번역의 진화: LLM 지원 번역은 단순한 '동등성 달성'에서 멈추지 않고, **독립적인 확장 플랫폼 (Superset)**으로 진화할 수 있음을 보여줍니다.
• 실무 적용 가능성: 이 방법론은 대규모 시스템의 언어 이주뿐만 아니라, 지속적인 CI/CD 파이프라인과 결합된 '살아있는 번역 (Living Translation)'의 새로운 표준을 제시합니다.

요약하자면, 이 논문은 벤치마크를 목적 함수로 삼은 LLM 지원 번역이 대규모 생산 시스템의 언어 전환을 가능하게 할 뿐만 아니라, 원본보다 더 강력하고 확장 가능한 시스템을 구축할 수 있는 효과적인 전략임을 입증했습니다.