1. 문제 정의 (Problem)

LLM 코딩 에이전트는 이제 함수 단위 생성을 넘어 전체 저장소 수준의 코드 수정 및 최적화 작업을 수행하는 단계로 진화하고 있습니다. 그러나 이를 평가하는 데에는 다음과 같은 심각한 한계가 존재했습니다:

• 단순화된 태스크: 기존 벤치마크는 대부분 합성된 (Synthetic) 태스크나 이진 (Pass/Fail) 정답 신호에 의존하여, 실제 엔지니어링 환경의 복잡성을 반영하지 못합니다.
• 단일 목표 최적화: 실제 성능 최적화는 하나의 함수를 개선하는 것이 아니라, 여러 워크로드 간의 트레이드오프를 고려한 전역적 (Holistic) 접근이 필요합니다.
• 부족한 평가 지표: 단순히 "작동하는가"를 넘어 "얼마나 빠르고 효율적인가"를 연속적인 지표로 측정하고, 인간 전문가의 개선안과 비교할 수 있는 기준이 부재했습니다.

따라서, 실제 GitHub 저장소에서 발견된 성능 병목 현상을 기반으로 하여, 다중 워크로드 환경에서 에이전트가 인간 전문가를 능가하거나 그 수준에 도달할 수 있는지 평가할 수 있는 새로운 표준이 필요했습니다.

---

2. 방법론 (Methodology)

2.1. 데이터셋 구성 (Dataset Construction)

FORMULACODE 는 70 개의 과학적 Python 오픈소스 저장소 (Pandas, Scikit-learn, SciPy 등) 에서 채굴된 957 개의 실제 성능 병목 현상으로 구성됩니다.

• 선정 과정: GitHub PR(풀 리퀘스트) 중 성능 최적화를 목적으로 한 것을 식별하기 위해 규칙 기반 필터와 LLM 기반 필터를 적용했습니다.
• 환경 재현: 각 태스크는 Docker 컨테이너를 통해 재현 가능한 실행 환경을 제공하며, airspeed-velocity (ASV) 프레임워크를 사용하여 성능을 측정합니다.
• 다중 워크로드: 각 태스크당 평균 264.6 개의 커뮤니티 유지 관리 성능 워크로드가 포함됩니다. 이는 에이전트가 한 부분의 최적화가 다른 부분에 미치는 부정적 영향을 고려해야 함을 의미합니다.

2.2. 평가 지표 (Metrics)

에이전트의 성능을 평가하기 위해 다음과 같은 정밀한 지표를 정의했습니다:

• Correctness (정확성): 기존 테스트 스위트 (Unit Test, Snapshot Test) 를 모두 통과해야 합니다.
• Speedup (가속비): Code_agent 와 Code_baseline 의 실행 시간 비율을 계산합니다.
• Advantage (우위): 에이전트의 성능 개선이 인간 전문가의 개선안 (Code_expert) 대비 얼마나 우수한지를 측정합니다.
  • $Adv = speedup_{agent} - speedup_{expert}$
  • 양수 (Positive) 는 인간을 능가함을, 음수 (Negative) 는 인간보다 못함을 의미합니다.
• Stratified Advantage (계층적 우위): 모듈, 클래스, 함수 수준 등 코드 계층 구조별로 성능을 세분화하여 분석합니다.
• Cost-Weighted Metrics: 토큰 사용량 및 API 비용을 고려한 비용 대비 효율성을 평가합니다.

2.3. 실험 설정

• 모델: GPT-5, Claude 4.0 Sonnet, Gemini 2.5 Pro, Qwen 3 Coder 등 최첨단 (Frontier) 모델 4 종을 평가했습니다.
• 에이전트 프레임워크: Terminus 2 와 OpenHands 두 가지 에이전트 아키텍처를 사용하여 모델의 일반화 능력을 검증했습니다.

---

3. 주요 기여 (Key Contributions)

1. FORMULACODE 벤치마크 출시: 실제 GitHub 저장소에서 추출된 957 개의 다중 워크로드 최적화 태스크와 전문가 패치, 그리고 264 개 이상의 성능 측정 도구를 포함한 최초의 대규모 벤치마크입니다.
2. 다중 목표 최적화 평가 프레임워크: 단일 함수 최적화가 아닌, 전체 저장소 수준의 트레이드오프를 고려한 평가 방식을 정립했습니다.
3. 인간 전문가 대비 성능 분석: 에이전트의 성능을 인간 전문가의 솔루션과 직접 비교하여 '초인적 최적화 (Super-human optimization)'의 현재 수준을 정량화했습니다.
4. 실용적 통찰: 비용 효율성, 데이터 유출 (Leakage) 영향, 저장소 인기도에 따른 성능 차이 등 실제 배포를 위한 중요한 인사이트를 제공했습니다.

---

4. 실험 결과 (Results)

4.1. 전반적 성능

• 인간 전문가보다 낮은 성능: 모든 평가된 에이전트 구성에서 인간 전문가 대비 음수 (Negative) 의 Advantage를 기록했습니다. 즉, 에이전트는 인간 전문가가 달성한 성능 개선 수준을 아직 넘어서지 못했습니다.
• 기초 가속은 가능: 에이전트는 베이스라인 대비 실행 시간을 단축할 수 있었으나 (Speedup > 1), 인간 전문가의 개선안보다는 미흡했습니다.

4.2. 최적화 범위 및 전략

• 국소적 최적화 우세: 에이전트는 함수 단위 (Function-level) 또는 로컬 최적화에는 상대적으로 강했으나, 저장소 전체를 아우르는 모듈 단위 (Module-level) 최적화에서는 성능이 떨어졌습니다.
• 전략별 편차: 병렬화 (Parallelization) 나 배치 처리 (Batching) 와 같은 전략에서는 인간을 능가하는 경우도 있었으나, 벡터화 연산 (Vectorized operations) 이나 저수준 시스템 구현 (C/C++ 확장) 에 의존하는 최적화에서는 큰 어려움을 겪었습니다.

4.3. 저장소 인기도와 일반화

• 중간 인기 저장소에서 최상: 에이전트는 인기가 가장 높은 저장소 (Top 20%) 나 가장 낮은 저장소 (Bottom 20%) 보다 **중간 인기 (20~60%)**를 가진 저장소에서 인간 전문가와 가장 경쟁력 있는 성능을 보였습니다.
  • 이유: 인기 없는 저장소는 훈련 데이터에 부족할 수 있고, 인기 있는 저장소는 이미 최적화 여력이 적기 때문으로 추정됩니다.

4.4. 비용 효율성 및 데이터 유출

• 비용 효율성: 토큰 비용이 더 비싼 최첨단 모델 (Frontier models) 이 오히려 비용 대비 성능이 더 좋았습니다. 이는 작은 모델이 더 긴 추론 체인을 필요로 하여 전체 비용이 증가했기 때문입니다.
• 데이터 유출 영향 최소화: 모델의 지식 컷오프 (Knowledge Cutoff) 이전/이후 태스크 간 성능 차이가 크지 않아, 데이터 유출이 주요 성능 요인이 아님을 확인했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

FORMULACODE 는 LLM 기반 코딩 에이전트의 발전 방향을 제시하는 중요한 이정표입니다.

• 현실적인 평가 기준: 단순한 코드 생성이 아닌, 실제 소프트웨어 공학의 제약 조건 (정확성, 성능, 다중 워크로드) 하에서 에이전트의 능력을 평가할 수 있는 엄격한 기준을 마련했습니다.
• 미래 에이전트 개발의 길잡이: 현재 에이전트들이 인간 전문가를 능가하기 위해 해결해야 할 과제 (전역적 최적화, 저수준 시스템 이해, 다중 목표 균형 등) 를 명확히 드러냈습니다.
• 지속 가능한 벤치마크: 매월 새로운 태스크가 추가되는 'Live Benchmark'로 운영되어, 에이전트 개발의 포화 상태를 방지하고 지속적인 진화를 유도합니다.

결론적으로, FORMULACODE 는 에이전트가 단순한 코딩 도구를 넘어 복잡한 시스템을 최적화하는 진정한 '자율 엔지니어'가 되기 위해 넘어야 할 높은 장벽을 보여주었으며, 향후 연구 및 개발을 위한 강력한 기반을 제공합니다.