VeRO: 에이전트 최적화를 위한 에이전트 평가 하니스 (VeRO: An Evaluation Harness for Agents to Optimize Agents) 기술 요약

이 논문은 코딩 에이전트 (Coding Agents) 가 타겟 에이전트 (Target Agents) 를 반복적으로 개선하는 '에이전트 최적화 (Agent Optimization)' 과제를 체계적으로 평가하고 연구하기 위한 프레임워크인 VeRO (Versioning, Rewards, and Observations) 를 제안합니다. 저자들은 현재 에이전트 최적화 분야에서 표준화된 벤치마크와 평가 인프라가 부족하다는 문제를 지적하고, 이를 해결하기 위한 방법론과 실증적 결과를 제시합니다.

---

1. 문제 정의 (Problem Statement)

• 배경: LLM 기반 에이전트는 프롬프트 최적화 (Prompt Optimization) 를 넘어 전체 프로그램 구조 (제어 흐름, 도구 로직, 오케스트레이션) 를 수정하는 '코드 기반 최적화'가 필요합니다.
• 현황: 기존 연구들은 에이전트 최적화를 '코드 생성 작업'으로 프레임하거나, 이를 수행하는 코딩 에이전트의 능력을 평가하는 표준 벤치마크가 부재합니다.
• 도전 과제:
  • 복잡성: 타겟 에이전트는 결정론적 코드와 확률적 LLM 완성 (Stochastic Completions) 이 혼재되어 있어, 중간 추론 과정과 실행 결과를 구조적으로 포착해야 합니다.
  • 재현성 부족: 인프라가 부재할 경우, 최적화 에이전트가 예산을 초과하거나 재현 불가능한 결과를 도출하여 신뢰할 수 있는 비교가 어렵습니다.
  • 비효율성: 실제 환경에서 에이전트 구축은 수동적이고 반복적인 과정으로, 자동화되지 않으면 확장성이 떨어집니다.

2. 방법론 (Methodology)

저자들은 VeRO라는 평가 하니스를 개발하여 코딩 에이전트가 타겟 에이전트를 최적화하는 과정을 표준화했습니다.

2.1 VeRO 아키텍처 및 핵심 기능

VeRO 는 버전 관리, 보상 (평가), 관찰 (Observation) 을 통합한 6 가지 요구사항을 충족합니다:

1. 버전 관리 (Versioning): 모든 코드 변경을 Git 커밋으로 격리하여 이력 추적, 롤백, 차이점 (Diff) 분석을 가능하게 합니다.
2. 예산 강제 (Budget Enforcement): 평가 호출 횟수 ($n_E$) 를 제한하여 최적화 에이전트가 추가 컴퓨팅 자원을 통해 불공정하게 이득을 보지 못하도록 통제합니다.
3. 권한 제어 (Permission Control): 테스트 데이터 접근 차단, 모델 체크포인트 변경 금지 등 검색 공간 ($A_r$) 을 제한합니다.
4. 재현 가능한 실행 (Reproducible Execution): 의존성 잠금 (Lockfile) 과 환경 격리를 통해 동일한 에이전트 버전의 평가 일관성을 보장합니다.
5. 구조화된 추적 (Structured Tracing): 입력, 출력, 중간 단계, 점수 등을 포함한 실행 트레이스 ($\tau$) 를 체계적으로 기록하여 최적화 에이전트에 피드백을 제공합니다.
6. 표준화된 관찰 인터페이스: 모든 최적화 에이전트가 동일한 정보 접근 권한을 가지도록 하여 공정한 비교를 보장합니다.

2.2 최적화 루프

• 타겟 에이전트 (Target Agent): 해결해야 할 작업 $T$를 수행하는 Python 프로그램 (LLM 호출 포함).
• 최적화 에이전트 (Optimizer): 코딩 에이전트 $S$가 타겟 에이전트 $A$를 수정합니다.
• 프로세스:
  1. 최적화 에이전트는 데이터, 이전 실행 트레이스, 현재 코드를 관찰합니다.
  2. 가설을 세우고 코드 변경 ($\Delta$) 을 제안합니다.
  3. 변경 사항이 Git 에 커밋되고 자동 실행됩니다.
  4. 평가기 (Evaluator) 가 결과를 점수화하고 예산을 차감합니다.
  5. 점수가 하락하면 롤백하거나 다음 반복을 진행합니다.

3. 주요 기여 (Key Contributions)

1. VeRO 하니스 개발: 재현 가능한 평가 환경, 버전 관리, 예산 통제, 구조화된 트레이싱을 제공하는 오픈소스 프레임워크를 공개했습니다.
2. 에이전트 최적화 벤치마크: 수학 추론 (MATH), 도구 사용 (TAU-Bench), 다단계 QA (GAIA, GPQA, SimpleQA) 등 5 가지 과제를 포함하는 표준 벤치마크를 구축했습니다.
3. 실증적 연구 결과: 다양한 최적화 구성 (Scaffold, 모델, 지시문) 을 비교 분석하여 최적화의 한계와 가능성을 규명했습니다.

4. 실험 결과 및 발견 (Results & Findings)

4.1 벤치마크 연구 (Benchmark Study)

• VeRO 의 필수성: VeRO 도구와 인프라를 갖춘 에이전트 (VERO Default) 가 도구 없이 작동하는 에이전트 (Claude Code Pure) 보다 평균적으로 8% 더 높은 성능 향상을 보였습니다. 인프라 없이는 최적화가 불안정합니다.
• 작업 의존성: 도구 사용이 필요한 작업 (GAIA, Retail, SimpleQA) 에서는 성능 향상이 뚜렷했으나, 추론 중심 작업 (GPQA, MATH) 에서는 개선이 미미했습니다.
• 모델 선택의 영향: 최적화 모델 (Claude Sonnet, Opus, GPT-5.2 등) 에 따라 결과가 달라졌으며, 단일 모델이 모든 작업에서 우위를 점하지는 않았습니다.

4.2 강건성 연구 (Robustness Study)

• 모델 전이: 최적화된 에이전트의 개선 효과는 동일한 모델 계열 (Family) 내에서는 유지되지만, 다른 계열의 모델 (예: GPT -> Gemini/Qwen) 로 변경될 경우 성능이 떨어지거나 역효과가 발생할 수 있습니다.

4.3 사례 연구 (Case Study: Pawn vs. Knight)

• 복잡성과 최적화 여력: 단순한 에이전트 (Pawn) 는 복잡한 에이전트 (Knight) 보다 더 큰 성능 향상 폭을 보였습니다. (초기 상태가 단순할수록 개선할 여지가 큼).
• 지시문 (Instruction) 의 영향:
  • Pawn (단순): 상세한 가이드 (Cookbook+Reasoning) 가 구조적 개선을 이끌어냈습니다.
  • Knight (복잡): 간결한 지시 (Minimal) 가 오히려 창의적인 개선을 유도하여 더 좋은 결과를 냈습니다. (과도한 가이드는 역효과).
• 분산 - 성능 트레이드오프: 높은 분산을 보이는 지시문은 더 높은 최대 성능을 냈지만, 안정성은 낮았습니다.
• 일반화 부재: 특정 작업 (GAIA) 에 최적화된 변경 사항이 다른 작업 (SimpleQA) 에서는 성능 저하를 초래하는 경우가 빈번했습니다.

4.4 해석 가능성 (Interpretability)

• 프롬프트 수정 편향: 코딩 에이전트들은 구조적 변경 (도구 추가 등) 보다는 프롬프트 수정을 50% 이상 빈번하게 시도했습니다.
• 엔트로피 감소: 최적화 초기에는 다양한 시도가 이루어지지만, 실패 시 다시 프롬프트 수정으로 회귀하는 경향이 있어 변경의 다양성이 감소했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구의 의의: VeRO 는 에이전트 최적화를 '코드 생성 작업'으로 공식화하고, 이를 평가할 수 있는 표준을 제시했습니다. 이는 에이전트 개발의 자동화와 자기 개선 (Self-improvement) 연구의 기초를 마련합니다.
• 한계 및 향후 과제:
  • 현재 예산은 평가 횟수만 고려하며, 토큰 비용이나 API 비용을 고려하지 않습니다.
  • 인간 개발자 기반의 벤치마크가 부재합니다.
  • 외부 API 의 변동성이 평가 노이즈를 유발합니다.
• 결론: 코딩 에이전트를 통한 에이전트 최적화는 실현 가능한 목표이지만, 현재 에이전트들은 여전히 프롬프트 수정에 의존하며 구조적 혁신에는 한계가 있습니다. VeRO 는 이러한 격차를 좁히고 더 강력한 자율 에이전트 시스템을 개발하기 위한 핵심 도구로 작용할 것입니다.

이 논문은 에이전트 최적화라는 새로운 도메인을 체계화하고, 향후 연구자들이 재현 가능한 실험을 수행할 수 있는 토대를 제공했다는 점에서 큰 의의가 있습니다.