$\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 기반 에이전트가 점점 더 복잡한 작업을 수행함에 따라, 장기적 계획 (Long-Horizon Planning) 과 일관된 실행 (Consistent Execution) 능력이 핵심 과제로 대두되었습니다.

• 현재의 한계: 기존 벤치마크 (PlanBench, Vending-Bench 등) 는 단기적인 피드백이나 독립적인 작업에 초점을 맞추어, 수백 번의 상호작용에 걸친 전략적 일관성 (Strategic Coherence) 을 평가하는 데는 부족했습니다.
• 실제 비즈니스 환경의 복잡성: 현실의 비즈니스 운영은 즉각적인 결과가 아닌 지연된 피드백 (Delayed Feedback) 을 특징으로 하며, 초기 실수가 누적되어 파산으로 이어질 수 있습니다. 또한, 불완전한 정보 (Partial Observability) 하에서 위험을 관리하고 적응해야 합니다.
• 핵심 질문: 에이전트가 수백 턴에 걸쳐 불확실성 하에서 계획을 수립하고, 지연된 피드백을 학습하며, 초기 실수가 누적될 때 이를 적응할 수 있는가?

2. 방법론: YC-Bench (Methodology)

저자들은 이러한 격차를 해소하기 위해 YC-Bench를 제안했습니다. 이는 1 년 (수백 턴) 의 시뮬레이션 기간 동안 가상의 스타트업을 운영하도록 에이전트에게 과제를 부여하는 부분 관측 마르코프 결정 과정 (POMDP) 기반 벤치마크입니다.

• 환경 구성 요소:
  • 초기 자본: $200,000 로 시작하여 연말 최종 자산을 최대화하는 것이 목표입니다.
  • 작업 (Tasks) 및 도메인: 4 가지 도메인 (훈련, 추론, 연구, 데이터 엔지니어링) 에서 클라이언트로부터 작업을 수락하고 직원에게 할당해야 합니다.
  • 직원 관리: 고정된 인력 풀을 가지며, 직원은 도메인별 생산성 (Junior/Mid/Senior 라벨과 무관하게 특정 도메인에서 강점/약점이 존재) 이 다릅니다. 성공 시 생산성은 증가하지만 급여도 인상되어 월급 명세서 (Payroll) 는 누적됩니다.
  • 적대적 클라이언트 (Adversarial Clients): 전체 클라이언트의 약 33% 는 적대적입니다. 이들은 높은 보상을 제시하지만, 작업량을 은밀히 과장하여 기한 내 완료 불가능하게 만듭니다. 에이전트는 실패 패턴을 분석하여 이를 식별해야 합니다.
  • 신뢰도 (Trust): 특정 클라이언트와의 성공적인 작업 수행은 신뢰도를 높여 향후 작업량을 줄여주지만, 다른 클라이언트와의 신뢰도는 감소시킵니다.
• 메모리 및 컨텍스트 제한:
  • 컨텍스트 트렁케이션: 대화 기록은 최근 20 턴 (K=20) 으로 제한됩니다.
  • Scratchpad (메모지): 에이전트가 컨텍스트가 잘려도 정보를 유지할 수 있는 유일한 수단은 시스템 프롬프트에 주입되는 영구적인 'Scratchpad'입니다. 이는 장기 기억을 유지하고 전략을 수립하는 데 필수적입니다.
• 평가 지표: 연말 최종 자금 (Final Funds), 파산 여부, 수익성, 비용 효율성 (API 비용 대비 수익).

3. 주요 기여 (Key Contributions)

1. YC-Bench 벤치마크 도입: 지연된 보상과 희소성 (Sparse Rewards) 하에서 장기적 계획과 적응적 실행을 평가하는 최초의 오픈소스, 재현 가능, 구성 가능한 벤치마크입니다.
2. 광범위한 모델 평가: OpenAI(GPT-5.4 시리즈), Anthropic(Claude Opus/Sonnet 4.6), Google(Gemini 3 시리즈), Qwen, GLM-5, Kimi, Grok 등 12 개의 최신 프론티어 모델 (Proprietary 및 Open-source) 을 3 개의 시드 (Seed) 로 평가했습니다.
3. 오류 분석 및 실패 모드 규명:
   • 적대적 클라이언트 식별 실패: 파산의 47% 가 적대적 클라이언트를 식별하지 못해 발생했습니다.
   • 추론 - 실행 간극 (Reasoning-Execution Gap): 많은 모델이 올바른 전략을 'Scratchpad'에 기록하지만, 실제 행동으로 옮기지 못하거나 일관성을 잃습니다.
   • 비용 효율성: 상위 성능 모델이 반드시 비용 효율적인 것은 아니며, 오픈소스 모델 중 일부가 더 나은 파레토 최적 (Pareto optimal) 을 보였습니다.

4. 실험 결과 (Results)

• 성능 격차: 평가된 12 개 모델 중 단 3 개 모델 (Claude Opus 4.6, GLM-5, GPT-5.4) 만 초기 자본 ($200K) 을 초과하여 큰 수익을 냈습니다.
  • Claude Opus 4.6: 평균 최종 자금 $1.27M (가장 우수).
  • GLM-5: 평균 최종 자금 $1.21M (Opus 대비 11 배 낮은 추론 비용으로 유사한 성능).
  • 나머지 7 개 모델은 평균적으로 적자를 보거나 파산했습니다.
• 성공 요인:
  • Scratchpad 사용: 컨텍스트 제한을 극복하고 정보를 유지하는 유일한 메커니즘인 Scratchpad 를 적극적으로 활용하는 것이 성공의 가장 강력한 예측 변수였습니다.
  • 전략적 집중: 상위 모델들은 초기에 특정 클라이언트 (신뢰도 높은) 에 집중하여 '신뢰의 눈덩이 효과 (Trust Snowball)'를 일으켰고, 적대적 클라이언트를 효과적으로 차단했습니다.
• 실패 원인:
  • 적대적 클라이언트: 모델의 50% 가 시장 평균 (32%) 보다 높은 비율로 적대적 작업을 수락했습니다.
  • 직원 할당 오류: 작업량과 직원의 생산성을 잘못 계산하여 기한을 놓치거나, 여러 작업에 직원을 분산시켜 효율성을 떨어뜨리는 경우가 많았습니다.
  • 일관성 부재: Sonnet 4.6 과 같은 모델은 Scratchpad 에 올바른 규칙을 작성했지만, 즉시 무시하거나 업데이트를 중단하는 등 '추론 - 실행' 불일치를 보였습니다.

5. 의의 및 결론 (Significance)

• 장기적 일관성의 중요성 강조: YC-Bench 는 현재 최상위 모델조차도 수백 턴에 걸친 장기적 일관성 (Long-Horizon Coherence) 에서 심각한 결함을 가지고 있음을 입증했습니다.
• 새로운 실패 모드 발견: 즉각적인 피드백이 없는 환경에서 발생하는 '적대적 클라이언트 식별 실패'와 '전략적 일관성 붕괴'와 같은 새로운 실패 모드를 포착했습니다.
• 비용 효율성 통찰: 단순히 성능이 높은 모델이 아니라, 추론 비용 대비 수익 (ROI) 을 고려한 모델 선택의 중요성을 강조했습니다 (예: GLM-5, Kimi-K2.5).
• 미래 방향: 현재 모델들은 '지각 → 기록 → 검색 → 행동'의 파이프라인 중 특정 단계 (특히 행동으로의 전환) 에서 실패하고 있음을 보여주며, 이는 향후 에이전트 연구의 중요한 방향성을 제시합니다.

이 논문은 AI 에이전트가 단순한 작업 수행을 넘어, 복잡한 비즈니스 환경에서 장기적인 전략을 수립하고 실행할 수 있는지에 대한 엄격한 기준을 제시했다는 점에서 의의가 큽니다.