기술 요약: CEO-BENCH

문제 정의

현재의 언语言 모델(LM) 에이전트들은 소프트웨어 엔지니어링, 고객 서비스, 웹 워크플로와 같은 고립된 단기 과업에서는 숙련도를 보여줍니다. 그러나 이러한 과업들은 대개 명확한 목표, 즉각적인 피드백, 짧은 행동 시퀀스를 수반합니다. 실제 세계의 도전 과제들은 아직 충분히 테스트되지 않은 정교한 능력들의 결합을 요구합니다: 불확실성 속에서 긴 호라이즌(long horizon)을 탐색하고, 노이즈가 있는 환경에서 정보를 습득하며, 변화하는 조건에 적응하고, 하나의 일관된 목표를 향해 상호 의존적인 여러 의사결정을 조율하는 능력입니다. 기존의 벤치마크(예: SWE-bench, WebArena)는 결과가 빠르게 관찰되는 짧은 에피소드에 집중하고 있으며, 다른 벤치마크(예: Vending-Bench, Accounting-Bench)는 좁은 결정 집합과 대체로 안정적인 환경을 다룹니다. 에이전트가 상호 의존적인 행동을 조율하고, 지연된 피드백으로부터 숨겨진 상태를 추론하며, 비정상적(non-stationary)인 시장 조건 속에서 전략을 구상하는 능력을 테스트할 수 있는 평가 프레임워크가 부족한 실정입니다.

방법론

저자들은 500일간의 스타트업 운영 시뮬레이션을 통해 일반적인 장기 호라이즌 에이전트 능력을 평가하는 벤치마크인 CEO-BENCH를 소개합니다.

환경 설계

• 시뮬레이션 범위: 에이전트는 100만 달러의 현금과 고객 0명으로 시작하는 가상의 구독형 소프트웨어 기업("NovaMind")을 관리합니다. 시뮬레이션은 500일(약 71주) 동안 진행됩니다.
• 상태 및 역학: 환경은 부분적으로 관찰 가능하며(partially observable), 노이즈가 있고, 비정상적(non-stationary)입니다.
  • 고객: 26개의 뚜렷한 고객 그룹이 존재하며, 각 그룹의 개별 에이전트는 숨겨진 가격 및 품질 선호도를 가집니다. 고객 행동은 불투명한 LLM 판사가 아닌 기계론적 규칙(예: 미시경제적 참여 규칙)에 의해 제어됩니다.
  • 피드백 루프: 결정에는 지연되고 불확실한 결과가 따릅니다. 매출은 청구 주기에 따라 발생하고, R&D에는 시간이 소요되며, 실수들은 이탈(churn)과 평판 저하를 통해 나중에 드러납니다.
  • 외부 요인: 환경은 거시 경제 사이클, 경쟁자의 충격(경쟁자는 적응적으로 품질 기대치를 높임), 그리고 변화하는 고객 선호도에 따라 진화합니다.
• 액션 인터페이스: 에이전트는 다음 기능에 접근할 수 있는 프로그래밍 가능한 Python 인터페이스(novamind_api)를 통해 상호작용합니다:
  • 34개의 도구: 가격 책정, 성장, 제품 품질, 신뢰성, 엔터프라이즈 영업, 정보 습득, 공개 커뮤니케이션 등을 포함합니다.
  • 19개 테이블 데이터베이스: 원장, 구독, 광고 리드, 고객 지원 티켓, 소셜 미디어 피드 등을 포함하는 현실적인 SQL 데이터베이스입니다.
  • 워크플로: 에이전트는 데이터베이스를 쿼리하고 데이터를 분석하며, 도구들을 조합하여 커스텀 워크플로를 구성하기 위해 Python 스크립트를 작성하고 실행합니다.

실험 설정

• 평가 대상 모델: 연구는 폐쇄형 가중치 모델(예: GPT-5.5, Claude Opus 4.8/4.7, Gemini 3 Flash)과 오픈 가중치 모델(예: DeepSeek-V4-Pro, GLM-5.1)의 혼합을 평가합니다.
• 프로토콜: 각 모델은 고정된 랜덤 시드를 사용하여 세 번의 500일 시뮬레이션을 수행합니다. 성공 여부는 최종 보유 현금으로 측정됩니다. 파산(현금 < $0) 시 시뮬레이션이 종료됩니다.
• 베이스라인: 가격과 쿼터를 고정하고 사용량에 따라 용량을 조정하는 규칙 기반 휴리스틱 베이스라인(LLM 호출 없음)이 포함됩니다.

주요 기여

1. 새로운 벤치마크: CEO-BENCH는 코딩, 데이터 분석, 전략적 사고를 장기 호리즌에 걸쳐 통합해야 하는 현실적인 대규모 스타트업 시뮬레이션에서 에이전트를 평가하는 최초의 벤치마크입니다.
2. 기계론적 리얼리즘: LLM을 판사로 사용하는 벤치마크와 달리, CEO-BENCH는 고객 행동, 시장 역학, 재무적 결과에 대해 명시적인 기계론적 규칙을 사용하여, 성공 여부가 취약한 시뮬레이션을 악용하는 것이 아니라 진정한 전략적 기술에 달려 있음을 보장합니다.
3. 세밀한 액션 공간: 인터페이스는 특정 고객 그룹을 대상으로 광고나 R&D를 수행하는 것과 같은 미세한 액션을 허용하여, 조합론적으로 거대한 전략 및 실패 모드 공간을 생성합니다.
4. 포괄적 분석: 논문은 정량적 지표(현금 궤적, 생존 일수)와 에이전트 행동의 질적 분석(메모 내용, 코드 복잡도, 도구 사용 패턴)을 모두 제공합니다.

결과

• 전반적인 성능: 대부분의 최첨단 모델들은 파산 없이 시뮬레이션을 완료하는 데 어려움을 겪습니다. 오직 Claude Opus 4.8과 GPT-5.5만이 최선의 실행에서 초기 자본인 100만 달러를 초과하는 현금 잔고를 남기고 종료되었습니다.
• 베이스라인과의 비교: 규칙 기반 베이스라인은 약 1,576만 달러의 최종 현금 잔고를 달성했습니다. Claude Opus 4.8(2,780만 달러)과 GPT-5.5(2,130만 달러)가 이를 넘어섰지만, 추정된 이론적 상한선인 약 22억 달러에는 훨씬 못 미쳤으며, 이는 과업이 아직 포화 상태가 아님을 나타냅니다.
• 행동 패턴:
  • 탐색 vs 활용 (Exploration vs. Exploitation): 상위 성능 모델(Opus 4.8, GPT-5.5)은 다양한 전략을 적극적으로 탐색하고, 미래 시나리오를 시뮬레이션하며, 빈번하게 적응했습니다. 반면, 성능이 낮은 모델들은 종종 수동적인 "현금 보존" 전략을 채택하거나 성장과 품질 간의 조율에 실패했습니다.
  • 정교한 분석: 강력한 에이전트들은 현금 예측을 위해 고객 코호트를 시뮬레이션하는 코드를 작성하거나(Opus 4.8), 협상 이력을 조사하여 숨겨진 고객 선호도를 추론(GPT-5.5)했습니다.
  • 도구 사용: 성공적인 모델들은 도구 전반에 걸쳐 액션을 더 고르게 분배하였고, 다른 모델들에 비해 타겟팅된 그룹별 개선을 위한 개발 지출 비율을 더 높게 할당했습니다.
• 절제 연구 (Ablation Studies):
  • 경쟁자 난이도: 경쟁자를 제거하거나 그들의 적응성을 낮추면 과업 난이도가 크게 낮아졌으며, 이는 비정상적인 시장 압력이 핵심적인 도전 요소임을 확인시켜 줍니다.
  • 시간 호리즌: 호리즌을 50일로 단축하더라도 대부분의 모델이 양(+)의 수익을 창출하는 데 실패했으며, 이는 현재의 에이전트들이 단기 조율에서도 어려움을 겪고 있음을 시사합니다.
  • 하네스 민감도: 표준 에이전트 하네스(예: Claude Code, Codex)로 전환했을 때 액션 수가 현저히 줄어들고 성능이 저하되었으며, 이는 실행 환경의 중요성을 강조합니다.

의의 및 주장

논문은 CEO-BENCH가 "시간에 따른 지속적이고 적응적인 발전을 이끄는 데 필요한 지능을 측정하기 위한 첫걸음"을 뗀다고 주장합니다. 이는 현재 모델들의 국소적인 도구 숙련도와 실제 운영에 필요한 지속적인 전략적 통제 능력 사이의 중대한 격차를 강조합니다.

저자들은 에이전트가 개별 과업은 수행할 수 있지만, 지연된 피드백, 숨겨진 상태, 변화하는 조건에 직면했을 때 이 기능들을 일관되고 적응적인 행동으로 통합하는 데는 실패한다고 단언합니다. 이 벤치마크는 향후 모델들이 다음 능력들을 개선할 수 있는 상당한 "헤드룸(여지)"이 있음을 보여줍니다:

1. 노이즈가 있는 데이터로부터 숨겨진 구조를 추론하는 능력.
2. 지연된 결과를 예측하는 능력.
3. 경쟁 압력에 적응하는 능력.
4. 상호 의존적인 의사결정을 조율하는 능력.

결론적으로, 이 논문은 에이전트가 단순한 개별 과업 수행자를 넘어, 진화하는 시스템을 먼 미래의 목표를 향해 조직할 수 있는지를 테스트하는 평가가 필요하다고 말하며, CEO-BENCH가 바로 그러한 능력을 측정하기 위해 설계되었음을 밝힙니다.