Benchmark Test-Time Scaling of General LLM Agents

1. 연구 배경 및 문제 제기 (Problem)

• 일반적 에이전트 (General LLM Agents) 의 필요성: 기존 LLM 에이전트 벤치마크는 소프트웨어 엔지니어링 (SWE-Bench) 이나 웹 탐색 (WebVoyager) 등 특정 도메인에 국한된 환경에서 평가되었습니다. 그러나 실제 사용자 요청은 개방적 (open-ended) 이며, 검색, 코딩, 추론, 도구 사용 등 다양한 스킬과 도구를 통합하여 해결해야 하는 다중 도메인 환경이 필요합니다.
• 평가의 공백 (Evaluation Gap): 현재 벤치마크는 특정 도메인 내에서의 성능은 잘 측정하지만, 다양한 도메인의 도구를 공유하고 통합된 환경에서 작동하는 '일반 에이전트'의 능력을 평가하지 못합니다. 이로 인해 실제 배포 시 에이전트의 견고성 (Robustness) 이 과대평가될 수 있습니다.
• 테스트 타임 스케일링 (Test-Time Scaling) 의 한계: 복잡한 작업을 해결하기 위해 추론 시간을 늘리는 (Sequential Scaling) 또는 여러 경로를 생성하여 선택하는 (Parallel Scaling) 전략이 연구되고 있으나, 일반 에이전트 환경에서 이러한 스케일링이 실제로 성능 향상을 가져오는지, 그리고 어떤 한계가 존재하는지에 대한 체계적인 연구가 부족했습니다.

2. 제안된 방법론: General AgentBench (Methodology)

저자들은 이러한 격차를 해결하기 위해 General AgentBench를 도입했습니다. 이는 일반 LLM 에이전트를 평가하기 위해 설계된 통합 벤치마크입니다.

• 통합 평가 프레임워크:

  • 공유 도구 인터페이스: 검색, 코딩, 도구 사용, 추론 등 4 가지 도메인 (BrowseComp, WebVoyager, SWE-Bench, Terminal-Bench, MathHay, Tau2-Bench, MCP-Bench 등) 의 모든 도구를 단일 인터페이스 (Model Context Protocol, MCP 기반) 로 노출합니다.
  • 은폐된 도메인 정보: 에이전트는 특정 도메인 환경이 아닌, 모든 도구가 동시에 활성화된 상태에서 사용자의 요청을 해석하고 적절한 도구를 선택해야 합니다. 이는 실제 사용자의 불확실한 요청을 시뮬레이션합니다.
  • 동적 상호작용: 에이전트는 여러 턴에 걸쳐 환경과 상호작용하며, 도구 호출 결과와 이전 결정들을 기반으로 계획을 수정해야 합니다.

• 테스트 타임 스케일링 평가 전략:

  1. 순차적 스케일링 (Sequential Scaling): 상호작용 턴 수를 늘려 추론의 깊이 (Depth) 를 확장합니다. 에이전트가 더 많은 문맥을 축적하며 반성 (Reflection) 하고 탐색하도록 유도합니다.
  2. 병렬 스케일링 (Parallel Scaling): 동일한 쿼리에 대해 K 개의 독립적인 경로 (Trajectory) 를 생성한 후, 에이전트 스스로 가장 좋은 경로를 선택 (Self-Choice) 하도록 합니다. 이는 생성 능력 (Generation) 과 검증 능력 (Verification) 을 분리하여 평가합니다.

3. 주요 기여 (Key Contributions)

1. General AgentBench 도입: 개방형 요청을 해결하기 위해 여러 도메인의 도구를 통합하고, 실제 사용자 상호작용을 모사하는 통합 평가 프레임워크를 제시했습니다.
2. 순차적 스케일링의 '컨텍스트 천장 (Context Ceiling)' 발견: 상호작용을 늘리는 것이 항상 성능 향상을 보장하지 않으며, 특정 임계점을 넘으면 성능이 불안정해지거나 오히려 저하됨을 규명했습니다.
3. 병렬 스케일링의 '검증 간극 (Verification Gap)' 규명: 생성된 정답의 확률 (Pass@K) 은 증가하지만, 에이전트가 그중 정답을 올바르게 선택해내는 능력 (Self-Choice) 은 이를 따라가지 못함을 발견했습니다.

4. 실험 결과 (Results)

10 개의 최첨단 LLM (Open-source 및 Proprietary 모델 포함) 을 대상으로 한 실험 결과는 다음과 같습니다.

• 성능 저하 (Performance Degradation):

  • 특정 도메인 환경에서 일반 에이전트 환경으로 전환할 때, 대부분의 모델에서 10%~30% 이상의 성능 저하가 발생했습니다.
  • 특히 Gemini 2.5-Pro 는 추론 도메인에서 60% 이상의 급격한 하락을 보인 반면, Claude Sonnet 4.5 는 상대적으로 견고한 성능을 유지했습니다.
  • 교차 도메인 도구 사용: 일부 모델 (Claude 등) 은 검색 작업 중 웹 검색 대신 Hugging Face API 나 지도 API 등 전문 도구를 활용하여 성능을 향상시키는 사례를 보였습니다.

• 순차적 스케일링의 한계 (Context Ceiling):

  • 상호작용 턴을 늘려 컨텍스트 길이가 증가할수록 초기에는 성능이 향상되지만, 모델 고유의 컨텍스트 처리 한계 (예: Qwen3-235B 는 약 112K 토큰, Gemini 2.5-Flash 는 약 96K 토큰) 에 도달하면 성능이 정체되거나 오히려 감소합니다.
  • 긴 상호작용 히스토리 속에서 에이전트는 일관성을 잃고, 이미 해결된 문제에서는 성공하지만 새로운 문제에서는 실패하는 등 불안정한 행동을 보입니다.

• 병렬 스케일링의 검증 간극 (Verification Gap):

  • 샘플 수 (K) 를 늘리면 생성된 정답의 확률 (Pass@K) 은 증가하지만, 에이전트가 스스로 정답을 선택하는 능력 (Self-Choice) 은 이를 따라가지 못합니다.
  • 외부 검증자 (GPT-5) 를 사용하더라도 에이전트의 자기 판단 (Self-judgment) 이 더 나은 경우가 많았으며, 이는 모델이 자신의 생성 패턴에 더 익숙하기 때문으로 분석됩니다.
  • 결과적으로 생성 능력과 선택 능력 간의 간극이 병렬 스케일링의 실질적 효용을 제한합니다.

5. 의의 및 결론 (Significance)

• 실제 배포 환경에 대한 통찰: 기존 도메인 특화 벤치마크는 실제 복잡한 환경에서의 에이전트 능력을 과대평가할 수 있음을 보여주었습니다. General AgentBench 는 더 현실적인 평가 기준을 제공합니다.
• 스케일링 전략의 재고: 단순히 계산 자원 (시간, 토큰) 을 늘리는 것만으로는 성능 향상에 한계가 있음을 시사합니다.
  • 순차적 스케일링: 컨텍스트 관리 및 긴 상호작용에서의 추론 안정성을 개선하는 메커니즘이 필요합니다.
  • 병렬 스케일링: 생성된 후보군 중 정답을 선별하는 '검증 (Verification)' 메커니즘의 발전이 필수적입니다.
• 향후 연구 방향: 일반 에이전트의 견고성을 높이기 위해서는 도메인 간 도구 선택 능력, 긴 컨텍스트에서의 일관성 유지, 그리고 자기 검증 (Self-verification) 능력 향상에 초점을 맞춰야 함을 강조합니다.

이 논문은 LLM 에이전트가 단순한 도메인 전문가를 넘어, 실제 세계의 복잡하고 불확실한 환경에서 작동하는 진정한 '일반 에이전트'로 발전하기 위해 해결해야 할 핵심 과제들을 명확히 제시했다는 점에서 중요한 의의를 가집니다.