기술 요약: Long-Horizon-Terminal-Bench

문제 정의

대규모 언어 모델(LLM) 기반의 현재 AI 에이전트들은 짧고 범위가 명확한 터미널 작업(예: 특정 코드 이슈 수정 또는 몇 가지 셸 명령 실행)에서는 숙련도를 보여주었습니다. 그러나 기존의 터미널 벤치마크(Terminal-Bench 및 SWE-Bench 등)는 주로 이러한 단기 호리즌(short-horizon) 문제에 집중되어 있으며, 대개 몇 분 내에 평가가 완료되고 이진(binary) 방식의 "성공/실패" 결과로만 채점됩니다. 이러한 평가 패러다임은 두 가지 결정적인 격차를 만듭니다:

1. 난이도 과소평가: 단기 호리즌은 수백 단계의 과정, 수 시간에 걸친 지속적인 계획, 그리고 반복적인 디버깅을 요구하는 실제 워크플로우의 복잡성을 포착하지 못합니다.
2. 희소한 보상 신호: 이진 채점 방식은 중간 과정의 진척도를 무시합니다. 복잡한 워워크플로우의 90%를 완료했으나 마지막 단계에서 실패한 에이전트는 즉시 실패한 에이전트와 동일한 점수를 받게 되며, 이는 에이전트의 실제 능력을 가리고 구체적인 실패 모드(예: 조기 종료 vs 타임아웃)를 진단하기 어렵게 만듭니다.

방법론

저자들은 밀집된 프로세스 기반 보상 채점을 사용하여, 장기 호리즌(long-horizon) 및 도메인 특화 터미널 작업에 대해 에이전트를 스트레스 테스트하도록 설계된 **Long-Horizon-Terminal-Bench (LHTB)**를 소개합니다.

태스크 구성

• 범위: 이 벤치마크는 실험 재현, 소프트웨어 엔지니어링, 멀티모달 분석, 인터랙티브 게임, 과학 계산을 포함한 9개 카테고리에 걸친 46개의 태스크로 구성됩니다.
• 형식: 태스크는 Terminal-Bench의 형식을 따릅니다. 자연어 지침, 관련 파일/도구, 그리고 오라클 솔루션(oracle solution)이 포함된 컨테이너화된 Docker 환경을 제공합니다. 에이전트는 전적으로 터미널을 통해 상호작용합니다.
• 복잡성: 태스크는 수백 단계의 단계와 수십 분에서 수 시간에 이르는 실행 시간을 명시적으로 요구하도록 설계되었습니다. 이는 코드 읽기/수정, 긴 스크립트 실행, 부분적 출력 검사 등을 포함합니다.
• 난이도 캘리브레이션: 태스크는 "의도적으로 고장 난" 터미널 전용 프로젝트를 생성함으로써 구축되었습니다. 과적합을 방지하기 위해 공개적인 체크는 최소화(CLI 동작 및 간단한 예시만 검증)되었으며, 보상의 대부분은 견고하고 일반화 가능한 솔루션을 요구하는 숨겨진 스트레스 케이스(예: 중첩된 매니페스트, 스키마 변형, 주입된 노이즈)로부터 파생됩니다.

채점 메커니즘: 밀집 보상 (Dense Rewards)

이진 평가와 달리, LHTB는 서브태스크 기반 채점 체계를 채택합니다:

• 각 태스크는 의미 있는 서브태스크($s_1, \dots, s_K$)로 분해됩니다.
• 결정론적 채점기가 객관적인 증거(파일, 출력, 테스트 결과)를 바탕으로 각 서브태스크에 정규화된 점수 $r_k \in [0, 1]$를 할당합니다.
• 최종 보상 $R$은 가중 평균입니다: $R = \frac{\sum w_k r_k}{\sum w_k}$.
• 이를 통해 부분 점수 부여가 가능하며, 에이전트가 최종 목표 달성에 실패하더라도 얼마나 진전했는지를 포착할 수 있습니다.

평가 설정

• 모델: 15개의 프런티어 모델(GPT-5.5, DeepSeek V4 Pro, Kimi K2.7 Code 등 포함)이 평가되었습니다.
• 하네스(Harness): 대부분의 모델에 대해 Terminus-2 에이전트 하네스가 사용되었으며, 단일 장기 호리즌 터미널 세션을 통해 상호작용합니다.
• 제약 조건: 태스크에는 90분의 실시간(wall-clock) 타임아웃이 적용됩니다.
• 지표: Pass@1 (임계값 $R \ge 0.9, 0.95, 1.0$ 기준), 평균 정규화 보상, 태스크당 에피소드 수, 실행 시간, 예상 비용.

주요 결과

평가 결과, 장기 호리즌 실행은 가장 진보된 모델들에게도 여전히 상당한 병목 현상임을 드러냈습니다.

• 낮은 성공률: 가장 강력한 모델인 GPT-5.5조차 $R \ge 0.95$ 임계값에서 **15.2%**의 통과율을, 완벽한 완료($R=1.0$)에서 **10.9%**의 통과율만을 달성했습니다. 15개 모델 전체의 평균 통과율은 $R \ge 0.95$에서 단 **4.3%**였습니다.
• 자원 소비: 태스크는 매우 까다로우며, 실행당 평균 231 에피소드, 990만 토큰, 85.3분의 실행 시간이 소요됩니다.
• 비용 효율성: 비용 효율성 면에서 큰 차이가 나타납. GPT-5.5는 가장 비싸지만(태스크당 $21) 가장 효과적입니다. Hy3는 적절한 성공률과 함께 저비용 경계(태스크당 $2.5)를 형성합니다. 많은 모델이 미미한 성공률에도 불구하고 높은 비용을 발생시키며, 이는 추론 비용을 늘리는 것만으로는 장기 호리즌 실패를 해결할 수 없음을 시사합니다.
• 실패 모드:
  • 타임아웃: 해결되지 않은 실행의 79%는 에이전트가 여전히 작업 중인 상태에서 90분의 예산이 만료되어 종료되었습니다. 이때 평균 보상은 낮았습니다 (0.10–0.35).
  • 잘못된 종료 (False Finishes): 상당수의 "조기 종료"(에이전트가 자발적으로 중단)는 에이전트가 태스크가 완료되었다고 잘못 판단한 높은 보상 수준($R \ge 0.75$)에서 발생했습니다. 이는 자기 검증 및 중단 기준의 약점을 보여줍니다.
  • 이진 vs 밀집: 엄격한 이진 채점($R \ge 1.0$) 하에서는 15개 모델 중 10개가 태스크를 하나도 해결하지 못했습니다. 밀집 채점은 62.8%의 실행이 의미 있는 부분적 진전을 이루었음을 밝혀내어, "근접한" 모델과 즉시 실패한 모델을 구분해 냈습니다.

의의 및 주장

본 논문은 Long-Horizon-Terminal-Bench가 결과 중심 평가의 한계를 넘어서기 위해 필수적이라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 숨겨진 진전의 폭로: 밀집 보상은 이진 채점이 가리는 "아까운 실패(near-misses)"와 부분적 진전을 드러내어, 에이전트 능력에 대한 더 미묘한 관점을 제공합니다.
2. 병목 구간 식별: 결과는 현재 에이전트의 주요 제한 사항이 (단기 벤치마크가 측정하는) 국소적 추론의 정확성이 아니라, 신뢰할 수 있는 장기 호리즌 완수 능력임을 시사합니다. 에이전트는 시간 예산 관리, 긴 궤적에 대한 상태 유지, 중단 결정의 캘리브레이션에 어려움을 겪습니다.
3. 현실적인 벤치마킹: 수백 단계와 수 시간의 실행을 요구함으로써, LHTB는 기존 벤치마크보다 자율 에이전트에 대한 더 현실적인 스트레스 테스트를 제공하며, 상당한 개선 여지가 있음을 보여줍니다.
4. 미래 연구를 위한 자원: 저자들은 확장된 호리즌에서 안정적으로 계획, 검증 및 실행할 수 있는 에이전트 개발을 지원하기 위해 벤치마크와 평가 하네스를 공개합니다.

저자들은 현재의 에이전트들이 국소적인 단계는 올바르게 수행할 수 있지만, 실제 현실의 워크플로우에 필요한 장기 호리즌 동안 진전을 지속하고 완료를 검증할 수 있는 견고함은 부족하다고 결론짓습니다.