기술 요약: TERMINALWORLD: 실제 세계 터미널 작업에 대한 에이전트 벤치마킹

문제 제기

대형 언어 모델 (LLM) 기반의 자율 에이전트는 대화형 명령줄 인터페이스 (CLI) 세션 내에서 명령을 실행하고, 도구를 구성하며, 피드백을 해석함으로써 복잡한 터미널 워크플로우를 자동화하는 능력이 점점 더 향상되고 있습니다. 그러나 이러한 에이전트를 실제 세계의 authentic 터미널 작업에 대해 신뢰성 있게 평가하는 것은 여전히 해결되지 않은 과제로 남아 있습니다.

현재의 평가 기준은 수동으로 선별된 벤치마크 (예: Terminal-Bench, LongCLI-Bench) 에 크게 의존하고 있습니다. 이러한 벤치마크는 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

1. 진실성 격차 (Authenticity Gap): 전문가들이 종종 난이도를 극대화하기 위해 대결형 퍼즐을 우선시함에 따라, 작업들이 개발자들이 실제로 수행하는 일상적이고 authentic 한 워크플로우와 동떨어지게 됩니다.
2. 확장성 병목 현상 (Scalability Bottleneck): 수동 선별은 노동 집약적이며 진화하는 터미널 관행과 다양한 새로 등장하는 도구들을 따라가는 데 어려움을 겪어, 범위가 좁고 빠르게 구식화되는 벤치마크로 이어집니다.
3. 검증 부족 (Validation Deficit): 최근의 자동 합성 방법들은 수동 선별을 우회하려 시도하지만, 주로 훈련 데이터 생성을 위해 설계되었습니다. 이러한 방법들은 진정한 진실성과 테스트의 타당성을 보장하기 위해 필요한 엄격한 검증을 거의 받지 못합니다.

결과적으로, 실제 세계 개발자 관행에 진실하면서도 그 관행들과 함께 진화할 수 있을 만큼 확장 가능한 평가 시스템이 부재합니다.

방법론: TERMINALWORLD 데이터 엔진

이러한 한계를 해결하기 위해 저자들은 "in-the-wild" 터미널 녹음에서 고충실도 평가 작업을 자동으로 역공학하는 확장 가능한 데이터 엔진인 TERMINALWORLD를 소개합니다. 이 엔진은 개발자들이 자발적으로 세션 전사본을 공유하는 공개 저장소인 asciinema 플랫폼에서 수집한 80,870 개의 터미널 세션 녹음 코퍼스를 기반으로 작동합니다.

이 엔진은 노이즈가 포함된 로그를 엄격한 벤치마크로 변환하기 위해 4 단계의 체계적인 단계를 거쳐 원시 녹음을 처리합니다:

1. 인간 녹음 수집 및 필터링

엔진은 asciinema 에서 전사본과 메타데이터를 검색합니다. 다단계 필터링 프로세스를 통해 데이터의 품질과 안전성을 보장합니다:

• 개인정보 및 안전: 개인 식별 정보 (PII), 민감한 자격 증명, 또는 악성 명령어 (예: rm -rf *) 가 포함된 녹음을 제외합니다.
• 범위 정의: 텍스트 사용자 인터페이스 (TUI, 예: vim 또는 nano와 같은) 나 GUI 가 포함된 녹음을 폐기하고, 순수한 CLI 워크플로우에 집중합니다.
• 재현성: 접근할 수 없는 URL, Windows 환경, 또는 컨테이너화할 수 없는 독점 소프트웨어에 의존하는 세션을 제거합니다.
• 품질 점수화: LLM 을 사용하여 불투명하거나 순수한 탐색 세션을 필터링하고, 고품질의 결정론적 워크플로우만 유지합니다.
• 결과: 합성을 위해 9,492 개의 고품질 녹음이 유지되었습니다.

2. 터미널 작업 합성

원시 전사본은 오타, 재시도, 그리고 방대한 시스템 출력을 포함하여 노이즈가 많습니다. 엔진은 LLM(예: Claude Sonnet 4.6) 을 사용하여 이를 두 가지 산출물로 정제합니다:

• 작업 지시 공식화: LLM 은 개발자의 근본적인 의도를 추론하여 결과 지향적인 지시를 생성합니다. 핵심적으로, 해당 지시는 절차적 경로가 아닌 최종 상태(예: "차단된 IP 를 /app/result.txt에 저장") 를 명시하여, 작업에 특정 솔루션에 대한 힌트가 유출되는 것을 방지합니다.
• 참조 솔루션 추출: LLM 은 전사본에서 중복과 실패한 시도를 제거하여 실행 가능한 깨끗한 Bash 스크립트를 추출함으로써, 기준이 되는 참조 솔루션을 생성합니다.

3. 실행 가능한 환경 재현

원시 녹음은 원래 개발자의 특정 시스템 상태에 의존하므로, 엔진은 실행 환경을 역공학해야 합니다.

• 환경 합성: LLM 에이전트 (예: Claude Code) 는 참조 솔루션에서 의존성 (기본 이미지, 시스템 패키지, 런타임) 을 추론하여 Dockerfile과 docker-compose.yaml을 합성합니다.
• 실행 기반 정제 루프: 환경이 진실되고 환각이 아님을 보장하기 위해, 에이전트는 Docker 이미지를 빌드하고 참조 솔루션을 재생성하려 시도하며, 런타임 오류 (예: 누락된 라이브러리, 구성되지 않은 변수) 를 피드백으로 활용하여 Docker 파일을 반복적으로 수정합니다.
• 결과: 이 루프를 통해 5,035 개의 작업에 대한 실행 가능한 환경이 성공적으로 재현되었습니다.

4. 테스트 스위트 생성

작업 성공을 자동으로 판단하기 위해 엔진은 재현된 Docker 컨테이너 내에서 시도 기반 정제 루프를 사용하여 테스트 스위트를 생성합니다:

• 테스트 합성: 에이전트는 공식화된 지시와 참조 솔루션에 의해 발생한 실제 파일 시스템 변경 사항 (상태 델타) 을 기반으로 어설션 (assertions) 을 생성합니다.
• 3 회 시도 검증:
  1. AllPassing Trial: 참조 솔루션을 실행합니다. 모든 테스트가 통과되어야 합니다 (해결 가능성을 보장).
  2. Nop Trial: 아무것도 실행하지 않습니다. 모든 테스트가 실패해야 합니다 (비자명성을 보장).
  3. Partial Trials: 단축/삭제된 솔루션을 실행합니다. 적어도 하나의 테스트는 실패해야 합니다 (불완전한 솔루션에 대한 구별력을 보장).
• 결과: 테스트 스위트가 세 가지 시나리오 모두를 통과한 작업만 승인됩니다. 이 과정을 통해 전체 벤치마크를 위한 1,530 개의 검증된 터미널 작업이 산출되었습니다.

이 전체 세트에서 저자들은 의미론적 정렬과 정확성을 보장하기 위해 저자들이 수동으로 검토한 200 개의 작업으로 구성된 VERIFIED 부분집합을 선별하여, 최첨단 모델들을 위한 엄격한 테스트베드로 활용했습니다.

주요 기여

1. TERMINALWORLD 벤치마크: 컨테이너 오케스트레이션, CI/CD, 보안 등 18 가지 실제 세계 카테고리에 걸쳐 있으며 1,280 개의 고유한 명령어를 다루는 1,530 개의 검증된 작업 데이터셋입니다. 주목할 점은, 이러한 명령어의 91% 가 Terminal-Bench 와 같은 기존 벤치마크에 존재하지 않는다는 것입니다.
2. 자동화된 데이터 엔진: 실제 세계 녹음에서 작업을 역공학하는 완전 자동화된 파이프라인으로, 벤치마크가 "구축 시 진실성 있고 확장 가능하도록" 보장합니다.
3. VERIFIED 부분집합: 고충실도 복잡한 워크플로우 평가를 위해 설계된 200 개의 작업으로 구성된 수동 검토회 핵심 집합입니다.
4. 종합적 벤치마킹: VERIFIED 부분집합에 대한 8 개의 최첨단 LLM 과 6 개의 주요 터미널 에이전트에 대한 광범위한 평가입니다.

실험 결과

저자들은 TERMINALWORLD-VERIFIED 부분집합에 대해 최첨단 모델 (예: Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro) 과 에이전트 (예: Terminus-2, Claude Code, OpenHands) 를 평가했습니다.

• 성능 한계: 현재 시스템은 authentic 터미널 워크플로우에서 상당히 어려움을 겪고 있습니다. 가장 성능이 좋은 모델 (Claude Opus 4.7) 의 통과율은 불과 **62.5%**였습니다.
• 효율 역설: 자원 소비 (턴, 토큰) 와 성공 사이에는 약한 음의 상관관계가 있습니다. 모델들은 종종 진전을 이루지 못한 채 환경을 탐색하는 데 과도한 컴퓨팅 자원을 소비합니다. 실패한 시도는 성공한 시도에 비해 훨씬 더 많은 자원 (3.3 배 더 많은 토큰) 을 소비합니다.
• 도메인 특이성: 성능은 도메인에 따라 급격하게 달라집니다. 모델들은 환경 설정 (87.5%) 에서는 잘 수행하지만, 성능 최적화 (28.1%) 와 스크립팅/자동화 (39.1%) 에서는 어려움을 겪습니다.
• 에이전트 프레임워크 영향: 에이전트 프레임워크는 주로 비용 효율성에 영향을 미치지, 근본적인 능력 한계에는 영향을 미치지 않습니다. 예를 들어, Terminus-2 와 mini-SWE-agent 는 Claude Code 와 유사한 통과율을 달성했지만 비용은 그 일부에 불과했습니다.
• 기존 벤치마크와의 약한 상관관계: Terminal-Bench 2.0 의 점수는 TERMINALWORLD-VERIFIED 점수와 약한 상관관계 (Pearson $r = 0.20$) 만 보입니다. 전문가가 선별한 챌린지를 지배하는 모델들 (예: GPT-5.5) 은 종종 실제 세계 워크플로우에서 성적이 낮아, 기존 벤치마크가 필요한 능력을 완전히 포착하지 못함을 시사합니다.
• 인간 워크플로우와의 괴리: 에이전트는 거의 원래 인간 녹음의 특정 명령어 경로를 모방하지 않습니다. 에이전트 궤적과 인간 참조 솔루션 간의 명령어 세트 중위수 겹침은 불과 **21.4%**로, 에이전트들이 종종 유효하지만 다른 대체 전략을 통해 작업을 해결함을 나타냅니다.

중요성과 주장

이 논문은 TERMINALWORLD 가 대결형, 전문가 선별형 퍼즐에서 authentic 하고 확장 가능하며 실제 세계 워크플로우로 전환함으로써 터미널 에이전트 평가에 대한 새로운 기준을 수립한다고 주장합니다.

• 진실성: 실제 개발자 녹음에서 작업을 역공학함으로써, 이 벤치마크는 합성적이거나 수동으로 제작된 벤치마크가 놓치는 실제 세계의 의존성, 도구 다양성, 그리고 워크플로우 복잡성의 뉘앙스를 포착합니다.
• 확장성: 엔진의 자동화된 특성으로 인해 새로운 녹음이 asciinema 에 업로드됨에 따라 벤치마크가 지속적으로 진화할 수 있어, 데이터셋이 구식화되는 것을 방지합니다.
• 진단 가치: 이 벤치마크는 현재 최첨단 모델과 에이전트들이 개방형 실제 세계 행동 공간에서 견고한 도구 사용 능력을 결여하고 있음을 드러냅니다. 기존 벤치마크에서의 높은 점수가 실제적이고 진화하는 터미널 환경에서의 에이전트 능력을 과대평가할 수 있음을 강조합니다.

저자들은 TERMINALWORLD 가 정적이고 전문가가 선별한 평가를 넘어, 실제 세계 터미널 환경에서 신뢰할 수 있는 에이전트 개발을 위한 필수적인 기반을 제공한다고 결론 내립니다.