기술 요약: TMAX – 터미널 에이전트를 위한 간단한 레시피

문제 정의

터미널 기반 에이전트적 코딩(agentic coding)은 대규모 언어 모델(LLM)의 지배적인 다운스트림 애플리케이션이 되었으며, 산업계 모델들은 점차 명령줄 인터페이스를 통해 복잡하고 장기적인 과업을 수행할 것을 요구받고 있습니다. 그러나 이 분야의 학술 연구는 세 가지 주요 병목 현상에 직면해 있습니다:

1. 데이터 부족: 고품질의 오픈 데이터셋이 제한적입니다. 기존 데이터셋은 주로 버그 수정(예: SWE-Bench 서브셋)이나 단순한 파일 조작에 국한되어 있어, 실제 터미널 작업의 폭넓은 범위를 포괄하지 못합니다.
2. 학습 복잡성: 터미널 에이전트를 위한 강화 학습(RL)은 특히 장기적인 과업(long-horizon tasks)에서 안정성을 확보하기가 매우 어렵습니다. 기존의 많은 연구는 지도 미세 조정(SFT)에만 의존하거나 유의미한 RL 이득을 입증하는 데 실패했습니다.
3. 베이스라인 부재: Terminal-Bench와 같은 복잡한 터미널 벤치마크에서 폐쇄형 소스 모델과 경쟁할 수 있는 오픈 가중치 모델을 훈련하기 위한 간단하고 재현 가능한 "레시피"가 부족합니다.

방법론

저자들은 새로운 데이터 생성 파이프라인과 간소화된 RL 훈련 레시피로 구성된 프레임워크인 TMAX를 제안합니다.

1. 데이터 생성: TMAX-15K

저자들은 TMAX-15K를 도입합니다. 이는 14,600개의 고유한 RL 환경 인스턴스로 구성된 데이터셋입니다. 기존의 저장소 마이닝이나 단순한 시드 태스크에 의존하는 방식과 달리, TMAX는 **구성적 생성 프레임워크(compositional generation framework)**를 사용합니다:

• 계층적 샘플링: 태스크는 도메인(예: 보안, 데이터 과학), 기술(Skills), 과업 복잡도(쉘 명령부터 복잡한 워크플로우까지), 명령어 복잡도(bash부터 시스템 서비스까지), 페르소나, 그리고 검증기(Verifier) 유형을 포함한 9가지 구조화된 축으로부터 샘플링하여 구축됩니다.
• 난이도 제어: 파이프라인은 난이도가 양극단(너무 쉽거나 해결 불가능함)으로 치우치는 것을 방지하기 위해 난이도를 명시적으로 보정합니다. 단순히 이진적인 정답 여부를 확인하는 대신, 단계별 검증기(메트릭 임계값, 적대적 코퍼스, 퍼즈-동등성 등)를 활용합니다.
• 확장성 및 다양성: 파이프라인은 비용이 많이 드는 교사(teacher) 기반 검증 단계를 건너뛰고, 대신 RL 인프라의 "소프트 필터링"(정책 통과율이 0인 샘플을 폐기)에 의존합니다. 또한 에이전트가 멀티모달 모델이 아니더라도 표준 터미널 도구(OCR, ffmpeg)를 통해 조사해야 하는 멀티모달 피처(이미지, 오디오, 바이너리)를 포함한 다양한 입력을 생성합니다.
• 규모: 이 데이터셋은 전체 환경 데이터를 공개하는 차세대 데이터셋보다 2.5배 이상 크며, 이전 작업들에 비해 우수한 도메인 균형을 보여줍니다.

2. 훈련 레시피

저자들은 추론과 훈련 시의 로그 확률(logprobs)이 어긋날 때 토큰을 마스킹하도록 설계된 GRPO의 변형인 **Divergence Proximal Policy Optimization (DPPO)**를 사용하여 단순한 결과 중심(outcome-only) RL 레시피를 채택합니다.

• 인프라: 훈련은 open-instruct와 vLLM을 사용하여 비동기적으로 수행되며, 샌드박스는 Podman 또는 Apptainer를 통해 관리됩니다.
• 안정화 메커니즘:
  • FP32 LM Head: 훈련과 추론 사이의 불일치를 최소화하기 위해 언어 모델 헤드를 FP32 정밀도로 유지하며, 저자들은 이것이 Qwen 3.5와 같은 모델에 결정적임을 발견했습니다.
  • 대규모 그룹 크기: 그룹 크기를 표준인 8이 아닌 32로 사용함으로써 장기적인 시나리오에서의 안정성을 향상시켰습니다.
  • 초기 SFT 생략: Qwen 3.5 모델의 경우, 기존 SFT 데이터셋이 성능을 저하시키는 경우가 많다는 것을 발견하여 SFT 없이 직접 RL을 수행했습니다.
• 평가: 모델은 Terminal-Bench 2.0 및 Terminal-Bench Lite와 더불어 SWE-Bench Verified 및 AIME와 같은 일반 벤치마크에서 평가됩니다.

주요 기여

1. TMAX-15K 데이터셋: 난이도와 다양성에 대한 명시적인 제어를 갖춘 14,600개 인스턴스의 데이터셋을 공개하였으며, 이는 이전의 터미널 에이전트 데이터셋보다 훨씬 크고 균형 잡혀 있습니다.
2. 최첨단 오픈 모델: **27%**의 성능을 달이는 9B 파라미터 모델인 TMAX-9B를 훈련했습니다. 이는 유사한 크기의 이전 오픈 모델들과 더 큰 규모의 오픈 모델(예: 32B 변체)을 능가하며, Claude Haiku 4.5와 같은 폐쇄형 모델의 성능에 근접합니다.
3. 재현 가능한 RL 레시피: 이전의 오픈 RL 베이스라인(예: Endless Terminals, OpenThinker-Agent)보다 뛰어난 성능을 보이는 단순하고 오픈 소스인 레시피(데이터, 코드, 체크포인트)를 제공하며, RL이 SFT 전용 베이스라인보다 상당한 이득(5점 이상)을 줄 수 있음을 입증했습니다.
4. 일반화 증거: 저자들은 RL 훈련이 다음과 같은 영역에서 일반화됨을 보여줍니다:
   • 태스크: SWE-Bench Verified(+5점) 및 AIME에서의 성능 향상.
   • 하네스(Harness): 다양한 평가 하네스(OpenHands, mini-SWE-agent, Terminus-2)에서 성능 향상을 보여주며, 이는 모델이 특정 하네스에 맞춤화(harness-fitting)되는 것이 아니라 일반적인 터미널 기술을 학습함을 시사합니다.
   • 모델 패밀리: Qwen 3 8B 및 Qwen 3.6 27B로의 성공적인 전이.

결과

• Terminal-Bench 2.0: TMAX-9B는 **27%**를 달성하여 32B 미만 파라미터 모델 중 파레토 프런티어(Pareto frontier)를 지배합니다.
• 데이터셋 비교: TMAX-15K로 훈련했을 때, 다른 데이터셋(Endless Terminals: 52.6%/25.5%, SWE-Smith: 47.2%/21.0%)에 비해 유의미하게 높은 성능(TB Lite 57.2%, TB 2.1 28.8%)을 보였습니다.
• 훈련 역학: TMAX-15K로 훈련된 모델은 시간이 지남에 따라 더 많은 스텝과 더 긴 토큰 시퀀스를 활용하며, 이는 복잡한 추론 및 도구 사용 패턴의 학습을 나타냅니다.
• 안정성: DPPO와 FP32 헤드의 사용은 표준 GRPO나 더 작은 그룹 크기를 사용할 때 관찰되었던 훈련 붕괴(collapse)를 성공적으로 완화했습니다.

의의 및 주장

본 논문은 TMAX가 터미널 에이전트에 관한 향후 학술 연구를 위한 강력한 베이스라인을 제공한다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

1. 단순한 레시피가 효과적이다: 복잡한 다단계 생성 파이프라인이 반드시 필요한 것은 아니며, 명시적인 난이도 제어를 갖춘 단순한 구성적 접근 방식만으로도 고품질 데이터를 생성하기에 충분합니다.
2. RL은 터미널 에이전트에 효과적이다: RL이 이 영역에서 불안정하거나 효과적이지 않다는 견해와 달리, 저자들은 적절한 데이터와 안정화 메커니즘(DPPO, FP32 헤드)이 있다면 RL이 복잡한 장기 과업에서 성능을 크게 높일 수 있음을 보여줍니다.
3. 일반화가 가능하다: 훈련은 단순히 특정 하네스나 태스크 분포에 과적합되는 것이 아니라, 다양한 문제를 해결하기 위해 터미널 도구를 사용하는 전이 가능한 기술을 부여합니다.

저자들은 자신의 데이터셋이 완전히 합성된 것이며 강력한 생성 모델에 의존한다는 점을 언급하며 한계를 인정합니다. 또한 훈련 안정성이 여전히 과제이며, 훈련이 종종 300 스텝 이후 붕려되는 현상이 발생한다는 점을 들어, 인프라와 훈련 알고리즘의 추가적인 개선이 더 나은 결과를 낼 수 있음을 시사합니다. 그들은 이 작업을 최종적인 해결책이라기보다 커뮤니티가 구축해 나갈 수 있는 토대로 포지셔닝합니다.