Endless Terminals: Scaling RL Environments for Terminal Agents

1. 문제 정의 (Problem)

강화학습 (RL) 기반 에이전트의 자기 개선 (Self-improvement) 을 위해서는 방대하고 다양하며 자동으로 검증 가능한 작업 환경이 필수적입니다. 그러나 현재 터미널 (Terminal) 에이전트를 훈련시키기 위한 확장 가능한 환경은 부재합니다.

• 기존 벤치마크의 한계: 기존 터미널 벤치마크는 평가 (Evaluation) 용도로 설계되었으며, 훈련용 데이터셋으로는 부적합합니다. 수동으로 큐레이션된 데이터는 비용이 많이 들고 규모가 작아 (수백 개 수준) 견고한 RL 훈련을 지원하기에 턱없이 부족합니다.
• 기존 접근법의 결함:
  • 고정된 평가 벤치마크를 훈련에 재사용하면 특정 작업 분포에 과적합 (Overfitting) 될 위험이 있습니다.
  • 강력한 폐쇄형 모델 (Proprietary models) 에서 행동을 증류 (Distillation) 하는 방법은 교사의 능력 한계를 답습하고 API 비용이 많이 듭니다.
  • 인간이 큐레이션한 코딩/쉘 데이터셋은 주석 비용으로 인해 규모와 다양성이 제한됩니다.
• 핵심 과제: 인간의 개입 없이도 무한한 터미널 작업 스트림을 생성할 수 있는 완전 자율적인 파이프라인의 부재.

2. 방법론 (Methodology)

저자들은 Endless Terminals이라는 새로운 프로시저럴 (Procedural) 생성 파이프라인을 제안합니다. 이는 인간의 주석이나 증류 없이 터미널 사용 작업을 생성하는 4 단계 자동화 프로세스입니다.

A. 4 단계 생성 파이프라인

1. 작업 설명 생성 (Task Description Generation):
   • LLM 을 프롬프팅하여 다양한 카테고리 (파일 관리, 로그 분석, 데이터 처리 등), 복잡도 (단일 명령어 ~ 다단계 시퀀스), 시나리오 컨텍스트 (DevOps, 데이터 분석가 등) 를 샘플링하여 작업 설명을 생성합니다.
   • 중요: 에이전트에게 공개되지 않는 '권리 정보 (Privileged Ground Truth)' (예: 정확한 파일 내용, 경로, 기대 상태) 를 함께 생성하여 자동 검증을 위해 사용합니다.
2. 컨테이너 설정 및 검증 (Container Setup & Validation):
   • 작업 설명과 Ground Truth 를 기반으로 Apptainer(Docker 와 호환) 컨테이너 정의 파일을 생성합니다.
   • 반복적 검증 루프: 생성된 컨테이너가 초기 상태 (Prerequisites) 를 만족하는지 자동으로 테스트합니다. 실패 시 오류 출력을 모델에 피드백하여 수정을 요청하고 (최대 3 회), 유효한 컨테이너가 생성될 때까지 반복합니다.
3. 완료 테스트 생성 (Completion Test Generation):
   • 작업 완료 후 기대되는 최종 상태 (생성된 파일, 수정된 설정 등) 를 검증하는 테스트 파일을 생성합니다.
   • 초기 상태에서 테스트가 통과되지 않도록 하여, 작업의 의미를 검증하도록 보장합니다.
4. 해결 가능성 필터링 (Solvability Filtering):
   • 강력한 모델 (o3) 을 사용하여 각 작업에 대해 16 번의 해결 시도 (Solution Attempts) 를 생성합니다.
   • Pass@16 > 0인 작업 (적어도 하나의 시도가 성공한 경우) 만 훈련 데이터로 유지하고, 해결 불가능하거나 정의가 모호한 작업은 폐기합니다.

B. 에이전트 아키텍처 및 훈련

• 최소한의 아키텍처: 검색 (Retrieval), 도구 사용, 다중 에이전트 조정 등 복잡한 에이전트 스캐폴딩을 사용하지 않습니다.
• 상호작용 루프: 모델이 명령어를 실행하고, 쉘 출력을 관찰하며, 다음 단계를 추론하는 단순한 루프를 사용합니다.
• 훈련 알고리즘: **Vanilla PPO (Proximal Policy Optimization)**를 사용합니다.
  • 보상 신호: 에피소드 단위의 이진 보상 (Binary Reward). 모든 테스트가 통과되면 1, 실패하면 0. 중간 보상 (Intermediate Shaping) 은 없습니다.
  • 모델: Llama-3.2-3B, Qwen2.5-7B, Qwen3-8B-openthinker-sft 등 다양한 크기의 모델을 훈련했습니다.

3. 주요 기여 (Key Contributions)

1. Endless Terminals 파이프라인: 인간의 개입 없이 3,255 개의 검증된 터미널 작업을 자동 생성하는 최초의 완전 자율 파이프라인을 제시했습니다.
2. 확장 가능한 환경의 중요성 증명: 복잡한 에이전트 스캐폴딩이나 고급 RL 알고리즘이 아닌, 단순한 RL 설정 (Vanilla PPO) 에서도 환경의 규모와 다양성을 확장하면 성능이 비약적으로 향상됨을 입증했습니다.
3. 일반화 능력: 프로시저럴로 생성된 데이터로 훈련된 모델이 인간이 큐레이션한 벤치마크 (TerminalBench 2.0) 에서도 성능 향상을 보이며, 기존 복잡한 에이전트 구조를 가진 모델들을 능가함을 확인했습니다.

4. 실험 결과 (Results)

Endless Terminals 에서 훈련된 모델들은 개발 세트 (Dev Set) 와 인간이 큐레이션한 벤치마크 (TerminalBench 2.0) 모두에서 상당한 개선을 보였습니다.

• 개발 세트 (Held-out Dev Set) 성능 향상:
  • Llama-3.2-3B: 4.0% → 18.2% (약 4.5 배 향상)
  • Qwen2.5-7B: 10.7% → 53.3% (약 5 배 향상)
  • Qwen3-8B-openthinker-sft: 42.6% → 59.0%
• TerminalBench 2.0 (인간 큐레이션 벤치마크) 성능 향상:
  • 훈련 중 본 적 없는 데이터셋에서도 성능이 전이되었습니다.
  • Llama-3.2-3B: 0.0% → 2.2%
  • Qwen2.5-7B: 2.2% → 3.4%
  • Qwen3-8B-openthinker-sft: 1.1% → 6.7%
  • 참고: 이 결과는 Terminus-2 와 같은 복잡한 에이전트 스캐폴딩을 가진 모델들보다 더 나은 성능을 보였습니다.
• 실패 모드 분석:
  • 주요 실패 원인은 **루프 실패 (39%)**와 **턴 소진 (26%)**이었습니다. 성공적인 작업은 오류 발생 후 명령어 다양성 (Command Diversity) 이 훨씬 높았습니다.
  • 소프트웨어 엔지니어링 작업에서 가장 높은 성능을 보였으나, 수학, 머신러닝, 모델 훈련 등 특정 도메인에서는 성적이 낮았습니다.

5. 의의 및 결론 (Significance)

이 논문은 RL 에이전트 개발의 병목 현상이 알고리즘이 아닌 '환경 (Environment)'에 있음을 강력하게 시사합니다.

• 환경 확장 (Scaling Environments): 복잡한 에이전트 구조나 정교한 보상 설계 없이도, 검증 가능한 작업 환경을 대량으로 생성하여 확장하는 것만으로도 RL 모델의 성능을 극적으로 높일 수 있습니다.
• 자율 생성의 가능성: 인간 주석 없이도 고품질의 훈련 데이터를 생성할 수 있으며, 이는 에이전트 훈련의 비용과 규모 문제를 해결할 수 있는 길을 엽니다.
• 향후 방향: 생성된 작업이 실제 사용자의 모호한 요청을 완벽히 반영하지는 못한다는 한계가 있으나, 향후 더 자연스러운 프롬프트 생성, 인간 - AI 협업, 그리고 더 풍부한 에이전트 스캐폴딩을 결합한다면 터미널 에이전트의 역량은 더욱 확장될 것입니다.

요약하자면, Endless Terminals는 "단순한 RL 설정이라도 환경이 확장되면 성공할 수 있다"는 것을 입증하며, 에이전트 연구의 초점을 알고리즘 최적화에서 확장 가능한 자동화된 환경 생성으로 전환해야 함을 강조합니다.