기술 요약: SETA: 터미널 에이전트를 위한 환경 스케일링 (Scaling Environments for Terminal Agents)

문제 정의

대규모 언어 모델(LLM)은 웹 및 그래픽 사용자 인터페이스(GUI)를 포함한 다양한 인터페이스와 상호작용하는 에이전트로 점점 더 많이 배치되고 있습니다. 이 중 터미널 커맨드 라인은 시스템 운영, 데이터 과학 및 머신러닝 작업을 포괄하는 텍스트 기반의 범용 인터페이스입니다. 그러나 터미널 에이전트를 위한 학습을 확장하는 것은 여전히 중요한 병목 구간으로 남아 있습니다. GitHub 풀 리퀘스트와 같은 자연적인 감독 신호에 의존하는 소프트웨어 엔지니어링 에이전트와 달리, 터미널 작업은 근거가 확실한 감독(grounded supervision)이 부족합니다. 또한, 기존 방식들은 다양한 작업 지침, 실행 가능한 환경, 그리고 신뢰할 수 있는 검증 로직을 동시에 합성하는 데 어려움을 겪고 있습니다. 결정적으로, 현재의 방법들은 적응형 난이도 제어가 부족하여, 데이터 분포가 특정 모델에 도전적이면서도 학습 가능한 영역인 "생산적 RL 존(productive RL zone)"이 아닌 합성 소스 자체로 치우치는 경향이 있습니다.

방법론

저자들은 강화 학습(RL)을 위한 검증 가능한 터미널 환경을 생성하기 위해 설계된 확장 가능한 프레임워크인 SETA(Scaling Environments for Terminal Agents)를 제안합니다. 이 프레임워크는 단일한 검증 메커니즘을 공유하는 두 개의 연속적인 파이프라인을 통해 작동합니다.

1. SETA-Synth: 소스 적응형 합성 (Source-Adaptive Synthesis)

이 파이프라인은 다양하고 인간에 의해 검증된 소스를 표준화되고 검증 가능한 터미널 환경으로 변환합니다.

• 소스: Stack Overflow, Unix & Linux StackExchange와 같은 커뮤니티 Q&A 플랫폼, 데이터 과학 노트북(Kaggle), 그리고 큐레이션된 커맨드 데이터셋(NL2Bash)에서 데이터를 수집합니다.
• 아키텍처: 원시 소스 예제를 통일된 중간 단계의 초안 명세(draft specification)로 변환하기 위해 **아이디어 에이전트(Idea Agent)**를 사용하는 소스 적응형 아키텍처를 채택합니다. 이 에이전트는 공통된 태스크 디자인 프레임워크를 유지하면서 형식의 변화를 처리하기 위해 소스별 어댑터를 사용합니다.
• 인스턴스화: 그 후 **데이터포인트 에이전트(Datapoint Agent)**가 이러한 초안을 Dockerfile, 정답 솔루션 스크립트(solve.sh), 테스트 스위트(test_state.py, test.sh), 그리고 작업 지침이 포함된 완전한 환경으로 인스턴스화합니다.
• 검증: 파이프라인은 다음과 같은 SWE-bench 스타일의 검증 프로토콜을 강제합니다:
  • No-op 테스트: 에이전트의 개입 없이 환경이 실패하는지 확인합니다.
  • 오라클 테스트: 정답 솔루션이 모든 테스트를 통과하는지 확인합니다.
  • 사후 롤아웃 검증(Post-Rollout Verification): 별도의 **트래젝토리 저지 에이전트(Trajectory Judge Agent)**가 롤아웃 실패율이 100%인 작업을 감사하여, 실제 난이도와 체계적인 설계 결함(예: 테스트의 명시되지 않은 관례)을 구분하고, 데이터셋 오염을 방지하기 위해 후자를 폐기합니다.

2. SETA-Evol: 적응형 진화 (Adaptive Evolution)

이 파이프라인은 훈련 중인 모델의 성능에 따라 난이도와 카테カテゴリ 분포를 적응적으로 재구성함으로써 데이터셋을 확장합니다.

• 전략 선택: 특정 작업에 대한 모델의 통과율($r$)을 기준으로 SETA-Evol은 다음 진화 연산자를 선택합니다:
  • 난이도 증가 ($d_1$): 쉬운 작업($r > 0.5$)의 경우, 작업을 생산적 경계선으로 밀어붙이기 위해 제약 조건, 엣지 케이스 또는 다단계 의존성을 추가합니다.
  • 컨텍스트 전환 ($b_1$): 중간 난이도 작업($r \in (0, 0.5]$)의 경우, 다양성을 높이기 위해 난이도는 유지하면서 도메인이나 도구 세트(예: sklearn을 caret으로, 또는 systemd를 init.d로 교체)를 변경합니다.
  • 난이도 감소 ($d_1$): 어려운 작업($r \approx 0$)의 경우, 학습 가능하게 만들기 위해 단계를 제거하거나 엣지 케이스를 삭제하여 작업을 단순화합니다.
• 반복 프로세스: 진화된 작업은 합성된 것과 동일한 엄격한 검증 파이프라인을 거쳐 고품질 데이터를 지속적으로 확장할 수 있도록 보장합니다.

주요 기여

1. SETA-Synth 파이프라인: 소스별 어댑터와 오라클 검증에서 놓친 결함을 잡아내는 사후 롤아웃 트래젝토리 저지를 사용하여, 다양한 인간 검증 소스에 기반한 터미널 환경 생성을 구현하는 새로운 합성 방법론을 제시합니다.
2. SETA-Evol 프레임워크: 훈련 모델의 역량 경계에 맞춰 작업 난이도를 조정하여, 데이터 분포를 생산적 RL 존으로 이동시키고 컨텍스트 다양성을 확장하는 난이도 적응형 진화 시스템을 제공합니다.
3. SETA-Env 데이터셋: 14개 카테고리(예: 시스템 관리, 머신러닝, 데이터 처리)에 걸쳐 4,567개의 환경을 포함하는 현재까지 가장 큰 오픈 소스 검증 가능 터미널 RL 데이터셋인 SETA-Env를 공개합니다.
4. 최첨단 결과(SOTA): RL로 훈련된 모델을 사용하여 터미널 벤치마크에서 유의미한 성능 향상을 입증했습니다.

실험 결과

저자들은 GRPO(Group Relative Policy Optimization)를 사용하여 Qwen3-8B와 DeepSeek-V4-Flash를 SETA-Env로 훈련하여 프레임워크를 평가했습니다.

• Terminal-Bench 2.0 성능:
  • Qwen3-8B: RL 훈련된 모델은 Terminal-Bench 2.0에서 12% pass@1을 달성하였으며, 이는 베이스 모델(3.6%) 대비 3.3배 향상된 수치입니다. 이는 8B 규모의 RL 훈련 모델 중 최고 기록이며, 120B 규모의 GPT-OSS-120B 성능에 근접합니다.
  • DeepSeek-V4-Flash: SETA-Env 훈련을 통해 pass@1은 40%에서 43%로, pass@5는 54%에서 58%로 개선되었으며, 이는 훈련 신호가 서로 다른 모델 패밀리 간에 전이됨을 보여줍니다.
• 일반화: 모델은 CompileBench(6.7% $\to$ 40%) 및 CRUST-Bench(15% $\to$ 24%)를 포함한 인접 코딩 벤치마크에서도 성능 향상을 보여, 터미널 능력이 반복적인 컴파일 및 코드 변환 작업으로 일반화됨을 나타냈습니다.
• 행동 변화: 분석 결과, RL 훈련된 모델은 명령을 실행하기 전에 구조화된 추론과 계획을 수행하며, 단순히 명령을 실행하는 것이 아니라 구체적인 실행 오류(예: Docker에서의 sudo 누락)에 적응하여 대응하는 모습을 보였습니다.

의의 및 주장

본 논문은 SETA가 터미널 에이전트를 위한 훈련 환경과 학습 신호를 생성하기 위한 실용적이고 확장 가능한 파이프라인을 제공한다고 주장합니다. 실행 가능한 검증, 적응형 난이도 제어, 그리고 다양한 소스 근거를 통합함으로써, SETA-Env는 터미널 에이전트를 위한 고품질 훈련 데이터의 심각한 부족 문제를 해결합니다.

저자들은 자신들의 결과가 확장 가능한 환경 합성 및 강력한 검증이 결래, 상호작적인 환경에서의 에이전트 학습을 위한 RL 훈련을 효과적으로 지원할 수 있음을 입증한다고 강조합니다. 저자들은 SETA-Env가 강력한 독점 모델들에 의해 아직 포화되지 않았음을 언급하며, 향후 연구를 위한 유용성을 보존하고 있다고 밝히며 이를 가치 있는 자원으로 포지셔닝합니다.

한계점: 저자들은 현재 검증이 두 가지 모델 패밀리(Qwen 및 DeepSeek)와 특정 규모로 제한되어 있음을 인정합니다. 또한 환경이 터미널 기반 상호작션으로 제한되어 있어, GUI 및 멀티모달 확장이 향후 연구 방향임을 명시합니다. 아울러, 오용 가능성(무단 시스템 접근)에 대해 언급하며, 공공의 비민감 소스에서 작업을 도출하고 샌드박스화된 검증 가능한 환경을 강조함으로써 이를 완화하고 있다고 설명합니다.