기술 요약: Orchard: 오픈소스 에이전트 모델링 프레임워크

문제 정의

에이전트 모델링은 대규모 언어 모델 (LLM) 을 복잡한 작업을 해결하기 위해 계획, 추론 및 외부 환경과 상호작용할 수 있는 자율 에이전트로 변환하는 것을 목표로 합니다. 상당한 투자가 이루어졌음에도 불구하고, 이 분야의 오픈 연구는 다음과 같은 치명적인 병목 현상에 직면해 있습니다:

1. 인프라 제약: 학습 궤적을 생성하려면 수천 개의 동시 격리된 샌드박스 환경이 필요합니다. 기존 솔루션은 독점적 (재현성과 비용 통제 제한) 이거나 특정 학습 스택에 밀접하게 결합되어 있어, 다른 에이전트 하네스나 도메인 간에 데이터와 레시피를 재사용하는 것을 방지합니다.
2. 학습 격차: 고성능 에이전트 시스템은 종종 독점 코드베이스나 모델에 의존합니다. 오픈소스 프레임워크는 주로 LLM 의 근본적인 에이전트 능력을 확장 가능하고 재현 가능한 학습을 통해 개선하는 것보다 오케스트레이션에 초점을 맞추는 경향이 있습니다.
3. 일반화 한계: 단일 하네스나 단일 도메인 데이터로 학습된 에이전트는 종종 보지 못한 도구 인터페이스, 작업 분포 또는 평가 벤치마크로 일반화하지 못합니다.

방법론: Orchard 프레임워크

저자들은 환경 계층을 에이전트 학습 스택에서 분리하도록 설계된 오픈소스 프레임워크인 Orchard를 제시합니다. 이 프레임워크는 핵심 인프라 구성 요소와 세 가지 구체화된 학습 레시피로 구성됩니다.

1. Orchard Env: 경량 Kubernetes 네이티브 환경 서비스

Orchard 의 핵심은 Orchard Env로, 작업 도메인, 에이전트 하네스, 파이프라인 단계 (증류, RL, 평가) 전반에 걸쳐 재사용 가능하도록 설계된 독립 서비스입니다.

• 아키텍처: Python 클라이언트 SDK, Kubernetes 에서 샌드박스 수명 주기를 관리하는 FastAPI 오케스트레이터, 그리고 런타임 시 각 샌드박스 컨테이너에 주입되는 경량 In-Pod Agent로 구성된 3 계층 설계를 따릅니다.
• 주요 설계 선택 사항:
  • 에이전트 주입: 에이전트를 Docker 이미지에 미리 포함시키는 대신, Orchard Env 는 런타임 시 사용자 제공 이미지에 실행 에이전트를 주입하여 이미지별 재빌드 없이 이질적인 환경을 지원합니다.
  • 직접 라우팅: 실행 및 파일 요청이 Kubernetes API 서버와 WebSocket 오버헤드를 우회하여 샌드박스 Pod IP 로 직접 라우팅되어 평균 명령 실행 지연 시간을 0.28 초로 달성합니다.
  • 비용 효율성: 표준 Kubernetes 원시 기능 (스팟 인스턴스 포함) 을 활용함으로써 Orchard Env 는 E2B 나 Daytona 와 같은 관리형 대안보다 샌드박싱 비용을 약 10 배 절감합니다.
• 기능: 샌드박스 수명 주기 관리, 명령 실행, 파일 I/O, 네트워크 정책 및 REST API 액세스를 위한 원시 기능을 제공하며, 코드 저장소, 웹 브라우저, 데스크톱 등 다양한 환경을 지원합니다.

2. 에이전트 모델링 레시피

Orchard Env 위에 구축되어 저자들은 서로 다른 도메인에서 세 가지 학습 레시피 (SFT + RL) 를 개발했습니다:

A. Orchard-SWE (소프트웨어 엔지니어링)

• 목표: 에이전트가 GitHub 이슈를 해결하도록 학습시킵니다.
• 데이터: OpenHands 와 mini-swe-agent 하네스를 모두 사용하여 최첨단 모델 (MiniMax-M2.5, Qwen3.5-397B) 에서 107K 개의 궤적을 증류했습니다.
• 혁신 사항:
  • 신용 할당 SFT: 이전 연구가 실패한 궤적을 폐기하는 것과 달리, 이 방법은 미해결 궤적에서 "상승 구간 (생산적 진전)"을 식별하기 위해 사후 가치 추정을 사용하여 이를 지도 신호로 변환합니다.
  • 균형 적응형 롤아웃 (BAR): 쉬운/어려운 프롬프트에 대한 계산 낭비를 방지하고 그룹 상대적 이점 추정기의 노이즈를 줄이기 위해 균형 잡힌 양/음 보상을 가진 학습 그룹을 적응적으로 구성하는 온라인 롤아웃 할당 방법입니다.
• 모델: Qwen3-30B-A3B-Thinking (약 30 억 활성 파라미터).

B. Orchard-GUI (브라우저 탐색)

• 목표: 웹 탐색을 위한 비전 - 언어 에이전트를 학습시킵니다.
• 데이터: Qwen3-VL-235B 의 교사 궤적을 사용하여 **15,601 개의 시드 작업 (PAE-WebVoyager, InSTA-v3)**에서 선별되었습니다.
• 혁신 사항:
  • 범용 하네스: 일반화를 보장하기 위해 맞춤형 브라우저 하네스 대신 표준 ReAct 스타일 도구 호출 인터페이스를 사용합니다.
  • 데이터 효율성: SFT 에는 0.4K 개의 증류된 궤적과 RL 에는 2.2K 개의 개방형 작업만으로 학습되었음에도 불구하고 수십만 개의 작업으로 학습된 모델보다 우수한 성능을 발휘합니다.
• 모델: Qwen3-VL-4B-Thinking.

C. Orchard-Claw (개인 비서)

• 목표: 생산성 워크플로우 (이메일, 캘린더, 도구 사용) 를 위한 에이전트를 학습시킵니다.
• 데이터: Claw-Eval 과 ClawHub 에서 0.2K 개의 작업을 합성하고 MiniMax-M2.5 에서 증류했습니다.
• 혁신 사항:
  • 크로스 하네스 학습: 전이성을 연구하기 위해 ReAct 스타일과 ZeroClaw 하네스 모두에서 학습했습니다.
  • 종단 간 RL: 교사 증류를 넘어 에이전트 행동을 정제하기 위해 환경 기반 보상을 사용합니다.
• 모델: Qwen3-30B-A3B-Thinking.

주요 결과

Orchard-SWE 성능

• SFT + RL 로 SWE-bench Verified 에서 **67.5%**를 달성하여, 동급 크기 (약 30 억 활성 파라미터) 의 오픈소스 모델 중 새로운 최첨단 (SOTA) 기록을 세웠습니다.
• 조밀한 32B 및 72B 오픈소스 베이스라인 (예: 66.0% 의 OpenSWE-72B) 보다 우수하며 최첨단 독점 시스템 (74.0% 의 MiniMax-M2.1) 에 근접합니다.
• 뛰어난 크로스 하네스 일반화를 입증했습니다: 다른 모델들이 보지 못한 하네스에서 평가될 때 붕괴된 것 (예: 62.4% 에서 3.6% 로 하락) 과 달리, Orchard-SWE 는 OpenHands, mini-swe-agent, Kimi-CLI 전반에 걸쳐 좁은 범위 (45.0%–64.3%) 내에서 성능을 유지했습니다.

Orchard-GUI 성능

• WebVoyager, Online-Mind2Web, DeepShop 전반에서 평균 성공률 **68.4%**를 달성했습니다.
• 가장 강력한 이전 오픈소스 모델 (51.9% 의 MolmoWeb-8B) 을 능가했으며, 장거리 벤치마크에서는 자신의 235B 교사 모델보다도 더 나은 성능을 발휘했습니다.
• 4B 백본과 최소한의 학습 데이터를 사용함에도 불구하고 독점 시스템 (69.3% 의 Gemini CUA) 과 경쟁력을 유지했습니다.

Orchard-Claw 성능

• SFT+RL 로 Claw-Eval 에서 **59.6%**의 pass@3 를 달성하여 동급 베이스라인을 크게 능가했습니다.
• 추론 시 고급 ZeroClaw 하네스와 결합했을 때 pass@3 에서 **+14.3%**의 개선을 보였으며, 이는 목표 하네스로 학습하는 것이 에이전트가 고급 기능 (서브에이전트, 자동 압축 등) 을 활용하는 능력을 향상시킨다는 것을 입증했습니다.

중요성 및 주장

이 논문은 환경 계층이 에이전트 모델링 아티팩트의 재사용성을 지배하는 기초적 기질이라고 주장합니다. 경량, 개방형, 하네스 무관 환경 서비스를 제공함으로써 Orchard 는 다음을 가능하게 합니다:

1. 재사용성: 궤적 데이터, SFT 레시피, RL 롤아웃 및 평가 프로토콜을 인프라를 재구축하지 않고도 도메인 (SWE, GUI, 비서) 과 하네스 간에 이전할 수 있습니다.
2. 확장성 및 비용: 이 프레임워크는 대규모 에이전트 학습을 관리형 서비스보다 10 배 저렴하게 만들어 오픈소스 커뮤니티에 재현 가능하게 합니다.
3. 일반화: 환경과 학습 스택을 분리함으로써 모델이 하네스 무관 기술을 학습하게 하여 보지 못한 도구와 작업에서 견고한 성능을 발휘하게 합니다.

저자들은 확장 가능한 에이전트 모델링 연구를 가속화하기 위해 전체 Orchard 프레임워크 (환경 서비스, 학습 레시피, 데이터셋) 를 공개하며, 인프라 설계가 오픈소스 AI 에이전트 발전을 위한 알고리즘 혁신만큼이나 중요하다고 주장합니다.