Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

기술 요약: 궤적 프리미티브로서의 Bittensor 에이전트 아레나 (Bittensor Agent Arenas as a Trajectory Primitive)

문제 정의
본 논문은 소형 모델의 에이전트적 사후 학습(agentic post-training)에서 발생하는 결정적인 병목 현상을 식별한다: 즉, 고품질의 궤적별 지도 학습 데이터(per-trajectory supervised data)의 부족이다. 선도적인 알고리즘들(RLVR, group-relative RL, rejection-sampled re-SFT)은 측정 가능한 성능 향상을 보여주지만, 이들은 기존의 데이터 소스들이 대규모로 제공하지 못하는 다회차 트레이스(multi-turn traces)와 독립적인 감독을 필요로 한다.

• 합성 데이터 (Synthetic Data): 프런티어 모델에 의해 생성된 이 데이터는 합성 모델의 편향을 상속받으며 분포 붕괴(model collapse)를 일으키고, 다양한 에이전트 행동의 롱테일(long tail)을 포착하는 데 실패한다.
• 프로덕션 로그 (Production Logs): 다양성은 존재하지만, 필터링되지 않은 로그는 궤적별 판단(per-trajectory judgment)이 결여되어 있으며, 현재의 최상위 정책(top policy)에 의해 지배되고, 에이전트가 정당하지 않은 추론 과정을 통해 정답에 도달하는 "지름길(shortcut)" 행동에 오염되어 있다.

저자들은 소형 모델의 에이전트적 사후 학습을 위해서는 인센티브에 부합하는 다양성(incentive-aligned diversity), 궤적별 판단(per-trajectory judging), 그리고 **암기 방지를 위한 홀드아웃 평가(anti-memorized held-out evaluation)**를 제공하는 궤적 기질(trajectory substrate)이 필요하다고 주장한다. 이러한 특성은 현재의 고립된 데이터 소스에서는 찾아볼 수 없다.

방법론
저자들은 새로운 데이터 생성 프리미티브를 제안하고 시연한다: Bittensor 네트워크를 기반으로 구축된 인센티브 부합형 에이전트 아레나이다. 이를 위해 ShoppingBench 에이전트 커머스 벤치마크를 배포한 **ORO 서브넷 15 (SN15)**를 구현하였다.

1. 아레나 메커니즘 (SN15):

   • 인센티브에 부합하는 다양성: 독립적인 마이너(miner)들이 지속적인 경주에 AI 에이전트를 제출한다. 일일 프로모션 사이클, 제출률 제한, 소스 코드 엠바고(embargo)는 "발견 후 공유(discover-then-share)" 압박을 만들어내어, 토큰 보상을 위해 경쟁하는 다양한 정책이 지속적으로 생성되도록 보장한다.
   • 궤적별 판단: 모든 궤적은 두 가지 축에 따라 점수가 매겨진다: 결과 점수(규칙 기반)와 전용 LLM 추론 판사(reasoning judge)가 할당한 **추론 품질 계수(reasoning-quality coefficient)**이다. 판사는 트레이스에 근거(trace-grounded)하며, 결과 스코어러와 분리되어 있고, 마이너가 아닌 밸리데이터(validator)에 의해 실행된다.
   • 순환되는 홀드아웃 문제 (Rotating Held-Out Problems): 문제 세트는 버전 관리 및 순환된다. "리크 클러스터 가드(leak-cluster guard)"는 동일한 근본 문제를 패러프레이징하거나 속성을 재배열한 변형들을 그룹화하여, 홀드아웃 평가 파티션이 훈련 데이터와 구별되도록 함으로써 암기를 방지한다.

2. 데이터 파이프라인 및 구조적 필터:
   SN15 궤적의 가공되지 않은 "파이어호스(firehose)"는 훈련 가능한 코퍼스로 처리된다:

   • 정규화 (Normalization): 트레이스는 Trac 프레임워크를 사용하여 표준 OpenAI 도구 호출(tool-calls) 스키마로 변환된다.
   • 구조적 품질 필터 (Structural-Quality Filter): 다단계 필터는 오직 에이전트적 궤적(LLM이 도구 호출을 생성하는 경우)만을 선택하고, 서브 태스크 궤적(LLM이 결정론적 검색 루프 위에서 단순히 분류기나 내레이터 역할을 하는 경우)은 거부한다.
   • 게이팅 (Gating): 궤적은 추론 계수(LLM 판사 기반) 게이트와 형식 유효성 게이트를 통과해야 한다.
   • 리크 클러스터 가드 적용 분할: 데이터셋은 문제 변형(리크 클러스터)이 훈련과 평가 풀 양쪽에 나타나지 않도록 분할되어, 진정한 일반화 표면을 보장한다.

3. 사후 학습 레시피:
   저자들은 발표된 ShoppingBench SFT-then-GRPO 베이스라인과 밀접하게 일치하는 5단계 파이프라인을 사용하여 Qwen3-4B를 필터링된 코퍼스로 미세 조정한다. 여기에는 두 가지 문서화된 대체 사항이 있다:

   • 단계별 온-폴리시 증류(on-policy distillation) 대신 지속적인 티처-SFT(Continued teacher-SFT)를 사용한다.
   • KTO 선호도 정제(preference refinement) 단계를 추가한다.
   • 파이프라인은 잠재적 헤드룸을 프로세스 개선으로 전환하기 위한 Dr. GRPO(단계별 티처 근거 보상)로 마무리된다.

핵심 기여

1. 새로운 훈련 프리미티브: 본 논문은 Bittensor 에이전트 서브넷을 인센티브 부합형 다양성, 궤적별 판단, 순환되는 홀드아웃 문제의 결합으로 정의되는 새로운 형태의 훈련 데이터 프리미티브로 규정한다.
2. 재현 가능한 아레나 메커니즘: SN15의 경주 시스템, LLM 추론 판사, 문제 순환에 대한 상세한 문서를 제공하여, 판단된 궤적의 지속적인 스트림을 생성한다.
3. 구조적 품질 필터: 가공되지 않은 서브넷 트레이스를 진정한 에이전트 행동과 서브 태스크 내레이션을 구분함으로써 훈련 가능한 SFT 코퍼스로 변환하는 독창적인 필터를 개발하여 오픈 코드로 공개한다.
4. 경험적 검증: 리크 클러스터 가드가 적용된 홀드아웃 파티션에서, 이 서브넷 생성 코퍼스로 사후 학습된 소형 오픈 모델(Qwen3-4B)이 상당한 성능 향상을 달성함을 입증한다.

결과
엄격한 생산 기준(production-strict criteria)으로 점수가 매겨진 리크 클러스터 가드 홀드아웃 파티션에서:

• 베이스라인: 발표된 Qwen3-4B 베이스 모델은 평균 성공률(ASR) **18.0%**를 기록했다.
• 증류된 모델 (Distilled Model): SN15 코퍼스로 사후 학습된 모델은 ASR **42.7%**를 달성했다.
• 이득 (Gain): 이는 24.7%포인트의 향상을 의미하며, 발표된 합성 데이터 기반 SFT-only 베이스라인(43.6%)의 단일 문제 노이즈 범위 내에 들어온다.
• 효율성: 이 이득은 단 하루의 서브넷 출력량 중 아주 적은 부분만을 나타내는 훈련 슬라이스를 사용하여 달성되었다.
• 남은 격차: 지도 학습 스택은 pass@1(34.8%)과 pass@8(53.3%) 사이에 상당한 격차를 남겼다. 저자들은 "서브 태스크 파이어호스"(현재 필터링됨)가 발표된 SFT+GRPO 기준인 48.7%에 도달하기 위한 주요 동력임을 확인했다.

의의 및 주장
본 논문은 인센티브 부합형 에이전트 아레나가 소형 모델의 에이전트적 사후 학습에 필요한 특정 유형의 궤적 데이터를 제조하기 위해 의도적으로 설계될 수 있다고 주장한다. 저자들은 경제적 인센티브, 외부 추론 판사, 그리고 순환되는 문제 세트의 결합이 합성 데이터나 프로덕션 로그와 질적으로 다른 데이터 기질을 생성한다고 상정한다.

저자들은 다음과 같이 범위를 겸허하게 제한한다:

• 서브넷 궤적이 모든 작업 표면에 대해 합성 데이터나 프로덕션 로그를 보편적으로 대체할 수 있다고 주장하지 않는다.
• 결과물인 모델은 완성된 제품이 아니다.
• 원시 데이터에서의 서브 태스크 궤적 편향(필터링됨), 하네스(harness) 형식에 대한 민감도, 그리고 추론 판사의 감독이 "골드(gold)" 표준이라기보다는 상관관계적이라는 점 등의 위험성을 인정한다.

이 연구는 탈중앙화되고 인센티브가 부합하는 경쟁이 소형 베이스 모델으로부터 유능한 에이전트를 증류할 수 있는 고품질의 판단된 다회차 궤적을 생성할 수 있다는 것을 보여주는 개념 증명(proof-of-concept) 역할을 한다.