Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

Technische Samenvatting: Bittensor Agent Arenas als een Trajectorie-Primitief

Probleemstelling
Het paper identificeert een kritieke flessenhals in de agentische post-training van kleine modellen: het tekort aan hoogwaardige, per trajectorie-specifieke gesuperviseerde data. Hoewel leidende algoritmen (RLVR, group-relative RL, rejection-sampled re-SFT) meetbare prestatieverbeteringen laten zien, vertrouwen ze op multi-turn traces met onafhankelijke supervisie die bestaande databronnen niet op schaal kunnen bieden.

• Synthetische Data: Gegenereerd door frontier-modellen; deze data erft de biases van de synthesizer en veroorzaakt distributie-instorting (model collapse), waardoor het niet slaagt in het vastleggen van de lange staart van diverse agent-gedragingen.
• Productielogs: Hoewel divers, missen ongefilterde logs zonder per trajectorie-specifieke beoordeling de nodige kwaliteitscontrole, worden ze gedomineerd door de huidige top-policy en zijn ze gecontamineerd door "shortcut"-gedragingen waarbij agents het juiste antwoord bereiken via illegitieme redeneringen.

De auteurs stellen dat de agentische post-training van kleine modellen een trajectorie-substraat vereist dat biedt op het gebied van incentive-aligned diversiteit, per trajectorie-specifieke beoordeling en anti-geheugen vorming voor helder gehouden evaluatie—eigenschappen die niet aanwezig zijn in huidige geïsoleerde databronnen.

Methodologie
De auteurs stellen een nieuw data-generatie-primitief voor en demonstreren dit: een incentive-aligned agent arena gebouwd op het Bittensor-netwerk. Zij instantiëren dit via ORO Subnet 15 (SN15), een deployment van de ShoppingBench agentische commercie benchmark.

1. Arena-mechanica (SN15):

   • Incentive-Aligned Diversiteit: Onafhankelijke miners dienen AI-agents in voor een continue race. Een dagelijkse promotiecyclus, limieten op indieningsfrequenties en embargo's op broncode creëren een "ontdek-dan-deel"-druk, wat ervoor zorgt dat diverse policies continu worden gegenereerd om te concurreren voor token-beloningen.
   • Per Trajectorie-specifieke Beoordeling: Elke trajectorie wordt gescoord op twee assen: een uitkomstscore (regelgebaseerd) en een redeneerkwaliteit-coëfficiënt toegewezen door een speciale LLM-redeneerbeoordelaar. De beoordelaar is trace-gegrond, ontkoppeld van de uitkomst-scorer en wordt gerund door validators, niet door miners.
   • Roterende Held-out Problemen: De probleemset wordt versioneerd en geroteerd. Een "leak-cluster guard" groepeert geparafraseerde of qua attributen geherordende varianten van hetzelfde onderliggende probleem, wat ervoor zorgt dat de held-out evaluatie-partities onderscheidend blijven van de trainingsdata om memorisatie te voorkomen.

2. Data Pipeline & Structurele Filter:
   De ruwe "firehose" van SN15-trajectorieën wordt verwerkt tot een trainbare corpus:

   • Normalisatie: Traces worden omgezet naar een canoniek OpenAI tool-calls schema met behulp van het Trac-framework.
   • Structurele Kwaliteitsfilter: Een multi-stage filter selecteert alleen agentische trajectorieën (waarbij de LLM tool-calls genereert) en wijst sub-taak trajectorieën af (waarbij de LLM slechts fungeert als classifier of verteller over een deterministische zoeklus).
   • Gating: Trajectorieën moeten een redeneer-coëfficiënt-gate (gebaseerd op de LLM-beoordelaar) en een formaat-validiteit-gate passeren.
   • Leak-Cluster Guarded Split: De dataset wordt gesplitst in trainings- en evaluatiepools zodanig dat geen enkele probleemvariant (leak clusters) in beide voorkomt, wat een ware generalisatie-oppervlak garandeert.

3. Post-Training Recept:
   De auteurs finetunen Qwen3-4B op het gefilterde corpus met behulp van een vijffasen-pipeline die nauw aansluit bij de gepubliceerde ShoppingBench SFT-dan-GRPO baseline, met twee gedocumenteerde substituties:

   • Voortgezette teacher-SFT vervangt stapwijze on-policy distillatie.
   • KTO-preferentie verfijning wordt toegevoegd als een fase.
   • De pipeline wordt afgesloten met Dr. GRPO (een per-stap teacher-gegronde beloning) om latente headroom om te zetten in procesverbetering.

Kernbijdragen

1. Nieuw Trainingsprimitief: Het paper karakteriseert Bittensor agent subnets als een nieuwe vorm van trainingsdata-primitief, gedefinieerd door de combinatie van incentive-aligned diversiteit, per trajectorie-specifieke beoordeling en roterende held-out problemen.
2. Reproduceerbare Arena-mechanica: Gedetailleerde documentatie van de SN15 race-systematiek, de LLM redeneerbeoordelaar en probleemrotatie, wat een continue stroom van beoordeelde trajectorieën produceert.
3. Structurele Kwaliteitsfilter: Een nieuwe filter die ruwe subnet-traces omzet in een trainbaar SFT-corpus door onderscheid te maken tussen echt agentisch gedrag en sub-taak narratie, vrijgegeven als open code.
4. Empirische Validatie: Demonstratie dat een klein open model (Qwen3-4B) die gepost-trained is op dit door het subnet gegenereerde corpus, significante prestatiewinsten behaalt op een strikte, leak-cluster-geguarde held-out partitie.

Resultaten
Op een leak-cluster-geguarde held-out partitie gescoord met productie-strikte criteria:

• Baseline: Het gepubliceerde Qwen3-4B base model behaalde een Average Success Rate (ASR) van 18,0%.
• Gedistilleerd Model: Het model dat gepost-trained is op de SN15 corpus behaalde een ASR van 42,7%.
• Winst: Dit vertegenwoordigt een verbetering van 24,7 punten, wat binnen de ruis van een enkel probleem ligt van de gepubliceerde synthetische-data SFT-only baseline (43,6%).
• Efficiëntie: Deze winst werd behaald met een trainingsslice die slechts een klein fractie van een enkele dag aan subnet-output vertegenwoordigt.
• Resterende Kloof: De supervised stack liet een aanzienlijke kloof achter tussen pass@1 (34,8%) en pass@8 (53,3%). De auteurs identificeren de "sub-task firehose" (momenteel gefilterd) als de primaire hefboom om de resterende kloof naar de gepubliceerde SFT+GRPO bar van 48,7% te dichten.

Betekenis en Claims
Het paper claimt dat een incentive-aligned agent arena doelbewust kan worden ontworpen om het specifieke type trajectorie-data te produceren dat vereist is voor de agentische post-training van kleine modellen. Het stelt dat de combinatie van economische prikkels, externe redeneerbeoordelaars en roterende probleemsets een datastructuur creëert die kwalitatief verschillend is van zowel synthetische data als productielogs.

De auteurs zijn bescheiden in hun reikwijdte en stellen expliciet:

• Zij claimen niet dat subnet-trajectorieën universeel synthetische data of productielogs kunnen vervangen voor alle taak-oppervlakken.
• Het resulterende model is geen afgewerkt product.
• Zij erkennen risico's, waaronder de bias naar sub-taak trajectorieën in de ruwe data (die worden weggefilterd), de gevoeligheid van resultaten voor harness-formaten, en het feit dat de supervisie van de redeneerbeoordelaar correlationeel is en geen "gouden standaard".

Het werk dient als een proof-of-concept dat een gedecentraliseerde, incentive-aligned competitie in staat is om hoogwaardige, beoordeelde multi-turn trajectorieën te genereren die in staat zijn om competente agents te distilleren uit kleine base-modellen.