Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

Sintesi Tecnica: Bittorrent Agent Arenas come Primitivo di Traiettoria

Problematica
Il documento identifica un collo di bottiglia critico nel post-training agentico per modelli piccoli: la scarsità di dati supervisionati di alta qualità per singola traiettoria. Sebbene gli algoritmi principali (RLVR, group-relative RL, rejection-sampled re-SFT) dimostrino incrementi di prestazioni misurabili, essi si basano su tracce multi-turno con supervisione indipendente che le fonti di dati esistenti non riescono a fornire su larga scala.

• Dati Sintetici: Generati da modelli frontier, questi dati ereditano i bias del sintetizzatore e causano il collasso della distribuzione (model collapse), fallendo nel catturare la "long tail" di comportamenti agentici diversificati.
• Log di Produzione: Sebbene diversificati, i log non filtrati mancano di giudizio per singola traiettoria, sono dominati dall'attuale top policy e sono contaminati da comportamenti di "scorciatoia" (shortcut) dove gli agenti raggiungono risposte corrette tramite un ragionamento illegittimo.

Gli autori sostengono che il post-training agentico per modelli piccoli richieda un substrato di traiettorie che offra diversità allineata agli incentivi, giudizio per singola traiettoria e valutazione di hold-out anti-memorizzazione — proprietà non presenti nelle attuali fonti di dati isolate.

Metodologia
Gli autori propongono e dimostrano un nuovo primitivo di generazione dati: un'arena di agenti allineata agli incentivi costruita sulla rete Bittensor. Lo implementano tramite ORO Subnet 15 (SN15), un deployment del benchmark agentico-commerciale ShoppingBench.

1. Meccaniche dell'Arena (SN15):

   • Diversità Allineata agli Incentivi: Miner indipendenti sottomettono agenti IA a una corsa continua. Un ciclo di promozione giornaliero, limiti di frequenza di sottomissione e embargo del codice sorgente creano una pressione "scopri-e-condividi", garantendo che policy diverse vengano continuamente generate per competere per i reward in token.
   • Giudizio per Singola Traiettoria: Ogni traiettoria è valutata su due assi: un punteggio di esito (basato su regole) e un coefficiente di qualità del ragionamento assegnato da un LLM dedicato al giudizio del ragionamento. Il giudice è ancorato alla traccia (trace-grounded), scollegato dallo scorer dell'esito e gestito dai validator, non dai miner.
   • Problemi di Hold-out Rotativi: La suite di problemi è versionata e ruotata. Un "leak-cluster guard" raggruppa varianti parafrasate o con attributi riordinati dello stesso problema sottostante, garantendo che le partizioni di valutazione hold-out rimangano distinte dai dati di training per prevenire la memorizzazione.

2. Pipeline dei Dati e Filtro Strutturale:
   Il flusso grezzo ("firehose") di traiettorie di SN15 viene elaborato in un corpus addestrabile:

   • Normalizzazione: Le tracce vengono convertite in uno schema canonico di tool-calls di OpenAI utilizzando il framework Trac.
   • Filtro di Qualità Strutturale: Un filtro multi-stadio seleziona solo traiettorie agentiche (dove l'LLM emette tool calls) e rifiuta le traiettorie di sub-task (dove l'LLM agisce meramente come classificatore o narratore sopra un loop deterministico di ricerca).
   • Gating: Le traiettorie devono superare un gate del coefficiente di ragionamento (basato sul giudice LLM) e un gate di validità del formato.
   • Split Protetto dal Leak-Cluster Guard: Il dataset è diviso in pool di training e valutazione in modo che nessuna variante del problema (leak cluster) appaia in entrambi, garantendo una vera superficie di generalizzazione.

3. Ricetta di Post-Training:
   Gli autori effettuano il fine-tuning di Qwen3-4B sul corpus filtrato utilizzando una pipeline a cinque stadi strettamente coordinata con la baseline pubblicata di ShoppingBench SFT-then-GRPO, con due sostituzioni documentate:

   • Il Continued teacher-SFT sostituisce la distillazione on-policy stepwise.
   • Viene aggiunto il raffinamento delle preferenze KTO come stadio.
   • La pipeline si conclude con Dr. GRPO (un reward per step ancorato al teacher) per convertire l'headroom latente in miglioramento del processo.

Contributi Chiave

1. Nuovo Primitivo di Training: Il paper caratterizza le subnet di agenti Bittensor come una nuova forma di primitivo di dati di training, definita dalla combinazione di diversità allineata agli incentivi, giudizio per singola traiettoria e problemi di hold-out rotativi.
2. Meccaniche dell'Arena Riproducibili: Documentazione dettagliata del sistema di gara di SN15, del giudice del ragionamento LLM e della rotazione dei problemi, producendo un flusso continuo di traiettorie giudicate.
3. Filtro di Qualità Strutturale: Un filtro innovativo che converte le tracce grezze della subnet in un corpus SFT addestrabile, distinguendo tra vero comportamento agentico e narrazione di sub-task, rilasciato come codice aperto.
4. Validazione Empirica: Dimostrazione che un piccolo modello open (Qwen3-4B) sottoposto a post-training su questo corpus generato dalla subnet raggiunge guadagni significativi su una partizione hold-out protetta dal leak-cluster.

Risultati
Su una partizione hold-out protetta dal leak-cluster e valutata con criteri di produzione rigorosi:

• Baseline: Il modello base Qwen3-4B pubblicato ha raggiunto un Average Success Rate (ASR) del 18.0%.
• Modello Distillato: Il modello post-trained sul corpus SN15 ha raggiunto un ASR del 42.7%.
• Guadagno: Questo rappresenta un miglioramento di 24.7 punti, posizionandosi entro il rumore di un singolo problema rispetto alla baseline SFT-only con dati sintetici pubblicata (43.6%).
• Efficienza: Questo guadagno è stato ottenuto utilizzando un segmento di training che rappresenta solo una piccola frazione di un singolo giorno di output della subnet.
• Gap Residuo: Lo stack supervisionato ha lasciato un gap significativo tra pass@1 (34.8%) e pass@8 (53.3%). Gli autori identificano il "sub-task firehose" (attualmente filtrato) come la leva principale per colmare il gap rimanente verso il livello SFT+GRPO pubblicato di 48.7%.

Significatività e Claim
Il paper sostiene che un'arena di agenti allineata agli incentivi può essere deliberatamente ingegnerizzata per fabbricare il tipo specifico di dati di traiettoria richiesto per il post-training agentico di modelli piccoli. Postula che la combinazione di incentivi economici, giudici del ragionamento esterni e set di problemi rotativi crei un substrato di dati qualitativamente diverso sia dai dati sintetici che dai log di produzione.

Gli autori sono modesti nel loro ambito, dichiarando esplicitamente:

• Non pretendono che le traiettorie della subnet possano sostituire universalmente i dati sintetici o i log di produzione per tutte le superfici di task.
• Il modello risultante non è un prodotto finito.
• Riconoscono i rischi, incluso lo skew verso le traiettorie di sub-task nei dati grezzi (che vengono filtrate fuori), la sensibilità dei risultati ai formati di harness e il fatto che la supervisione del giudice del ragionamento sia correlazionale piuttosto che uno standard "gold".

Il lavoro serve come prova di concetto che una competizione decentralizzata e allineata agli incentivi può generare traiettorie giudicate di alta qualità, multi-turno, capaci di distillare agenti competenti da piccoli modelli base.