Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

Résumé technique : Les arènes d'agents Bittensor comme primitif de trajectoire

Énoncé du problème
Le document identifie un goulot d'étranglement critique dans le post-entraînement agentique des petits modèles : la rareté des données supervisées de haute qualité par trajectoire. Bien que les algorithmes de pointe (RLVR, RL relatif au groupe, re-SFT par échantillonnage de rejet) démontrent des améliorations de performance mesurables, ils reposent sur des traces multi-tours avec une supervision indépendante que les sources de données existantes ne parviennent pas à fournir à grande échelle.

• Données synthétiques : Générées par des modèles frontaux, ces données héritent des biais du synthétiseur et provoquent un effondrement de la distribution (model collapse), échouant à capturer la longue traîne de la diversité des comportements agentiques.
• Journaux de production : Bien que diversifiés, les journaux non filtrés manquent de jugement par trajectoire, sont dominés par la politique actuelle dominante et sont contaminés par des comportements de « raccourci » où les agents atteignent les bonnes réponses via un raisonnement illégitime.

Les auteurs soutiennent que le post-entraînement agentique des petits modèles nécessite un substrat de trajectoire offrant une diversité alignée sur les incitations, un jugement par trajectoire et une évaluation par exclusion anti-mémorisation — des propriétés absentes des sources de données isolées actuelles.

Méthodologie
Les auteurs proposent et démontrent un nouveau primitif de génération de données : une arène d'agents alignée sur les incitations construite sur le réseau Bittensor. Ils l'instancient via le Sous-réseau ORO 15 (SN15), un déploiement du benchmark de commerce agentique ShoppingBench.

1. Mécaniques de l'arène (SN15) :

   • Diversité alignée sur les incitations : Des mineurs indépendants soumettent des agents IA à une course continue. Un cycle de promotion quotidien, des limites de taux de soumission et des embargo sur le code source créent une pression de « découvrir-puis-partager », garantissant que des politiques diverses sont continuellement générées pour concourir pour les récompenses en jetons.
   • Jugement par trajectoire : Chaque trajectoire est évaluée sur deux axes : un score de résultat (basé sur des règles) et un coefficient de qualité de raisonnement attribué par un LLM juge dédié au raisonnement. Le juge est ancré dans la trace, découplé du scoreur de résultat, et exécuté par des validateurs, non par des mineurs.
   • Problèmes tournants exclus : La suite de problèmes est versionnée et rotative. Une « garde de cluster de fuite » regroupe les variantes paraphrasées ou aux attributs réordonnés d'un même problème sous-jacent, garantissant que les partitions d'évaluation exclues restent distinctes des données d'entraînement pour prévenir la mémorisation.

2. Pipeline de données et filtre structurel :
   Le flux brut (« firehose ») de trajectoires de SN15 est traité pour devenir un corpus entraînable :

   • Normalisation : Les traces sont converties en un schéma canonique d'appels d'outils OpenAI via le framework Trac.
   • Filtre de qualité structurelle : Un filtre multi-étapes sélectionne uniquement les trajectoires agentiques (où le LLM émet des appels d'outils) et rejette les trajectoires de sous-tâches (où le LLM agit simplement comme un classificateur ou un narrateur sur une boucle de recherche déterministe).
   • Porte de contrôle (Gating) : Les trajectoires doivent passer une porte de coefficient de raisonnement (basée sur le juge LLM) et une porte de validité de format.
   • Séparation protégée par la garde de cluster de fuite : Le jeu de données est divisé en pools d'entraînement et d'évaluation de sorte qu'aucune variante de problème (cluster de fuite) n'apparaisse dans les deux, garantissant une véritable surface de généralisation.

3. Recette de post-entraînement :
   Les auteurs affinent Qwen3-4B sur le corpus filtré en utilisant un pipeline en cinq étapes étroitement assorti à la ligne de base SFT-puis-GRPO publiée de ShoppingBench, avec deux substitutions documentées :

   • Le SFT-enseignant continu remplace la distillation on-policy étape par étape.
   • L'affinement de préférence KTO est ajouté comme une étape.
   • Le pipeline se conclut par Dr. GRPO (une récompense par étape ancrée sur l'enseignant) pour convertir le potentiel latent en amélioration de processus.

Contributions clés

1. Nouveau primitif d'entraînement : Le document caractérise les sous-réseaux d'agents Bittensor comme une nouvelle forme de primitif de données d'entraînement, définie par la combinaison de la diversité alignée sur les incitations, du jugement par trajectoire et des problèmes tournants exclus.
2. Mécaniques d'arène reproductibles : Documentation détaillée du système de course de SN15, du juge de raisonnement LLM et de la rotation des problèmes, produisant un flux continu de trajectoires jugées.
3. Filtre de qualité structurelle : Un nouveau filtre qui convertit les traces brutes du sous-réseau en un corpus SFT entraînable en distinguant le comportement agentique réel de la narration de sous-tâche, publié en code ouvert.
4. Validation empirique : Démonstration qu'un petit modèle ouvert (Qwen3-4B) post-entraîné sur ce corpus généré par le sous-réseau atteint des gains de performance significatifs sur une partition exclue strictement protégée contre les fuites.

Résultats
Sur une partition exclue protégée contre les fuites de clusters et scorée avec des critères de production stricts :

• Baseline : Le modèle de base Qwen3-4B publié a atteint un taux de succès moyen (ASR) de 18,0 %.
• Modèle distillé : Le modèle post-entraîné sur le corpus SN15 a atteint un ASR de 42,7 %.
• Gain : Cela représente une amélioration de 24,7 points, se situant dans la marge d'erreur d'un seul problème par rapport à la ligne de base SFT-uniquement par données synthétiques publiée (43,6 %).
• Efficacité : Ce gain a été obtenu en utilisant une tranche d'entraînement qui représente qu'une petite fraction d'une seule journée de sortie du sous-réseau.
• Écart restant : La pile supervisée a laissé un écart important entre le pass@1 (34,8 %) et le pass@8 (53,3 %). Les auteurs identifient le « flux de sous-tâches » (actuellement filtré) comme le levier principal pour combler l'écart restant vers le seuil SFT+GRPO de 48,7 %.

Signification et affirmations
Le document affirme qu'une arène d'agents alignée sur les incitations peut être délibérément ingénierée pour fabriquer le type spécifique de données de trajectoire requis pour le post-entraînement agentique des petits modèles. Il pose que la combinaison des incitations économiques, des juges de raisonnement externes et des ensembles de problèmes tournants crée un substrat de données qualitativement différent des données synthétiques et des journaux de production.

Les auteurs sont modestes dans leur portée, déclarant explicitement :

• Ils ne prétendent pas que les trajectoires de sous-réseau peuvent universellement remplacer les données synthétiques ou les journaux de production pour toutes les surfaces de tâches.
• Le modèle résultant n'est pas un produit fini.
• Ils reconnaissent les risques, notamment le biais vers les trajectoires de sous-tâches dans les données brutes (qui sont filtrées), la sensibilité des résultats aux formats de harnais, et le fait que la supervision du juge de raisonnement est corrélationnelle plutôt qu'un standard « gold ».

Ce travail sert de preuve de concept qu'une compétition décentralisée et alignée sur les incitations peut générer des trajectoires jugées de haute qualité et multi-tours, capables de distiller des agents compétents à partir de petits modèles de base.