Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

Resumen Técnico: Los Arenas de Agentes de Bittensor como un Primitivo de Trayectoria

Planteamiento del Problema
El artículo identifica un cuello de botella crítico en el post-entrenamiento agéntico de modelos pequeños: la escasez de datos supervisados de alta calidad por trayectoria. Aunque los algoritmos líderes (RLVR, aprendizaje por refuerzo relativo al grupo, re-SFT por muestreo de rechazo) demuestran mejoras de rendimiento mensurables, dependen de trazas de múltiples turnos con supervisión independiente que las fuentes de datos existentes no logran proporcionar a escala.

• Datos Sintéticos: Generados por modelos de frontera, estos datos heredan los sesgos del sintetizador y causan el colapso de la distribución (colapso del modelo), fallando en capturar la "larga cola" de comportamientos agénticos diversos.
• Registros de Producción (Logs): Aunque son diversos, los registros sin filtrar carecen de juicio por trayectoria, están dominados por la política superior actual y están contaminados por comportaciones de "atajo" donde los agentes alcanzan respuestas correctas mediante un razonamiento ilegítimo.

Los autores argumentan que el post-entrenamiento agéntico de modelos pequeños requiere un sustrato de trayectoria que ofrezca diversidad alineada con incentivos, juicio por trayectoria y evaluación de reserva anti-memorización; propiedades que no se encuentran en las fuentes de datos aisladas actuales.

Metodología
Los autores proponen y demuestran un nuevo primitivo de generación de datos: un arena de agentes alineado con incentivos construido sobre la red Bittensor. Lo instancian a través de ORO Subnet 15 (SN15), un despliegue del benchmark de comercio agéntico ShoppingBench.

1. Mecánicas del Arena (SN15):

   • Diversidad Alineada con Incentivos: Mineros independientes presentan agentes de IA a una carrera continua. Un ciclo de promoción diario, límites de tasa de envío y embargos de código fuente crean una presión de "descubrir-luego-compartir", asegurando que se generen continuamente políticas diversas para competir por recompensas en tokens.
   • Juicio por Trayectoria: Cada trayectoria se califica en dos ejes: una puntuación de resultado (basada en reglas) y un coeficiente de calidad de razonamiento asignado por un LLM juez de razonamiento dedicado. El juez está basado en la traza, está desacoplado del calificador de resultados y es ejecutado por validadores, no por mineros.
   • Problemas de Reserva Rotativos: La suite de problemas es versionada y rotada. Un "guardián de clústeres de fuga" (leak-cluster guard) agrupa variantes parafraseadas o con atributos reordenados del mismo problema subyacente, asegurando que las particiones de evaluación de reserva permanezcan distintas de los datos de entrenamiento para prevenir la memorización.

2. Pipeline de Datos y Filtro Estructural:
   El "caudal" (firehose) bruto de trayectorias de SN15 se procesa en un corpus entrenable:

   • Normalización: Las trazas se convierten a un esquema canónico de llamadas a herramientas de OpenAI utilizando el framework Trac.
   • Filtro de Calidad Estructural: Un filtro de múltiples etapas selecciona solo trayectorias agénticas (donde el LLM emite llamadas a herramientas) y rechaza trayectorias de sub-tareas (donde el LLM actúa meramente como un clasificador o narrador sobre un bucle de búsqueda determinista).
   • Puerta de Control (Gating): Las trayectorias deben pasar un control de coeficiente de razonamiento (basado en el juez LLM) y un control de validez de formato.
   • División Protegida por Clúster de Fuga: El conjunto de datos se divide en pozos de entrenamiento y evaluación de tal manera que ninguna variante de problema (clúster de fuga) aparezca en ambos, asegurando una verdadera superficie de generalización.

3. Receta de Post-Entrenamiento:
   Los autores ajustan finamente Qwen3-4B sobre el corpus filtrado utilizando un pipeline de cinco etapas que coincide estrechamente con la línea base de SFT-luego-GRPO publicada de ShoppingBench, con dos sustituciones documentadas:

   • El SFT continuo del profesor reemplaza la destilación on-policy paso a paso.
   • Se añade el refinamiento de preferencia KTO como una etapa.
   • El pipeline concluye con Dr. GRPO (una recompensa basada en el profesor por paso) para convertir el potencial latente en mejora de proceso.

Contribuciones Clave

1. Nuevo Primitivo de Entrenamiento: El artículo caracteriza a los subnets de agentes de Bittensor como una nueva forma de primitivo de datos de entrenamiento, definida por la combinación de diversidad alineada con incentivos, juicio por trayectoria y problemas de reserva rotativos.
2. Mecánicas de Arena Reproducibles: Documentación detallada del sistema de carrera de SN15, el juez de razonamiento LLM y la rotación de problemas, produciendo un flujo continuo de trayectorias juzgadas.
3. Filtro de Calidad Estructural: Un filtro novedoso que convierte las trazas brutas del subnet en un corpus SFT entrenable al distinguir entre comportamiento agéntico real y narración de sub-tareas, liberado como código abierto.
4. Validación Empírica: Demostración de que un modelo pequeño de código abierto (Qwen3-4B) post-entrenado en este corpus generado por el subnet logra ganancias de rendimiento significativas en una partición de reserva protegida contra fugas.

Resultados
En una partición de reserva protegida contra fugas, puntuada con criterios estrictos de producción:

• Línea Base: El modelo base Qwen3-4B publicado logró una Tasa de Éxito Promedio (ASR) del 18.0%.
• Modelo Destilado: El modelo post-entrenado en el corpus de SN15 logró un ASR del 42.7%.
• Ganancia: Esto representa una mejora de 24.7 puntos, situándose dentro del ruido de un solo problema respecto a la línea base de SFT-solo con datos sintéticos publicada (43.6%).
• Eficiencia: Esta ganancia se logró utilizando una porción de entrenamiento que representa solo una pequeña fracción de un solo día de salida del subnet.
• Brecha Remanente: El stack supervisado dejó una brecha significativa entre pass@1 (34.8%) y pass@8 (53.3%). Los autores identifican el "caudal de sub-tareas" (actualmente filtrado) como la principal palanca para cerrar la brecha restante hacia la barra de SFT+GRPO publicada de 48.7%.

Significancia y Reivindicaciones
El artículo afirma que un arena de agentes alineado con incentivos puede diseñarse deliberadamente para manufacturar el tipo específico de datos de trayectoria requeridos para el post-entrenamiento agéntico de modelos pequeños. Postula que la combinación de incentivos económicos, jueces de razonamiento externos y conjuntos de problemas rotativos crea un sustrato de datos cualitativamente diferente tanto de los datos sintéticos como de los registros de producción.

Los autores son modestos en su alcance, declarando explícitamente:

• No afirman que las trayectorias de los subnets puedan reemplazar universalmente los datos sintéticos o los registros de producción para todas las superficies de tareas.
• El modelo resultante no es un producto terminado.
• Reconocen riesgos, incluyendo el sesgo hacia las trayectorias de sub-tareas en los datos brutos (que son filtradas), la sensibilidad de los resultados a los formatos de soporte y el hecho de que la supervisión del juez de razonamiento es correlacional en lugar de un estándar "oro".

El trabajo sirve como una prueba de concepto de que una competición descentralizada y alineada con incentivos puede generar trayectorias juzgadas de alta calidad y múltiples turnos, capaces de destilar agentes competentes a partir de modelos base pequeños.