Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

Resumo Técnico: Arenas de Agentes Bittensor como um Primitivo de Trajetória

Definição do Problema
O artigo identifica um gargalo crítico no pós-treinamento de agentes de modelos pequenos: a escassez de dados supervisionados de alta qualidade por trajetória. Embora algoritmos líderes (RLVR, RL relativo ao grupo, re-SFT por rejeição) demonstrem ganhos de desempenho mensuráveis, eles dependem de traços de múltiplos turnos com supervisão independente que as fontes de dados existentes não conseguem fornecer em escala.

• Dados Sintéticos: Gerados por modelos de fronteira, esses dados herdam os vieses do sintetizador e causam colapso de distribuição (colapso de modelo), falhando em capturar a cauda longa de comportamentos diversos de agentes.
• Logs de Produção: Embora diversos, logs não filtrados carecem de julgamento por trajetória, são dominados pela política atual de topo e são contaminados por comportamentos de "atalho", onde agentes alcançam respostas corretas através de raciocínios ilegítimos.

Os autores argumentam que o pós-treinamento de agentes para modelos pequenos requer um substrato de trajetória que ofereça diversidade alinhada a incentivos, julgamento por trajetória e avaliação de retenção anti-memorização — propriedades não encontradas nas fontes de dados isoladas atuais.

Metodologia
Os autores propõem e demonstram um novo primitivo de geração de dados: uma arena de agentes alinhada a incentivos construída sobre a rede Bittensor. Eles instanciam isso via ORO Subnet 15 (SN15), uma implementação do benchmark de comércio agente de ShoppingBench.

1. Mecânicas da Arena (SN15):

   • Diversidade Alinhada a Incentivos: Mineradores independentes submetem agentes de IA a uma corrida contínua. Um ciclo de promoção diário, limites de taxa de submissão e embargo de código-fonte criam uma pressão de "descobrir-então-compartilhar", garantindo que políticas diversas sejam continuamente geradas para competir por recompensas em tokens.
   • Julgamento por Trajetória: Cada trajetória é pontuada em dois eixos: uma pontuação de resultado (baseada em regras) e um coeficiente de qualidade de raciocínio atribuído por um LLM juiz de raciocínio dedicado. O juiz é fundamentado no traço, desacoplado do pontuador de resultado e executado por validadores, não por mineradores.
   • Problemas de Retenção Rotativos: O conjunto de problemas é versionado e rotacionado. Um "guarda de cluster de vazamento" agrupa variantes do mesmo problema subjacente com paráfrases ou reordenação de atributos, garantindo que as partições de avaliação de retenção permaneçam distintas dos dados de treinamento para evitar memorização.

2. Pipeline de Dados e Filtro Estrutural:
   O "firehose" bruto de trajetórias da SN15 é processado em um corpus treinável:

   • Normalização: Os traços são convertidos para um esquema canônico de chamadas de ferramentas da OpenAI usando o framework Trac.
   • Filtro de Qualidade Estrutural: Um filtro de múltiplos estágios seleciona apenas trajetórias agênticas (onde o LLM emite chamadas de ferramenta) e rejeita trajetórias de sub-tarefa (onde o LLM atua meramente como um classificador ou narrador sobre um loop de busca determinístico).
   • Portão (Gating): As trajetórias devem passar por um portão de coeficiente de raciocínio (baseado no juiz LLM) e um portão de validade de formato.
   • Divisão Protegida pelo Guarda de Cluster de Vazamento: O conjunto de dados é dividido em pools de treinamento e avaliação de modo que nenhuma variante de problema (clusters de vazamento) apareça em ambos, garantindo uma superfície de generalização real.

3. Receita de Pós-Treinamento:
   Os autores realizam o ajuste fino do Qwen3-4B no corpus filtrado usando um pipeline de cinco estágios que se assemelha estritamente à baseline de SFT-então-GRPO publicada do ShoppingBench, com duas substituições documentadas:

   • O SFT de professor contínuo substitui a destilação on-policy passo a passo.
   • O refinamento de preferência KTO é adicionado como uma etapa.
   • O pipeline conclui com Dr. GRPO (uma recompensa baseada em professor por passo) para converter o headroom latente em melhoria de processo.

Principais Contribuições

1. Novo Primitivo de Treinamento: O artigo caracteriza as subnets de agentes Bittensor como uma nova forma de primitivo de dados de treinamento, definida pela combinação de diversidade alinhada a incentivos, julgamento por trajetória e problemas de retenção rotativos.
2. Mecânicas de Arena Reproduzíveis: Documentação detalhada do sistema de corrida da SN15, do juiz de raciocínio LLM e da rotação de problemas, produzindo um fluxo contínuo de trajetórias julgadas.
3. Filtro de Qualidade Estrutural: Um filtro inovador que converte traços brutos de subnets em um corpus SFT treinável, distinguindo comportamento agêntico real de narração de sub-tarefa, com código aberto liberado.
4. Validação Empírica: Demonstração de que um modelo pequeno de código aberto (Qwen3-4B) pós-treinado no corpus gerado pela subnet alcança ganhos de desempenho significativos em uma partição de retenção estrita e protegida contra vazamentos de clusters.

Resultados
Em uma partição de retenção protegida contra vazamento de clusters e pontuada com critérios rigorosos de produção:

• Baseline: O modelo base Qwen3-4B publicado alcançou uma Taxa de Sucesso Média (ASx) de 18,0%.
• Modelo Destilado: O modelo pós-treinado no corpus da SN15 alcançou uma ASR de 42,7%.
• Ganho: Isso representa uma melhoria de 24,7 pontos, situando-se dentro do ruído de um único problema da baseline de SFT-apenas com dados sintéticos publicada (43,6%).
• Eficiência: Este ganho foi alcançado usando uma fatia de treinamento que representa apenas uma pequena fração de um único dia de saída da subnet.
• Lacuna Remanescente: O stack supervisionado deixou uma lacuna significativa entre o pass@1 (34,8%) e o pass@8 (53,3%). Os autores identificam o "firehose de sub-tarefas" (atualmente filtrado) como o principal alavancador para fechar a lacuna restante em relação à barra de SFT+GRPO publicada de 48,7%.

Significância e Alegações
O artigo afirma que uma arena de agentes alinhada a incentivos pode ser deliberadamente projetada para fabricar o tipo específico de dado de trajetória exigido para o pós-treinamento de agentes de modelos pequenos. Ele postula que a combinação de incentivos econômicos, juízes de raciocínio externos e conjuntos de problemas rotativos cria um substrato de dados qualitativamente diferente tanto de dados sintéticos quanto de logs de produção.

Os autores são modestos em seu escopo, declarando explicitamente:

• Eles não alegam que as trajetórias de subnets podem substituir universalmente dados sintéticos ou logs de produção para todas as superfícies de tarefas.
• O modelo resultante não é um produto final.
• Eles reconhecem riscos, incluindo o viés para trajetórias de sub-tarefas nos dados brutos (que são filtrados), a sensibilidade dos resultados aos formatos de harness e o fato de que a supervisão do juiz de raciocínio é correlacional e não um padrão "ouro".

O trabalho serve como uma prova de conceito de que uma competição descentralizada e alinhada a incentivos pode gerar trajetórias julgadas de alta qualidade e múltiplos turnos, capazes de destilar agentes competentes a partir de modelos base pequenos.