Resumo Técnico: ASTER (Agentic Scaling with Tool-integrated Extended Reasoning)

1. Definição do Problema

O Aprendizado por Reforço (RL) tornou-se um paradigma dominante para extrair raciocínio de longo horizonte em Grandes Modelos de Linguagem (LLMs). No entanto, o escalonamento do Raciocínio Integrado com Ferramentas (TIR) via RL enfrenta um modo de falha crítico denominado colapso de interação. Neste estado patológico, os modelos falem em sustentar o uso de ferramentas em múltiplas etapas. Em vez disso, eles degeneram para um raciocínio interno extensivo seguido de uma verificação de código trivial e post-hoc, falhando em utilizar ferramentas externas para computação e verificação intermediárias.

Abordagens existentes para a inicialização de TIR sofrem de limitações específicas:

• ZeroTIR (RL do zero): Sofre de treinamento instável devido ao feedback não estacionário e ao desvio de distribuição, frequentemente falhando em instilar novas capacidades além dos limites representacionais do modelo base.
• Cold-Starts de Ajuste Fino Supervisionado (SFT): Métodos existentes frequentemente introduzem vieses indutivos fortes que levam ao colapso de interação.
  • Reescrita de CoT apenas de texto para código (ex: ReTool): Preserva estruturas puramente de texto, limitando o planejamento genuinamente impulsionado por ferramentas.
  • Trajetórias geradas por professores (ex: DemyAgent): Frequentemente apresentam raciocínios curtos e reativos que contradizem o comportamento deliberado de "Sistema-2" exigido para tarefas complexas.

2. Metodologia: O Framework ASTER

Os autores introduzem o ASTER (Agentic Scaling with Tool-integrated Extended Reasoning), um framework de dois estágios projetado para contornar o colapso de interação ao priorizar a densidade de interação na fase de cold-start.

Hipótese Central

O artigo postula que o prior comportamental estabelecido durante o SFT de cold-start dita os resultados de RL subsequentes. Especificamente, a densidade de interação (o número de invocações de ferramentas por trajetória) é a propriedade fundamental. Trajetórias de alta densidade e longo horizonte induzem um prior comportamental de alta entropia que preserva a capacidade de exploração durante o RL, prevenindo a convergência prematura para políticas rasas.

Pipeline Técnico

1. Construção de Dados:

   • Fontes: Skywork-OR1-RL-Data e 93 mil problemas dos fóruns da AoPS.
   • Síntese: Soluções aumentadas por ferramentas geradas pelo GPT-OSS-20B-high.
   • Filtragem: Apenas trajetórias com 100% de sucesso na execução da ferramenta e respostas finais corretas são retidas.
   • Curadoria Chave: Os autores constroem um pequeno conjunto de dados de cold-start especializado de 4 mil trajetórias, selecionando especificamente aquelas com mais de nove turnos de interação com ferramentas.

2. Estágio 1: SFT de Cold-Start Direcionado:

   • O modelo é ajustado finamente nas 4 mil trajetórias de alta densidade de interação.
   • Diferente das abordagens tradicionais que otimizam para a precisão imediata pós-SFT, este estágio prioriza o estabelecimento de um prior comportamental para o uso sustentado de ferramentas em múltiplas etapas, mesmo que isso resulte em uma precisão inicial menor comparada à inicialização centrada em raciocínio.

3. Estágio 2: Treinamento de RL de Múltiplos Estágios:

   • Algoritmo: Group Relative Policy Optimization (GRPO).
   • Currículo: Um processo de dois estágios com comprimentos de contexto crescentes (18K tokens no Estágio 1, 32K tokens no Estágio 2).
   • Orçamento de Interação: O número máximo de invocações de ferramentas por trajetória é limitado a 50 durante o treinamento para incentivar o planejamento de longo horizonte.
   • Filtragem: Antes de transitar para o Estágio 2, os prompts que consistentemente geram resultados corretos são filtrados para focar o treinamento em instâncias desafiadoras.

3. Contribuições Principais e Descobertas

Pergunta de Pesquisa 1: O Papel do SFT de Cold-Start

O estudo demonstra que o SFT de cold-start não é universalmente benéfico; sua eficácia depende inteiramente dos padrões de interação codificados nas demonstrações.

• Priors Esparsos/de Curto Horizonte: Conjuntos de dados como ReTool e DemyAgent (dominados por 1 a 2 chamadas de ferramenta) induzem um prior que enviesa o aprendizado para comportamentos de verificação rasos, muitas vezes performando pior que o ZeroTIR (RL do zero).
• Priors Densos/de Longo Horizonte: A abordagem ASTER, utilizando trajetórias de alta densidade de interação, induz um prior robusto que permite o uso sustentado de ferramentas em múltiplas etapas e desempenho superior subsequente.

Pergunta de Pesquisa 2: Efeito da Densidade de Interação

A estratificação do conjunto de dados de cold-start pelo número de chamadas de ferramenta revela uma ordem clara de desempenho:

• ≥9 Chamadas de Ferramenta (subconjunto de 4K): Resulta na maior precisão final e mantém a maior entropia de treinamento ao longo do RL, indicando uma exploração mais ampla.
• ≤1 Chamada de Ferramenta: Resulta no pior desempenho e em um rápido colapso de entropia.
• Conclusão: Cold-starts com alta densidade de interação são essenciais para moldar a dinâmica de RL em direção ao uso persistente de ferramentas.

Pergunta de Pesquisa 3: Efeito do Orçamento de Interação de RL

Existe um efeito de alinhamento de orçamento crítico entre o orçamento de interação durante o treinamento e o de inferência.

• Modelos treinados com orçamentos generosos (50 chamadas) alcançam um pico de desempenho significativamente maior quando os orçamentos de inferência são grandes (ex: 256 chamadas).
• Por outro lado, modelos treinados com orçamentos restritos performam melhor sob restrições de inferência apertadas.
• Implicação: Orçamentos desalinhados degradam o desempenho; o alinhamento é necessário para o escalonamento ideal.

4. Resultados Experimentais

Os autores avaliam o ASTER-4B (baseado em Qwen3-4B) contra baselines de estado da arte em benchmarks matemáticos competitivos (AIME 2024/2025, HMMT 2025, BeyondAIME).

• Desempenho: O ASTER-4B atinge 90,0% no AIME 2025 (com um orçamento de inferência de 90K) e 85,0% (30K de orçamento).
• Comparação: Supera significativamente modelos muito maiores, incluindo o DeepSeek-V3.2-Exp (671 bilhões de parâmetros) e o Qwen3-235B-A22B-Thinking.
• Escalonamento: O modelo exibe um forte escalonamento de tempo de teste, com o desempenho melhorando de 85,0% para 90,0% conforme o orçamento de inferência aumenta de 30K para 90K.
• Eficiência: O ASTER-4B supera as melhores baselines agênticas (rStar2-Agent-14B) por margens significativas (ex: +20,2% no AIME 2025), apesar de ser treinado em uma contagem de parâmetros muito menor.

5. Significância e Alegações

O artigo afirma que o ASTER mitiga com sucesso o colapso de interação no raciocínio integrado com ferramentas ao redefinir a estratégia de cold-start. A principal significância reside na descoberta de que o SFT de cold-start deve priorizar a diversidade comportamental e a exploração (via densidade de interação) em vez de métricas de precisão de curto prazo.

Ao estabelecer um prior de alta entropia através de um pequeno conjunto de trajetórias especialistas de alta densidade de interação, o ASTER permite que modelos compactos (4B) rivalizem ou excedam o desempenho de baselines gigantes (200B+ parâmetros) em tarefas de raciocínio complexas e de longo horizonte. Isso sugere que o escalonamento agêntico pode ser alcançado através de uma melhor inicialização e design de interação, em vez de depender exclusivamente do escalonamento de parâmetros.

Os autores enfatizam que, embora essas capacidades melhorem a eficiência de fluxos de trabalho de raciocínio complexos (ex: resolução de problemas matemáticos), elas também introduzem considerações de segurança relativas ao uso automatizado de ferramentas, defendendo a execução em ambientes isolados (sandboxed) e a supervisão humana no deployment.