Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

Imagine um mundo onde computadores podem escrever código para consertar softwares quebrados, mas são incrivelmente caros para contratar. Pense nesses "codificadores de IA" como uma equipe de detetives de elite: alguns são superestrelas que podem resolver quase qualquer mistério, mas cobram uma fortuna por hora. Outros são detetives inteligentes e capazes que custam uma fração do preço, mas podem deixar passar pistas mais complexas. Por muito tempo, a grande questão neste campo foi: "Como saber qual detetive contratar para um caso específico?" A maioria das pessoas tentava adivinhar apenas lendo a descrição do problema (o "texto do problema"), esperando prever se o detetive barato seria suficiente ou se precisariam chamar a superestrela cara.

Mas aqui está o detalhe: ler a descrição do problema é como tentar resolver um crime olhando apenas para o boletim de ocorrência sem nunca visitar a cena do crime. O artigo que você está prestes a ler explora uma ideia mais inteligente: e se enviarmos um batedor pequeno e barato para a cena do crime primeiro? Este batedor não tenta resolver todo o mistério; ele apenas observa ao redor, encontra as partes quebradas e escreve um relatório rápido e verificado. Então, um gerente usa esse relatório para decidir qual detetive contratar. Essa abordagem, chamada de "scrouting" (exploração/reconhecimento), sugere que conhecer o contexto do problema é muito mais valioso do que apenas adivinhar com base no título do problema.

---

A História do SuperScout: O Detetive que Explora Primeiro

Conheça o SuperScout, um novo sistema projetado para consertar bugs de software sem estourar o orçamento. A equipe por trás dele percebeu que a antiga forma de contratar codificadores de IA era ineficiente. Geralmente, um roteador (um tomador de decisão) olha para um relatório de bug e escolhe imediatamente um modelo. Mas os autores descobriram algo surpreendente: se você observar os resultados de correções de software passadas, os modelos "superestrelas" resolvem quase tudo o que os modelos mais baratos conseguem, além de mais algumas coisas. Isso significa que tentar rotear para precisão (escolher o modelo perfeito para obter o maior número de correções) é um beco sem saída; você não consegue realmente superar o simples ato de sempre contratar o modelo mais caro.

Então, a equipe inverteu o jogo. Em vez de tentar ser perfeita, eles decidiram ser conscientes do custo. O objetivo deles não era resolver mais problemas do que o melhor modelo, mas sim resolver o mesmo número de problemas por uma fração minúscula do preço.

Uma Peça em Três Atos: Batedor, Verificação e Despacho

O sistema SuperScout funciona como uma linha de montagem de três etapas:

1. O Batedor (SuperScout-7B): Primeiro, um modelo de IA pequeno, de 7 bilhões de parâmetros (pense nele como um estagiário júnior), é enviado para o repositório de software. Seu trabalho não é consertar o bug, mas explorar o código, encontrar os arquivos específicos envolvidos e tentar escrever um teste que prove que o bug existe. Ele produz um "handoff" (passagem de bastão) — uma nota estruturada contendo os arquivos suspeitos, um teste de reprodução e algumas notas de detetive.
2. O Portão de Segurança (Verify-then-Strip / Verificar e Remover): Aqui está o truque de mágica. As notas do estagiário não são aceitas cegamente. Antes que o detetive principal veja as notas, um "sandbox" (uma sala de testes segura e isolada) executa o teste de reprodução do estagiário. Se o teste falhar em realmente quebrar o código (significando que o estagiário estava alucinando ou errado), essa afirmação é removida e descartada. Apenas fatos verificados e verdadeiros seguem para a próxima etapa.
3. O Roteador de Currículos: Finalmente, um gerente olha para a tarefa e para os "pensamentos ocultos" do estagiário (os estados de dados internos do modelo do batedor) para decidir qual "especialista em correção" contratar. O grupo de especialistas inclui quatro modelos de IA de fronteira diferentes, variando do mais barato ao mais caro. O roteador escolhe o mais barato que ele acredita ser capaz de lidar com o trabalho. Se o estagiário não encontrou nada, o especialista trabalha apenas com o relatório de bug original.

A Grande Revelação: O Handoff é o que Realmente Importa

Quando a equipe testou o SuperScout em 266 bugs reais de software Python (um desafio massivo conhecido como SWE-bench Pro), os resultados foram chocantes.

• A Pontuação: O SuperScout resolveu 159 de 266 tarefas.
• A Competição: O único e melhor modelo, o mais caro (Claude Opus 4.6), resolveu 158 de 266 tarefas.
• O Custo: O SuperScout alcançou esse resultado por cerca de US$ 0,23 por solução, enquanto o modelo caro sozinho custou US$ 1,27 por solução. Isso é aproximadamente um quinto do custo!

A descoberta mais fascinante, no entanto, não foi sobre a tomada de decisão do roteador. Quando os pesquisadores removeram o roteador completamente e enviaram cada tarefa para o modelo mais barato (Kimi K2.5) com o handoff verificado do estagiário, ele resolveu 159 tarefas — exatamente o mesmo número do sistema SuperScout completo.

Isso sugere que o handoff verificado é o verdadeiro herói. O ato de explorar o repositório e fornecer um relatório verificado elevou o desempenho dos modelos mais baratos a um nível que permitiu que eles igualassem os modelos mais caros. A decisão de roteamento em si não adicionou muita magia; ela apenas garantiu que os modelos baratos recebessem o handoff.

Por Que Isso Importa (e o Que Não É)

O artigo descarta explicitamente algumas coisas:

• Roteamento para precisão é um fracasso: Você não consegue realmente melhorar o número de tarefas resolvidas trocando de modelo com base no texto do problema; o melhor modelo simplesmente vence de qualquer maneira.
• O texto do handoff não é para o roteador: Curiosamente, alimentar o texto do relatório do estagiário ao roteador na verdade o tornou pior. O roteador funciona melhor usando os "estados ocultos" (a atividade cerebral interna) do batedor, em vez das notas escritas. As notas são para o especialista, não para o gerente.
• Não é uma solução mágica para tudo: O sistema foi testado em um conjunto específico de 266 tarefas Python. Embora o modelo batedor tenha mostrado que poderia funcionar em linguagens para as quais nunca foi treinado, o desempenho do sistema completo em outros benchmarks ainda não foi testado.

Os autores ressaltam cuidadosamente que isso não é um problema "resolvido" para sempre. Os resultados são específicos para este conjunto de tarefas e para os modelos atuais. No entanto, o mecanismo é robusto: ao enviar um pequeno batedor para verificar os fatos antes de contratar um especialista, você pode redistribuir o poder de resolução. O handoff eleva os modelos mais baratos, tornando-os quase tão bons quanto os caros, enquanto o custo do batedor é insignificante (menos de meio centavo por tarefa).

Em resumo, o SuperScout nos ensina que, no mundo da codificação por IA, o contexto é rei. Não tente apenas adivinhar quem contratar com base na descrição do emprego; envie um batedor para a cena primeiro, verifique o que ele encontrar e, então, deixe o trabalhador mais barato e capaz fazer o trabalho. É uma maneira mais inteligente e barata de construir software, provando que, às vezes, a melhor maneira de economizar dinheiro é fazer um pouco de lição de casa primeiro.