Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
Este artigo apresenta o Risa, um método de escalonamento em tempo de teste para agentes de software que aproveita rastros de roteamento nativo de MoE para guiar a exploração diversificada e selecionar soluções finais por meio de concordância em pontos de decisão cruciais, alcançando taxas de resolução aprimoradas no SWE-bench Verified sem exigir juízes externos ou correspondência de strings de resposta.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, há uma classe crescente de programas projetados para agir como engenheiros de software. Esses agentes não apenas respondem perguntas; eles navegam em ambientes digitais complexos, leem código, executam testes e escrevem correções para reparar softwares quebrados. Para resolver um problema difícil, um agente muitas vezes precisa tomar uma longa cadeia de decisões, tentando diferentes ferramentas e comandos até encontrar uma solução. Como essas tarefas são tão complexas, pesquisadores descobriram que dar ao agente mais poder computacional para tentar muitos caminhos de uma só vez frequentemente leva a melhores resultados. No entanto, um novo problema surge quando o agente tenta muitos caminhos: como escolher a única melhor solução entre uma multidão de candidatas? Diferente de um problema matemático simples, onde há uma resposta clara e correta, uma correção de software pode parecer diferente de várias maneiras, tornando difícil dizer qual versão é verdadeiramente a melhor sem realmente executá-la em um sistema real, o que é lento e caro.
Uma equipe de pesquisadores da Universidade de Fudan e do Instituto de Inovação de Xangai desenvolveu uma nova maneira de resolver esse problema de seleção, ouvindo o "processo de pensamento" interno da própria IA, em vez de esperar pela saída final. Eles se concentraram em um tipo específico de arquitetura de IA conhecido como mistura esparsa de especialistas (sparse mixture-of-experts). Nesses modelos, toda vez que a IA gera uma palavra, um roteador interno pequeno decide quais subredes especializadas, ou "especialistas", devem realizar o trabalho. Esse roteador deixa um rastro, um registro de quais especialistas foram escolhidos e quanto eles contribuíram. Os pesquisadores perceberam que esse rastro atua como uma impressão digital única para o comportamento da IA. Mesmo que duas soluções diferentes pareçam completamente distintas na superfície, o caminho interno que a IA percorreu para criá-las pode revelar se ela está explorando novos terrenos ou convergindo para uma resposta sólida.
Os pesquisadores construíram um sistema que chamam de Risa, que utiliza essas impressões digitais internas para guiar a jornada do agente. Quando o agente está nos estágios iniciais da resolução de um problema, o Risa o incentiva a continuar explorando. Ele faz isso verificando o histórico recente do agente; se a IA estiver prestembes a dar um passo que pareça muito semelhante ao que acabou de fazer, o sistema a direciona para uma ação diferente e mais inovadora. Isso evita que o agente fique preso em um ciclo de repetição dos mesmos erros. No entanto, uma vez que o agente começa a escrever um patch — um conjunto de alterações para corrigir o código — a estratégia muda. Nesta fase, o sistema busca o consenso entre diferentes candidatos. Se várias tentativas diferentes, que começaram de pontos distintos, chegarem a uma estrutura interna semelhante para sua correção, o sistema trata isso como um sinal forte de que a solução está correta.
Para testar essa ideia, a equipe realizou experimentos em um benchmark padrão chamado SWE-bench Verified, que contém centenas de tarefas reais de reparo de software. Eles utilizaram diversos modelos de IA e permitiram que tentassem as tarefas múltiplas vezes. Em um conjunto de testes, compararam seu novo método guiado por roteamento com uma abordagem simples onde a escolha final é feita de forma aleatória. Os resultados mostraram uma melhora clara. Ao usar o sistema de roteamento, a taxa de sucesso dos agentes em corrigir o software subiu de cerca de 45 por cento para mais de 48 por cento. Isso pode parecer um número pequeno, mas no mundo do reparo automatizado de software, onde cada ponto percentual representa um progresso significativo, é um ganho relevante. O sistema funcionou tão bem que igualou o desempenho de métodos que dependem da comparação do texto real das soluções, mas sem a necessidade de executar o código ou usar um juiz separado para verificar a resposta.
O estudo também descobriu que a informação mais útil não estava em todo o histórico de saída da IA, mas em momentos específicos de decisão. Quando a IA tinha que escolher entre várias formas plausíveis de escrever uma linha de código, essas escolhas específicas deixavam uma marca distinta no rastro de roteamento interno. Ao focar apenas nesses pontos críticos de decisão, o sistema podia distinguir entre um palpite de sorte e uma solução bem fundamentada. Essa abordagem funcionou em diferentes tipos de modelos de IA, sugerindo que o rastro de roteamento interno é um sinal confiável que pode ser usado para coordenar tarefas complexas. Os pesquisadores concluíram que, ao prestar atenção em como a IA aloca seus recursos internos, em vez de apenas no que ela diz, podemos construir agentes que são melhores em explorar, mais consistentes ao se comprometerem com uma solução e, fundamentalmente, mais bem-sucedidos em resolver problemas difíceis.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.