💻 computer science

SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks

O artigo apresenta o SWE-Router, um framework de roteamento baseado em valor que melhora a eficiência de custo em engenharia de software agêntica de múltiplos turnos ao aproveitar a trajetória exploratória inicial de um modelo barato para tomar decisões de escalonamento informadas, superando assim os roteadores tradicionais baseados apenas em descrição enquanto mantém um desempenho sólido.

Autores originais: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

Publicado 2026-07-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Contratar o Especialista Errado

Imagine que você administra uma oficina mecânica. Você tem dois tipos de mecânicos:

O Aprendiz: Barato, rápido e bom em consertos simples (como trocar uma lâmpada ou apertar um parafuso solto).
O Engenheiro Mestre: Extremamente caro, lento e brilhante em resolver desastres complexos e de múltiplas camadas (como reconstruir o motor de um carro do zero).

No mundo do software, estes são os Modelos de Linguagem de Grande Escala (LLMs). Os modelos "Mestres" são ótimos para corrigir código, mas custam muito dinheiro para rodar. Os modelos "Aprendizes" são baratos, mas às vezes ficam travados em problemas difíceis.

O Erro Atual:
Atualmente, quando um cliente traz um código quebrado, o gerente da oficina (o roteador) olha apenas para a descrição do problema feita pelo cliente.

Cliente diz: "Meu carro não liga."
Gerente pensa: "Isso parece sério. Vamos chamar o Engenheiro Mestre imediatamente."

A Realidade:
Às vezes, "Meu carro não liga" significa apenas um cabo de bateria solto (um conserto simples que o Aprendiz poderia resolver). Outras vezes, significa que o bloco do motor está rachado (exigindo o Mestre). O gerente não consegue distinguir a diferença apenas lendo a nota. Isso leva ao desperdício de dinheiro com o Mestre para tarefas simples.

A Solução: SWE-Router (A Abordagem do "Test Drive")

Os autores deste artigo criaram um novo sistema chamado SWE-Router. Em vez de adivinhar com base na descrição, eles deixam o Aprendiz tentar consertar o problema por alguns minutos primeiro.

Veja como funciona:

A Fase de Exploração: O modelo Aprendiz barato recebe a tarefa e tem permissão para realizar alguns "turnos" (passos). Ele analisa o código, executa testes e vê quais erros aparecem.
A Observação: O sistema observa o que o Aprendiz faz.
- Cenário A: O Aprendiz encontra rapidamente um erro de digitação e o corrige. O sistema vê isso e diz: "Ótimo! O Aprendiz consegue lidar com isso. Vamos economizar dinheiro e deixá-lo terminar."
- Cenário B: O Aprendiz fica confuso, bate de frente com uma barreira e não consegue descobrir onde está o erro. O sistema vê essa dificuldade e diz: "Ok, isso é muito difícil. Pare o Aprendiz e chame o Engenheiro Mestre imediatamente."
A Decisão: Um "Value Head" especial (um juiz inteligente) observa o progresso do Aprendiz e decide: Isso é fácil o suficiente para o Aprendiz terminar ou precisamos escalar?

Por que isso é melhor (A Vantagem da "Informação")

O artigo argumenta que olhar para o histórico parcial (o que aconteceu durante esses primeiros passos) fornece muito mais informação do que apenas ler a descrição original do problema.

O Jeito Antigo: Como tentar adivinhar se um filme é uma comédia ou um drama apenas lendo o título. Você pode errar.
O Jeito Novo: Como assistir aos primeiros 5 minutos do filme. Se você vê pessoas rindo, sabe que é uma comédia. Se vê um funeral, sabe que é um drama. Você tem mais dados, portanto, seu palpite é melhor.

O artigo prova matematicamente que ter essa informação extra (a "trajetória parcial") nunca prejudica sua tomada de decisão. É sempre melhor conhecer um pouco da história antes de decidir quem contratar.

Os Resultados

Os pesquisadores testaram isso em tarefas de codificação do mundo real (corrigir bugs em grandes projetos de software).

Economia de Custos: Eles economizaram muito dinheiro porque o Aprendiz barato lidou com muitas tarefas que costumavam ser enviadas para o Mestre caro.
Taxa de Sucesso: Eles não perderam qualidade. Quando o Aprendiz falhava, eles trocavam para o Mestre, então as tarefas ainda eram resolvidas.
Bônus de Surpresa: Em alguns casos, o Aprendiz até resolveu problemas que o Mestre falharia em resolver se tivesse sido chamado imediatamente. Isso ocorre porque a "exploração" do Aprendiz ajudou a esclarecer o problema de uma forma que a abordagem direta do Mestre não conseguiu.

Resumo

SWE-Router é um guarda de trânsito inteligente para o reparo de software. Em vez de enviar cada carro para o mecânico mais caro, ele deixa um mecânico barato fazer um diagnóstico rápido. Se o mecânico conseguir consertar, ótimo! Se não, ele chama o especialista. Isso economiza dinheiro sem sacrificar a qualidade, e funciona porque aprende com o processo de tentar consertar o problema, e não apenas com a descrição do problema em si.

Resumo Técnico: SWE-Router

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) integrados em frameworks agentes de múltiplos turnos estão alcançando resultados de estado da arte em tarefas de engenharia de software (SWE), como a resolução de problemas de escala de repositório no GitHub. No entanto, o custo de inferência dos modelos de fronteira é frequentemente uma ordem de magnitude superior ao de alternativas competitivas de pesos abertos. Uma ineficiência crítica surge porque as estratégias de roteamento existentes tratam cada tarefa como se exigisse a capacidade de um modelo de fronteira, apesar do fato de que muitos problemas admitem "correções baratas".

Os roteadores de LLM atuais operam como classificadores ou estimadores de probabilidade baseados apenas na descrição inicial da tarefa ( $q$ ). Os autores identificam uma limitação fundamental nesta abordagem: em configurações agentes, uma descrição de problema semelhante pode mascarar dificuldades subjacentes vastamente diferentes (por exemplo, um erro de digitação localizado versus uma refatoração multi-módulo). Essa ambiguidade cria um "piso de erro de Bayes informacional-teórico", onde o prompt sozinho não consegue distinguir entre instâncias fáceis e difíceis. Consequentemente, as decisões de roteamento baseadas apenas em $q$ herdam uma alta taxa de erro, levando à escalada dispendiosa para modelos caros para tarefas que um modelo mais barato poderia resolver.

Metodologia: SWE-Router

O artigo introduz o SWE-Router, um framework de roteamento temporal baseado em valor projetado para superar as limitações de informação do roteamento baseado apenas em prompt. Em vez de tomar uma decisão imediata baseada em $q$ , o SWE-Router emprega uma estratégia de "experimentar antes de comprar":

Fase Exploratória: Um modelo fraco e barato ( $m_1$ ) é permitido executar $K$ turnos exploratórios. Durante esses turnos, o agente gera uma trajetória parcial ( $\mathcal{T}_{\le K}$ ) consistindo em pensamentos, ações e observações (ex: testes falhos, conteúdo de arquivos, stack traces).
Estimativa de Valor: Uma cabeça de valor aprendida (um classificador treinado em recompensas de trajetória binária) lê a trajetória parcial $\mathcal{T}_{\le K}$ e prevê a probabilidade de $m_1$ eventualmente resolver a tarefa.
Decisão de Roteamento: O sistema compara a utilidade esperada ajustada ao custo de continuar com $m_1$ $m_{1}$ versus a escalada para um modelo mais forte e caro ( $m_2$ $m_{2}$ ).
- Se a probabilidade de sucesso prevista de $m_1$ exceder um limiar ajustado ao custo, $m_1$ continua a tarefa.
- Caso contrário, o sistema escala para $m_2$ , que reinicia a tarefa a partir do prompt original $q$ (evitando o viés do raciocínio de $m_1$ ).

Fundamentação Teórica:
Os autores fornecem um teorema de Bayes-otimalidade (Teorema 4.1) provando que condicionar na trajetória parcial $\mathcal{T}_{\le K}$ nunca prejudica o desempenho do roteamento em comparação com condicionar apenas em $q$ . O teorema estabelece que a trajetória parcial carrega estritamente mais informação do que o prompt. A melhoria no roteamento é estrita sempre que os turnos de exploração fornecem sinais informativos sobre a dificuldade da tarefa (ou seja, quando a lacuna condicional em utilidades não é mensurável pelo prompt isoladamente).

Detalhes de Implementação:

Cabeça de Valor: Um LLM pré-treinado (Qwen2.5-Coder-7B-Instruct) com uma pequena cabeça de classificação, ajustado via LoRA em recompensas de trajetória binária.
Dados de Treinamento: O framework utiliza um conjunto de dados de trajetórias multi-LLM gerado ao executar modelos fracos nos conjuntos de dados SWE-Smith e SWE-Bench.
Regra de Roteamento: Os autores simplificam a regra de decisão para uma abordagem de roteamento de um lado só: continue com $m_1$ se $\hat{r}_1(\mathcal{T}_{\le K}) \ge \lambda'$ , onde $\lambda'$ é um limiar ajustado nos dados de validação.

Principais Contribuições

Identificação do Piso de Erro de Bayes: O artigo identifica que roteadores condicionados a prompts em SWE agentes de múltiplos turnos herdam um limite informacional-teórico porque a descrição da tarefa frequentemente falha em distinguir entre problemas localizados e complexos.
Framework de Roteamento Temporal: O SWE-Router é o primeiro framework de roteamento que condiciona as decisões de roteamento nas próprias observações intermediárias do agente (trajetória parcial) em vez de apenas no prompt.
Garantia Teórica: Uma prova demonstrando que o condicionamento por trajetória parcial melhora estritamente a otimalidade do roteamento quando a exploração é informativa.
Validação Empírica: Experimentos extensos mostrando que o SWE-Router melhora significativamente a eficiência de custo enquanto mantém as taxas de resolução de modelos mais fortes.
Lançamento de Dataset: Os autores disponibilizam um conjunto de dados de trajetórias multi-LLM para permitir a reprodução de pesquisas de roteamento ao nível de trajetória.

Resultados Experimentais

Os autores avaliaram o SWE-Router nos datasets SWE-Bench Verified e SWE-Smith usando dois pares de LLMs (Fraco: gpt-5-mini ou deepseek-v3.2; Forte: gemini-3-pro-preview).

Fronteira de Pareto Custo-Desempenho: O SWE-Router (com $K=3$ ) traça uma fronteira de Pareto que domina estritamente os baselines baseados em embedding (Regressão Logística, k-NN, XGBoost) e roteadores não temporais ( $K=0$ ) em quase toda a faixa de custo.
Melhorias de Route-AUC: No split de teste do SWE-Bench Verified, o SWE-Router alcançou um Route-AUC de 0,780 (usando deepseek-v3.2 como $m_1$ ), representando um aumento de 15,3 pontos percentuais sobre o baseline não temporal. O par gpt-5-mini mostrou um aumento de 12 pontos percentuais.
Efeitos Sinérgicos: As curvas de roteamento ocasionalmente excederam o desempenho do baseline "all-strong" (todos fortes). Isso indica que o roteamento correto de instâncias fáceis para o modelo fraco resolveu casos onde o modelo forte (quando forçado a rodar em todas as tarefas) falhou, provavelmente devido à capacidade do modelo fraco de explorar sem os modos de falha específicos ou restrições de custo do modelo forte.
Correlação de Métricas: Os autores observam que o AUROC da cabeça de valor (qualidade discriminativa) não é fortemente correlacionado com o desempenho real de roteamento (Route-AUC), sugerindo que a cabeça de valor captura sinais sutis relevantes para o trade-off específico de custo-benefício, em vez de apenas a precisão bruta.

Significância e Alegações

O artigo afirma que o SWE-Router oferece um impacto positivo claro ao reduzir o custo de inferência e o consumo de energia dos modelos de fronteira com um trade-off mínimo no desempenho geral. Ao operacionalizar o insight de que as observações intermediárias do agente contêm sinais estruturais (como dados de localização de bugs) indisponíveis no prompt inicial, o framework quebra o teto informacional-teórico enfrentado pelos roteadores baseados apenas em prompt.

Os autores enquadram modestamente sua contribuição como um método para "melhorar grandemente a eficiência de custo das tarefas de SWE" enquanto mantêm a maior parte do desempenho do modelo mais forte. Eles reconhecem que, embora sua abordagem reduza custos, o uso de trajetórias parciais poderia teoricamente ser mal utilizado para contornar modelos focados em segurança, identificando o roteamento consciente de segurança como uma direção importante para trabalhos futuros. A principal significância reside na mudança do paradigma de roteamento de análise estática de prompt para tomada de decisão dinâmica e consciente da trajetória em engenharia de software agente.