Resumo Técnico: Escalonamento Passo a Passo Guiado por Entropia (EGSS)

Declaração do Problema

Agentes de Engenharia de Software Autônoma (ASE) enfrentam desafios significativos na resolução de problemas de software complexos em nível de repositório, principalmente devido à alta sobrecarga computacional e à confiabilidade limitada dos métodos existentes de Escalonamento no Tempo de Teste (TTS). As abordagens atuais sofrem com duas ineficiências críticas:

1. Redundância Computacional: Estratégias de TTS predominantes frequentemente empregam expansão de busca uniforme ou amostragem repetitiva em grande escala sem coordenar decisões entre trajetórias. Isso leva ao gasto de recursos em etapas triviais e quase determinísticas, enquanto falha em alocar exploração suficiente para pontos de decisão de alta ambiguidade.
2. Seleção Não Confiável de Correções: Mecanismos de seleção existentes frequentemente dependem de classificação na fase terminal ou votação majoritária, que descartam sinais informativos de depuração intermediários. Esse fenômeno de "depuração autoenganosa" ocorre quando agentes realizam rotinas de verificação, mas ainda aceitam correções inválidas devido a limitações cognitivas ou aprisionamento em ótimos locais, carecendo de uma avaliação multidimensional da correção.

Metodologia: Escalonamento Passo a Passo Guiado por Entropia (EGSS)

O EGSS é um framework principiado projetado para equilibrar dinamicamente eficiência e eficácia por meio de duas etapas principais: Busca Passo a Passo Dinâmica (DSS) e Aprimoramento de Consolidação de Testes (TCA).

1. Busca Passo a Passo Dinâmica (DSS)

A DSS aborda a ineficiência da exploração uniforme alocando adaptativamente orçamentos de inferência com base na incerteza da decisão.

• Poda Guiada por Entropia: O framework quantifica a incerteza por etapa usando entropia de ferramenta ($H_{tool}$), definida como a entropia da política do agente sobre um conjunto finito de ferramentas/ações. Análise empírica revela que a entropia de ferramenta segue uma distribuição com assimetria à direita, onde a maioria das etapas é de baixa entropia (rotineira) e uma cauda esparsa representa pontos de decisão de alta entropia (críticos).
• Expansão Adaptativa: Em vez de amostragem uniforme, o EGSS invoca um Juiz baseado em LLM auxiliar apenas quando $H_{tool}$ excede um limiar. O juiz avalia continuições candidatas e poda ramos de baixa qualidade.
• Mecanismo de Pontuação: As trajetórias são classificadas usando uma pontuação composta $S(\tau_t)$ que combina a verossimilhança logarítmica do modelo base com o sinal de avaliação do juiz ($J$), normalizada pelo comprimento da trajetória para mitigar o viés em direção a caminhos curtos. Isso foca o cálculo em pontos de decisão informativos.

2. Aprimoramento de Consolidação de Testes (TCA)

O TCA aborda a confiabilidade da seleção de correções sintetizando sinais de depuração de múltiplas trajetórias em um padrão unificado de verificação.

• Extração de Ação de Depuração: O sistema coleta todos os nós da árvore de trajetória que invocam ferramentas de depuração (por exemplo, geração/execução de testes).
• Geração de Suíte de Testes Consolidada: Um Agente de Consolidação de Testes especializado sintetiza esses sinais fragmentados, juntamente com testes de regressão existentes e casos de borda identificados, em uma única suíte de testes executável. Essa suíte fornece cobertura mais ampla do que qualquer conjunto de testes de trajetória única.
• Filtragem Robusta: Correções candidatas são avaliadas contra essa suíte consolidada. Apenas correções que passam em um limiar específico são retidas.
• Votação em Ensemble: Um ensemble de múltiplos modelos (por exemplo, Kimi-K2-Instruct, GLM-4.6, Qwen3-Coder) realiza seleção de preferências via votação majoritária para determinar a correção final, garantindo consistência e reduzindo erros de consenso.

Contribuições Principais

1. Paradigma de Escalonamento Principiado: O artigo introduz um mecanismo guiado por entropia que aloca dinamicamente orçamentos de inferência para pontos de decisão de alta ambiguidade, melhorando significativamente a eficiência da inferência sem comprometer a qualidade da solução.
2. Pipeline Robusto de Seleção de Correções: Os autores desenvolvem um pipeline que consolida sinais de depuração entre trajetórias em uma suíte de testes de alta cobertura, mitigando efetivamente falsos positivos e a "depuração autoenganosa" ao priorizar correções candidatas robustas.
3. Desempenho de Estado da Arte: O EGSS estabelece um novo estado da arte entre métodos de código aberto no benchmark SWE-Bench-Verified, alcançando ganhos simultâneos em precisão e eficiência computacional.

Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks SWE-Bench-Verified e SWE-Bench-Lite usando modelos base incluindo Kimi-K2-Instruct, GLM-4.6 e GLM-4.5-Air.

• Ganhos de Desempenho: O EGSS melhorou consistentemente a taxa de resolução em todos os modelos avaliados em 5–10%.
  • Kimi-K2-Instruct: Aumentou de 63,2% para 72,2% (com tamanho de ensemble $K=8$).
  • GLM-4.6: Aumentou de 65,8% para 74,6% (com tamanho de ensemble $K=8$).
  • Com o GLM-4.6, o EGSS alcançou o desempenho mais alto entre modelos de linguagem grandes de código aberto relatados no estudo.
• Melhorias de Eficiência:
  • Redução de Tokens: O EGSS reduziu o uso de tokens no tempo de inferência em mais de 28% comparado a métodos de TTS existentes (por exemplo, Repeat + Deibase Augmentation).
  • Eficiência de Amostra: A DSS com um tamanho de ensemble de $K=4$ alcançou desempenho comparável à amostragem repetida com $K=8$, demonstrando eficiência de amostra marcadamente superior.
• Desempenho do Oracle: O framework também melhorou as métricas de Oracle (a proporção de instâncias onde pelo menos uma correção correta é gerada), indicando que o próprio conjunto de candidatos é de maior qualidade.

Significado e Alegações

O artigo alega que o EGSS representa uma mudança do escalonamento de força bruta para otimização em ciclo fechado consciente de recursos. Ao reformular a exploração de código em grande escala por meio de seleção de trajetória guiada por entropia e síntese de testes entre trajetórias, o EGSS permite que tarefas de engenharia de software autônoma sejam executadas de forma mais eficiente e confiável. Os autores afirmam que essa abordagem permite ganhos significativos de desempenho sem a necessidade de ensembles excessivamente grandes ou aumento de custos computacionais, aprimorando assim a aplicabilidade prática de LLMs a desafios de engenharia de software do mundo real.