Resumo Técnico: Loc2Repair

Declaração do Problema

Sistemas de reparo automatizado baseados em repositórios, que operam sobre repositórios de software completos para inspecionar arquivos, executar comandos e propor patches, são cada vez mais avaliados como capacidades únicas de ponta a ponta. No entanto, este relato holístico obscurece modos de falha distintos, como localização imprecisa de arquivos, síntese de patch incorreta ou falha na depuração iterativa. Especificamente, uma fraca localização de problemas ao nível de arquivo (a decisão upstream de quais arquivos inspecionar) pode distorcer a seleção de contexto e as estratégias de reparo, suprimindo o desempenho do reparo downstream mesmo quando o backbone de reparo é capaz de gerar patches corretos dado o contexto adequado. Os métodos de avaliação atuais carecem da granularidade necessária para isolar se uma falha decorre de pesquisar a região errada do repositório ou de sintetizar um patch incorreto uma vez que os arquivos corretos foram encontrados.

Metodologia: O Framework Loc2Repair

Para abordar isso, os autores introduzem o Loc2Repair, um framework de avaliação modular projetado para a análise controlada de pipelines de reparo baseados em repositórios. O princípio central de design é desacoplar a localização e o reparo sob um runtime, esquema de artefato e harness de avaliação compartilhados. Isso permite que pesquisadores variem o estágio de localização enquanto mantêm o backbone de reparo downstream fixo.

Design Experimental

O estudo avalia três backbones de reparo distintos em 500 instâncias do SWE-bench Verified:

1. Gemma4-26B-A4B-IT
2. GLM-4.7
3. Qwen3.5-35B-A3B

Para cada backbone, os autores comparam quatro braços experimentais:

• Baseline: Reparo sem localização explícita ao nível de arquivo.
• Pred-Qwen4B: Reparo guiado por dicas de arquivos preditas por um localizador leve de Qwen4B.
• Pred-Gemma4E4B: Reparo guiado por dicas de arquivos preditas por um localizador leve de Gemma4E4B.
• Gold: Reparo guiado por dicas de arquivos de estilo "oracle", derivadas dos conjuntos de referência de arquivos modificados do benchmark.

O framework utiliza um loop de interação de repositório baseado em um mini-SWE-agent. No estágio de localização, o agente é restringido a inspecionar o repositório e retornar uma lista estruturada de arquivos preditos sem editar. Essas predições são injetadas como alvos iniciais de alta confiança no prompt de reparo (localização suave), permitindo que o agente de reparo ainda raciocine sobre o repositório de forma ampla.

Métricas de Avaliação

• Efetividade: Medida pela métrica padrão "resolved" do SWE-bench (se o patch gerado passa pelo harness de avaliação do benchmark).
• Eficiência: Medida pelo tempo médio de execução (tempo decorrido) e uso de tokens (entrada/saída).
• Análise Estatística: As comparações são pareadas por instância de benchmark dentro de cada backbone, utilizando testes de McNemar para taxas de resolução e testes de sinal para deltas de eficiência.

Principais Contribuições

1. Framework Loc2Repair: Um framework modular e reutilizável que expõe a localização e o reparo como estágios separados e permutáveis, permitindo a análise de combinação controlada de diferentes localizadores e backbones de reparo.
2. Evidência Empírica do Impacto da Localização: Evidência cross-backbone demonstrando que a localização explícita ao nível de arquivo melhora consistentemente a efetividade do reparo de ponta a end-to-end.
3. Trade-offs de Eficiência e Efetividade: Demonstração de que a localização pode simultaneamente melhorar a efetividade e reduzir o tempo médio decorrido, embora os efeitos no uso de tokens permaneçam dependentes do modelo.
4. Metodologia de Avaliação Consciente de Estágios: Uma abordagem diagnóstica mostrando que a análise consciente de estágios expõe o potencial de melhoria (headroom) e modos de falha que o relatório end-to-end sozinho esconderia.

Resultados

Efetividade (RQ1 & RQ2)

A localização explícita melhora consistentemente a taxa de resolução em todos os três backbones de reparo:

• Desempenho Baseline: Taxa de resolução agrupada de 44,7%.
• Localização Predita: Taxas de resolução agrupadas aumentaram para 48,9% (Qwen4B) e 49,1% (Gemma4E4B).
• Localização Gold: Taxa de resolução agrupada aumentou para 52,4%.

Os ganhos foram estatisticamente significativos na maioria das comparações. Notavelmente, embora uma localização independente mais forte (ex: Gemma4E4B) geralmente tenha gerado melhores resultados, a tradução para ganhos de reparo downstream não foi estritamente monotônica ou uniforme em todos os backbones.

Eficiência (RQ3)

A localização geralmente melhorou a latência operacional:

• Redução de Tempo Agrupada: O tempo médio decorrido diminuiu em 100,94s (Pred-Qwen4B), 52,25s (Pred-Gemma4E4B) e 154,45s (Gold) em comparação com o baseline.
• Uso de Tokens: Os efeitos foram heterogêneos. Embora a localização Gold tenha reduzido os tokens, a localização predita às vezes aumentou o uso de tokens dependendo do emparelhamento backbone-localizador.
• Trade-offs: Para o backbone GLM-4.7, a localização predita melhorou a efetividade, mas ocasionalmente aumentou o tempo decorrido, sugerindo que ajudou o modelo a completar instâncias difíceis nas quais o baseline sofreu timeout.

Headroom Além da Localização (RQ4)

Mesmo com a localização Gold (direcionamento de arquivo perfeito), um número substancial de instâncias permaneceu não resolvidas (ex: 251 para Gemma4, 267 para GLM-4.7). Isso indica que o direcionamento de arquivos não é o único gargalo; modos de falha significativos permanecem em fatores downstream, como síntese de patch semântico, depuração de múltiplos passos e comportamento de validação.

Significância e Alegações

O artigo alega que a localização ao nível de arquivo é uma "alavanca de reparo de primeira classe" para agentes baseados em repositórios. A principal significância reside não apenas nos ganhos de desempenho, mas na mudança metodológica em direção à avaliação consciente de estágios.

• Valor Diagnóstico: Leaderboards end-to-end são insuficientes para diagnóstico científico. Dois sistemas com taxas de resolução semelhantes podem falhar por razões inteiramente diferentes (ex: um localiza mal, mas faz o patch bem; outro localiza bem, mas faz o patch mal). O Loc2Repair expõe essas distinções.
• Implicações de Design: Tratar o direcionamento de arquivos como um comportamento emergente implícito esconde uma fonte controlável de variância. Modularizar a localização permite a otimização da orientação upstream sem alterar o backbone de reparo.
• Direção Futura: O hiato persistente entre o desempenho da localização Gold e a resolução de 100% sugere que sistemas de reparo futuros devem decompor o pipeline de reparo além da localização e geração de patch, possivelmente introduzindo estágios especializados para seleção de contexto, planejamento de patch e diagnóstico de falhas.

Os autores concluem que, embora um melhor direcionamento de arquivos melhore o reparo, ele não esgota o problema, e trabalhos futuros devem abordar as complexidades downstream restantes do reparo baseado em repositórios.