Resumo Técnico: SHERLOC – Localização de Diagnóstico Estruturada para Agentes de Reparo de Código

1. Declaração do Problema

A reparação de código em nível de repositório depende cada vez mais de agentes de Grandes Modelos de Linguagem (LLMs) que intercalam raciocínio com chamadas de ferramentas estruturadas para resolver problemas do GitHub. No entanto, uma análise sistemática dos agentes existentes revela uma ineficiência crítica: os agentes gastam quase metade de seu orçamento de interação (uma média de 18,5 turnos e mais de 320k tokens por instância) exclusivamente na localização de falhas antes de tentar um patch de código.

Os métodos atuais de localização sofrem de duas limitações primárias:

1. Saída Incompleta: A maioria das abordagens recupera arquivos ou funções defeituosos, mas falha em fornecer o contexto de diagnóstico (causa raiz, direção da solução) necessário para que os agentes de reparo subsequentes atuem de forma eficaz.
2. Descompasso de Avaliação: Frameworks dedicados de localização são frequentemente avaliados como sistemas de recuperação de arquivos, em vez de ferramentas de diagnóstico acionáveis, produzindo localizações sem o raciocínio necessário para o reparo.

Isso cria um gargalo de desempenho onde recursos computacionais significativos são consumidos na busca em vez da construção, e as localizações resultantes muitas vezes carecem da especificidade necessária para guiar o reparo.

2. Metodologia: SHERLOC

Os autores introduzem o SHERLOC (Exploração e Raciocínio Baseado em Hipóteses Estruturadas para Localização), um framework livre de treinamento projetado para parear um LLM de raciocínio com um conjunto compacto de ferramentas de repositório e mecanismos de autorrecuperação.

Arquitetura Central

O SHERLOC opera como um único LLM de raciocínio interagindo com um executor de ferramentas determinístico através de um loop iterativo limitado (máximo de 20 turnos). Ele não requer ajuste fino (fine-tuning), aprendizado por reforço ou orquestração multi-agente.

• Conjunto de Ferramentas: O framework utiliza quatro ferramentas amigáveis para LLMs:
  • View File (Visualizar Arquivo): Inspeciona o conteúdo do arquivo com correspondência de caminho difusa (fuzzy path matching) e intervalos de linhas opcionais.
  • Codebase Search (Busca na Base de Código): Realiza buscas literais em todo o repositório com contexto.
  • Repository Tree (Árvore do Repositório): Exibe a hierarquia de arquivos filtrada para recuperar o contexto global.
  • Connected Tree (Árvore de Conexões): Resume as relações de importação (diretas e reversas) para navegar pelas dependências.
• Interação Iterativa: O modelo alterna entre raciocínio e seleção de ferramentas. Ele acumula observações (trechos de código, caminhos, resumos de dependências) em seu histórico de contexto para formar um estado de hipótese.
• Mecanismos de Autorrecuperação: Para estabilizar o uso estendido de ferramentas, o SHERLOC emprega estratégias de recuperação leves:
  • Truncamento de contexto (preservando o prompt inicial e os turnos recentes).
  • Detecção de loop (aviso contra chamadas repetitivas improdutivas).
  • Recuperação implícita de chamada de ferramenta (processamento de solicitações malformadas, mas inequívocas).
  • Síntese de turno final (forçando uma conclusão quando o orçamento de etapas é esgotado).

Saída de Diagnóstico Estruturada

Ao contrário dos métodos anteriores que exibem apenas caminhos de arquivos, o SHERLOC emite um achado de diagnóstico estruturado para cada localização prevista. Este achado inclui cinco campos:

1. Explicação da Localização: Por que o arquivo é suspeito.
2. Causa Raiz: O mecanismo subjacente do erro.
3. Ideia de Solução: Orientação acionável para a correção (sem código).
4. Dependências: Impacto em outros módulos.
5. Impacto nos Testes: Modificações de teste sugeridas.

Métricas de Avaliação

O artigo propõe métricas de nível de chunk agnósticas à estrutura (recall de cobertura, precisão e estreitamento médio/average tightness) sobre intervalos de números de linha, reconhecendo que os patches nem sempre se alinham com unidades sintáticas como funções ou classes.

3. Principais Resultados

Desempenho de Localização

O SHERLOC atinge o estado da arte (SOTA) em localização de nível de arquivo em diversas escalas de modelos sem treinamento específico para a tarefa:

• SWE-Bench Lite: 84,33% de precisão@1 (usando Qwen3-235B).
• SWE-Bench Verified: 81,27% de recall@1 (usando Qwen3-235B).
• Eficiência de Escala: Em uma escala correspondente de ~30B de parâmetros, o SHERLOC (Qwen3-30B) alcança 75,07% de recall@1, superando baselines ajustados (ex: ToolTrain-32B) e métodos não ajustados por margens significativas (+7,0 a +18,3 pp).
• Transferência entre Famílias: O método transfere-se efetivamente entre famílias de modelos (ex: DeepSeek-V3 atinge 79,53% de recall@1).

Transferência de Diagnóstico para Reparo de Código

Injetar as localizações e achados diagnósticos do SHERLOC em agentes de reparo existentes (OpenHands e SWE-Agent) gera melhorias significativas:

• Taxa de Resolução: Um aumento médio de +5,95 pontos percentuais na taxa de resolução em cinco backbones de reparo.
• Eficiência: Uma redução de 36,7% nos tokens de localização e uma redução de 23,1% no total de tokens.
• Mediação de Qualidade: O benefício da transferência depende da qualidade. Modelos menores beneficiam-se de "Todos os achados do SHERLOC", enquanto modelos maiores e mais capazes beneficiam-se mais de Achados filtrados por qualidade (aqueles classificados como ≥4.0 por um juiz LLM). Achados não filtrados podem degradar o desempenho em agentes fortes devido à transferência negativa de diagnósticos de baixa confiança.

Estudos de Ablação e Validade

• Importância dos Componentes: A remoção da ferramenta View File ou do prompt de turno final causa as maiores quedas de desempenho, confirmando que a inspeção de código e a pressão de síntese são críticas.
• Conhecimento Implícito vs. Raciocínio: Controles mascarando caminhos de arquivos no texto do problema mostram que, embora os LLMs possuam familiaridade implícita com repositórios populares (ex: scikit-learn, requests), a exploração ativa assistida por ferramentas explica uma parte significativa do diferencial de desempenho (aprox. 22 pp de melhoria sobre baselines baseados apenas em texto).
• Necessidade de Raciocínio: Modelos em modo "Thinking" (Pensamento) superam significativamente os modelos em modo "Instruct", que frequentemente falham em sustentar o protocolo de múltiplos turnos.

4. Significância e Alegações

O artigo argumenta que a saída de diagnóstico estruturada, e não meramente a recuperação de localização, é a unidade operacional de uma localização útil. Um caminho de arquivo correto com um diagnóstico enganoso pode induzir agentes subsequentes ao erro, enquanto um achado estruturado com análise de causa raiz e orientação de solução permite um reparo eficaz.

As principais alegações incluem:

1. SOTA Livre de Treinamento: Um único LLM de raciocínio com ferramentas compactas e autorrecuperação pode igualar ou exceder sistemas de localização especializados e ajustados.
2. Contexto Acionável: A inclusão de campos diagnósticos estruturados (causa raiz, ideia de solução) é essencial para transferir o sucesso da localização para tarefas de reparo subsequentes.
3. Eficiência: O SHERLOC reduz drasticamente o custo de tokens da fase de localização, liberando orçamento para o reparo real do código.
4. Filtro de Qualidade: Um filtro de qualidade é necessário para evitar a transferência negativa; achados de alta qualidade impulsionam o sucesso, enquanto os de baixa qualidade podem ser prejudiciais.

Os autores concluem que a localização deve ser avaliada pela acionabilidade diagnóstica em vez de apenas pela precisão de recuperação de arquivos. Eles observam que, embora seus resultados sejam fortes, eles são parcialmente confundidos pela familiaridade do pré-treinamento do LLM com repositórios públicos, e trabalhos futuros exigirão distribuições de repositórios não retidos para uma avaliação limpa. O framework é agnóstico à linguagem em seu design, embora suas ferramentas atuais dependam de parsers específicos de linguagem para árvores de importação.