Resumo Técnico: RGFL: Localização de Falhas Guiada por Raciocínio para Reparação Automática de Programas Usando Grandes Modelos de Linguagem

Declaração do Problema

A Reparação Automática de Programas (APR) depende fortemente da Localização de Falhas (FL) para identificar as regiões de código específicas responsáveis por um erro antes de tentar gerar uma correção. Em repositórios de software modernos e de grande escala (frequentem de milhões de tokens), fornecer todo o código-fonte para Grandes Modelos de Linguagem (LLMs) é inviável devido às limitações da janela de contexto. Consequentemente, os sistemas de APR devem primeiro isolar um subconjunto pequeno e relevante de código.

As técnicas tradicionais de FL (ex: análise baseada em espectro, análise estática ou recuperação de informação baseada em similaridade lexical) frequentemente falham em capturar ligações semânticas profundas entre relatórios de erros e o código, particularmente quando os bugs derivam de erros de lógica sutis ou comportamentos específicos do domínio. Embora abordagens recentes baseadas em LLM tentem localizar falhas recuperando código por similaridade ou pedindo ao modelo para listar funções relevantes, elas muitas vezes carecem de um raciocínio explícito sobre o porquê de um elemento de código específico ser relevante. Isso pode levar à seleção de elementos superficialmente relacionados, mas causalmente incorretos, prejudicando a fase subsequente de reparação.

Metodologia

Os autores propõem o RGFL (Reasoning Guided Fault Localization), uma abordagem hierárquica inovadora que integra o raciocínio explícito de LLM no pipeline de localização. O método é projetado como um aprimoramento modular para sistemas de APR baseados em pipeline (especificamente integrado ao Agentless).

Componentes Principais

1. Módulo de Raciocínio Hierárquico:
   Em vez de pedir a um LLM para classificar um grande conjunto de candidatos simultaneamente (o que pode diluir a atenção), o RGFL processa os candidatos individualmente.

   • Localização ao Nível de Arquivo: O sistema primeiro recupera um conjunto de candidatos de arquivos usando uma combinação de prompting de LLM e busca baseada em embeddings. Para cada arquivo candidato, o LLM é instigado a gerar uma explicação em linguagem natural sobre a funcionalidade do arquivo no contexto do relatório de erro específico. Essas explicações são então usadas para reclassificar os arquivos.
   • Localização ao Nível de Elemento: Dentro dos arquivos com melhor classificação, o sistema extrai classes, funções e variáveis globais. Semelhante ao nível de arquivo, o LLM gera um raciocínio para cada elemento em relação à sua relevância para o erro. Esses outputs de raciocínio servem como o sinal para a classificação.

2. Esquema de Classificação de Dois Estágios:
   O método emprega um processo de classificação de dois estágios combinando:

   • Classificação Baseada em LLM: O LLM avalia o raciocínio gerado contra o relatório de erro para produzir uma lista classificada.
   • Classificação Baseada em Embedding: Como comparação e alternativa, o raciocínio gerado e os relatórios de erro são transformados em vetores (usando modelos como Gemini-embedding-001, Voyage 3.5 ou text-embedding-3-small) e classificados via similaridade de cosseno. O estudo constata que a classificação direta por LLM supera a classificação por embedding do raciocínio.

3. Integração e Escopo:

   • O RGFL substitui os estágios de localização de arquivo e de elemento do pipeline Agentless, mas deixa a localização ao nível de linha e a geração de patch inalteradas. Os autores argumentam que o raciocínio ao nível de linha é mal formulado para linhas isoladas e computacionalmente proibitivo para grandes repositórios.
   • O sistema utiliza uma estratégia de "Raciocínio Primeiro": dado um conjunto fixo de candidatos, o LLM explica cada um individualmente antes de classificá-los.

Contribuições Principais

1. Novo Módulo de Raciocínio Hierárquico: O design de um sistema onde LLMs geram explicações estruturadas e específicas para o erro para arquivos e elementos candidatos, usando essas explicações como o sinal primário para classificação, em vez da similaridade bruta de código.
2. Avaliação Sistemática e Ablação: Os autores integram o RGFL ao Agentless e conduzem um estudo sistemático isolando o impacto da localização de arquivo vs. elemento. Eles introduzem uma análise de limite superior contrafactual para quantificar quanto cada estágio de localização contribui para o sucesso final da reparação.
3. Validação Cross-Dataset e Cross-Language: A avaliação é realizada no SWE-bench Verified, SWE-bench Lite e SWE-bench Java, cobrindo projetos tanto em Python quanto em Java.
4. Taxonomia de Erros Granular: O artigo categoriza falhas em erros de nível de arquivo, nível de elemento, nível de linha e nível de reparação, usando injeções contrafactuais controladas de informações de verdade fundamental (ground-truth) para estimar limites superiores de desempenho.

Resultados Experimentais

A avaliação demonstra melhorias consistentes sobre as baselines de estado da arte, incluindo Agentless, OpenHands e AutoCodeRover.

• Localização ao Nível de Arquivo (SWE-bench Verified):

  • O Hit@1 melhorou de 71,4% (Agentless) para 85% (RGFL).
  • O MRR melhorou de 81,8% para 88,8%.
  • A reclassificação baseada em embedding do raciocínio não conseguiu igualar o desempenho da classificação direta por LLM, destacando a necessidade de raciocínio em linguagem natural sobre a similaridade vetorial isolada.

• Localização ao Nível de Elemento:

  • O Match Exato (dentro dos top-3 arquivos) aumentou de 36% (Agentless) para 69% (RGFL).
  • Isso representa uma melhoria de 91,67% sobre o sistema baseline Agentless.

• Sucesso de Reparação de Ponta a Ponta:

  • Integrar o RGFL ao Agentless aumentou a Taxa de Resolução no SWE-bench Verified de 51,6% para 58,2%.
  • Isso corresponde a uma melhoria absoluta de 12,8% no sucesso de reparação de ponta a ponta.

• Generalização:

  • O RGFL manteve um desempenho superior no SWE-bench Java, superando baselines como OpenHands e OrcaLoca, demonstrando robustez entre linguagens de programação.

• Análise Contrafactual:

  • O estudo revelou que, embora os erros de localização de arquivo sejam menos frequentes, corrigi-los gera o maior retorno por instância.
  • Curiosamente, em alguns casos onde o arquivo correto foi identificado, fornecer apenas o arquivo (sem a localização específica do elemento) permitiu que o modelo gerasse patches corretos, enquanto o excesso de restrição ao modelo a elementos específicos às vezes levava à falha. Isso sugere que a granularidade da orientação de localização exige um equilíbrio cuidadoso.

Significância e Alegações

O artigo afirma que o raciocínio explícito é um mecanismo crítico e subutilizado na APR baseada em LLM. Ao mudar o paradigma de "selecionar elementos que parecem relacionados" para "selecionar elementos que são causalmente responsáveis pela falha", o RGFL estreita significativamente o espaço de busca para agentes de reparação.

Os autores afirmam que seu trabalho fornece um mecanismo prático para adaptar LLMs a sistemas de software reais e de grande escala, onde os limites de contexto são um gargalo. Os resultados sugerem que o custo do raciocínio adicional (aprox. 3,7x o custo computacional por amostra) é justificado pelos ganhos substanciais na precisão da localização e no sucesso final da reparação. O artigo conclui que, embora a localização de falhas seja um passo crítico, a melhor maneira de apresentar a informação de localização (arquivo vs. elemento vs. linha) para o modelo de reparação permanece uma área de pesquisa aberta, já que restrições excessivamente granulares podem, por vezes, dificultar a capacidade do modelo de sintetizar um patch correto.