Resumo Técnico: ARISE – Uma Representação em Grafo ao Nível do Repositório e Conjunto de Ferramentas para Localização de Falhas e Reparo de Programas por Agentes

Declaração do Problema

A Reparação Automática de Programas (APR) e a localização de falhas em escala de repositório exigem que agentes naveguem em bases de código complexas que abrangem múltiplos arquivos, módulos e pacotes. Embora sistemas agênticos existentes (por exemplo, SWE-agent) possam interagir com repositórios, eles frequentemente lutam com localização de falhas de granularidade fina (identificação de funções e linhas específicas) devido à falta de precisão semântica.

As abordagens baseadas em grafos atuais geralmente modelam relações estruturais (arquivos, classes, funções e suas dependências de chamada/importação), mas falham em modelar o fluxo de dados intra-procedural. Consequentemente, os agentes carecem da capacidade de rastrear como os valores das variáveis são definidos e propagados dentro de um procedimento. Essa limitação força os agentes a dependerem de similaridade lexical ou travessia estrutural ampla, o que é insuficiente para identificar as declarações exatas responsáveis por um erro, especialmente quando a falha envolve o uso complexo de variáveis dentro de uma função.

Metodologia

Os autores apresentam o ARISE (Motor de Resolução de Problemas ao Nível do Repositório por Agentes), um sistema que amplia o framework SWE-agent com um grafo de programa estruturado e consultável e uma API de ferramentas de três níveis. A inovação central é a integração de fatiamento de fluxo de dados como um primitivo de agente de primeira classe.

1. Grafo de Programa Multi-Granularidade

O ARISE constrói um grafo de propriedades direcionado e tipado ($G = (V, E)$) que unifica duas camadas de informação:

• Relações Estruturais: Nós representam diretórios, módulos, classes, funções, métodos e declarações. As arestas capturam contenção, importações, herança e relações de chamada.
• Relações de Fluxo de Dados: O grafo se estende ao nível de declaração. Para cada função/método, o sistema realiza uma análise intra-procedural para identificar cadeias de definição-uso (def-use).
  • Nós: Nós de declaração correspondem a declarações de nível superior da AST.
  • Arestas: Arestas DataflowDefUse e DataflowUseDef conectam declarações onde uma variável é definida a declarações onde ela é usada (e vice-versa).
  • Escopo: Esta análise respeita o escopo léxico (tratando declarações global/nonlocal) e cobre padrões comuns de atribuição em Python (atribuições, atribuições aumentadas, alvos de loops, gerenciadores de contexto e parâmetros).

2. API de Ferramentas de Três Níveis

O grafo é exposto ao agente LLM através de uma API modular, permitindo que o agente consulte evidências iterativamente:

• Nível 1: Recuperação Estrutural: Ferramentas para buscar entidades, traversar grafos de chamada/importação e recuperar trechos de código. Isso reproduz as capacidades de sistemas anteriores de grafos estruturais (por exemplo, RepoGraph, LocAgent).
• Nível 2: Fatiamento de Fluxo de Dados: A novidade central. A ferramenta get_dataflow_slice permite que o agente rastreie fluxos de variáveis. Dado um ponto de partida (arquivo, linha, variável) e uma direção (retrógrada, progressiva ou bidirecional), ela retorna uma lista estruturada de trechos de declaração que definem ou consomem a variável. Isso permite que o agente responda "quais declarações afetam esta variável?" em uma única consulta.
• Nível 3: Agrupamento de Contexto: Ferramentas (build_context_bundle, rank_suspect_regions) que montam as evidências recuperadas em um pacote de contexto limitado por orçamento de tokens. Elas pontuam trechos de código com base na relevância TF-IDF, proximidade estrutural e membro do fatiamento, garantindo que o código mais causalmente relevante seja apresentado ao sub-agente de reparo.

3. Loop do Agente

O ARISE opera sobre a estrutura do SWE-agent. O agente interage com o repositório através de um protocolo de múltiplas voltas, escolhendo chamar ferramentas estruturais, ferramentas de fatiamento ou ferramentas de agrupamento conforme necessário. O sistema é projetado para ser agnóstico ao framework, permitindo que o construtor de grafos e a API de fatiamento sejam inseridos em qualquer agente capaz de uso de ferramentas.

Principais Contribuições

1. Grafo de Programa Multi-Granularidade: Um grafo de repositório que unifica a organização estrutural com informações de fluxo de dados intra-procedural ao nível de declaração, permitindo que os agentes consultem a propagação de valores diretamente.
2. Fatiamento de Fluxo de Dados como Primitivo de Agente: A introdução de get_dataflow_slice como uma ferramenta consultável. Diferentemente do pré-processamento estático, isso permite que os agentes rastreiem dinamicamente definições e usos de variáveis durante o raciocínio, retornando saída estruturada sobre a qual os modelos podem raciocinar diretamente.
3. Conjunto de Ferramentas Agnóstico ao Framework: Uma implementação desacoplada do construtor de grafos e da API de fatiamento, projetada como um plugin plug-and-play para pesquisas futuras em APR sem a necessidade de reimplantação da lógica de análise subjacente.

Resultados Experimentais

O sistema foi avaliado no SWE-bench Lite (300 problemas reais do GitHub em 11 repositórios Python) usando o Qwen2.5-Coder-32B-Instruct como base.

Desempenho de Localização

Comparado à linha de base SWE-agent não modificada:

• Recall@1 de Função: Melhorou em 17,0 pontos (de 43,0% para 60,0%).
• Recall@1 de Linha: Melhorou em 15,0 pontos (de 26,0% para 41,0%).
• Recall@1 de Arquivo: Melhorou em 10,0 pontos.
• Insights de Ablação:
  • Adicionar o Nível 1 (Estrutural) forneceu uma melhoria de base sobre o SWE-agent.
  • Adicionar o Nível 2 (Fatiamento de Fluxo de Dados) produziu o maior ganho em um único passo (+7,0 pontos no Recall@1 de Função), confirmando que o rastreamento de fluxo de dados é crítico para a localização de granularidade fina.
  • Adicionar o Nível 3 (Agrupamento de Contexto) forneceu ganhos incrementais adicionais.
  • ARISE-Coarse (esquema Nível 1 + Nível 2, mas sem arestas de fluxo de dados) performou de forma semelhante ao Nível 1 apenas, provando que a melhoria vem dos dados do próprio grafo, e não meramente da presença de uma ferramenta adicional.
  • ExplainSlice (adicionar resumos em linguagem natural aos fatiamentos) forneceu nenhuma melhoria mensurável, indicando que modelos de código grandes (escala de 32B) podem raciocinar sobre saídas de fatiamento estruturadas diretamente, sem mediação em linguagem natural.

Desempenho de Reparo

• Pass@1: O ARISE-Full alcançou 22,0% (66/300), uma melhoria de 4,7 pontos percentuais sobre a linha de base SWE-agent (17,3%).
• Correlação: Há um aumento forte e monótono na correlação de Spearman entre Recall@1 de Função e Pass@1 à medida que ferramentas mais precisas são adicionadas (de 0,38 no SWE-agent para 0,53 no ARISE-Full). Isso confirma que a qualidade da localização é a restrição vinculante no sucesso do reparo neste cenário.

Significado e Alegações

O artigo afirma que o principal gargalo na APR ao nível do repositório não é apenas a capacidade de raciocínio do LLM, mas como o contexto relevante é localizado e estruturado.

• Fluxo de Dados como Primitivo de Recuperação: Os autores argumentam que expor fatiamentos def-use intra-procedurais como uma ferramenta de primeira classe é mais eficaz do que confiar apenas na topologia estrutural. Isso reduz o espaço de busca, permitindo que os agentes se comprometam com uma hipótese ao nível de função baseada em um único fatiamento retrógrado, em vez de traversar grafos de chamada amplos.
• Estruturado vs. Linguagem Natural: Os resultados desafiam a suposição de que a análise estruturada deve ser resumida em linguagem natural para LLMs. Na escala de 32 bilhões de parâmetros, os modelos consomem saídas de fatiamento estruturadas diretamente, tornando as camadas de resumo desnecessárias e custosas.
• Limitações Modestas: Os autores reconhecem que o sistema atual é intra-procedural. Ele não pode rastrear fluxos de variáveis através de limites de chamada (inter-procedural), o que accounts por 45% dos erros restantes (erros de arquivo errado). Eles identificam a extensão para fatiamento inter-procedural como a direção principal para trabalhos futuros. Além disso, a abordagem é atualmente específica para Python devido à sua dependência de tipos de nós AST.

Em resumo, o ARISE demonstra que ampliar fluxos de trabalho agênticos com grafos de fluxo de dados precisos e consultáveis melhora significativamente a localização de falhas e, consequentemente, as taxas de sucesso do reparo automático de programas.