One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

Resumo Técnico: Uma Ferramenta é Suficiente: Aprendizado por Reforço de Agentes LLM para Navegação em Repositórios de Código

Declaração do Problema
Localizar arquivos e funções específicos que requerem modificação dentro de repositórios de software em grande escala é um desafio significativo devido ao volume massivo de código e à complexidade estrutural. Agentes de Modelo de Linguagem (LLM) existentes normalmente abordam isso como uma tarefa de recuperação em nível de repositório, dependendo de múltiplas ferramentas auxiliares (por exemplo, SearchClass, SearchMethods, GetImports). Os autores argumentam que esses pipelines de múltiplas ferramentas sofrem com dois problemas principais:

1. Desalinhamento com a Lógica de Execução: Abstrações de alto nível, como classes ou herança, frequentemente desaparecem após a compilação, enquanto a execução real do código depende de saltos sequenciais e resolução de símbolos. As ferramentas existentes frequentemente falham em refletir esse fluxo de execução.
2. Complexidade e Propagação de Erros: Gerenciar múltiplas ferramentas complica o controle do modelo. Como os espaços de definição de ferramentas são ilimitados, modelos pré-treinados lutam para internalizar a semântica de inúmeras ferramentas sem pós-treinamento extensivo, levando a erros de formatação e falhas na análise de parâmetros. Além disso, o treinamento ponta a ponta para resolução completa de problemas é computacionalmente proibitivo devido à necessidade de avaliação de patches baseada em Docker.

Metodologia: RepoNavigator
O artigo propõe o RepoNavigator, um agente LLM projetado para localização de problemas em nível de repositório que aborda esses desafios através de um design minimalista e Aprendizado por Reforço (RL).

• Design Unificado de Ferramenta (Jump): Em vez de um conjunto de ferramentas de recuperação, o RepoNavigator utiliza uma única ferramenta estruturalmente fundamentada: Jump. Esta ferramenta, implementada via um servidor de linguagem (por exemplo, Pyright para Python), resolve a definição precisa de um símbolo invocado. Ela abstrai a navegação consciente da execução fornecida por IDEs modernas, permitindo que o agente traverse a base de código seguindo definições de símbolos (por exemplo, de uma chamada de função para sua definição, e depois para suas dependências).
• Arquitetura do Agente: O agente opera em um loop raciocinar → agir → observar. Em cada etapa, a política decide se deve gerar raciocínio em linguagem natural ou invocar a ferramenta Jump com um símbolo específico e um caminho de arquivo. A ferramenta retorna o trecho de código da definição, que se torna a observação para a próxima etapa de raciocínio.
• Treinamento via Aprendizado por Reforço: O RepoNavigator é treinado ponta a ponta diretamente a partir de um modelo pré-treinado base usando Otimização de Política Relativa de Grupo (GRPO).
  • Sem Destilação: Diferentemente de trabalhos anteriores (por exemplo, RepoSearcher, LocAgent) que dependem de ajuste fino supervisionado (SFT) com trajetórias destiladas de modelos de código fechado (como Claude ou GPT), este método não requer um modelo "professor".
  • Função de Recompensa Híbrida: A recompensa $R$ combina dois componentes:
    1. Recompensa de Resultado: Medida pelo coeficiente de Dice entre o conjunto previsto de localizações de código e a verdade fundamental (ground truth).
    2. Recompensa de Ferramenta: Baseada na taxa de sucesso das chamadas de ferramenta (correção de formatação e existência de símbolo).
  • Objetivo: O agente aprende a otimizar trajetórias de longo horizonte para identificar os arquivos e funções corretos enquanto domina o uso da ferramenta única.

Principais Contribuições

1. Primeiro Agente de Localização Treinado por RL a partir de Modelos Pré-treinados: Os autores apresentam o primeiro agente de localização em nível de repositório treinado diretamente a partir de um modelo de código aberto pré-treinado usando RL, eliminando a dependência de destilação de código fechado.
2. Paradigma de Ferramenta Única Consciente da Execução: O design introduz uma ferramenta unificada Jump que se alinha com a semântica real de execução de código (resolução de símbolos), contrastando com as abstrações de alto nível fragmentadas de agentes de múltiplas ferramentas anteriores.
3. Eficiência e Escalabilidade: O artigo demonstra que uma única ferramenta poderosa melhora significativamente a eficiência e a controlabilidade em comparação com pipelines complexos de múltiplas ferramentas, permitindo desempenho de última geração (SOTA) com sobrecarga computacional reduzida.

Resultados Experimentais
Os experimentos foram conduzidos no SWE-bench Verified e SWE-bench Pro (subconjunto Python), usando modelos Qwen2.5 (7B, 14B, 32B) como baselines.

• Desempenho: O RepoNavigator alcança desempenho de última geração (SOTA) em métricas de localização tanto em nível de função quanto em nível de arquivo (Sample-F1 e IoU).
  • O modelo 7B supera as baselines de 14B.
  • O modelo 14B supera os concorrentes de 32B.
  • O modelo 32B excede modelos de código fechado (por exemplo, GPT-5, Claude 3.7 Sonnet) na maioria das métricas.
• Eficiência de Treinamento: O agente treinado por RL supera baselines sem treinamento e até mesmo métodos baseados em destilação (como RepoSearcher), apesar de não usar um modelo professor mais forte para aquecimento.
• Impacto a Jusante: Quando usado para localizar problemas para geração de patches a jusante (substituindo o módulo de localização no Agentless), o RepoNavigator melhora a taxa final de resolução de problemas.
• Estudos de Ablação:
  • Mecanismo de Recompensa: A recompensa híbrida (resultado + sucesso da ferramenta) é crítica; remover a taxa de sucesso da ferramenta degrada o desempenho.
  • SFT vs. RL: O treinamento direto por RL a partir do modelo pré-treinado produz melhores resultados do que um pipeline envolvendo SFT seguido de RL, desafiando a necessidade de um "início frio" via SFT.
  • Contagem de Ferramentas: Adicionar mais ferramentas (por exemplo, GetClass, GetFunc) à ferramenta Jump na verdade degrada o desempenho, confirmando que ferramentas menos numerosas, mas mais capazes, são preferíveis.

Significado e Afirmações
O artigo afirma que integrar uma única ferramenta estruturalmente fundamentada com treinamento por RL fornece uma solução eficiente e escalável para localização de problemas em nível de repositório. Ao refletir o fluxo real de execução de código e simplificar a manipulação de ferramentas, o RepoNavigator reduz a fragilidade da encadeamento de ferramentas e a complexidade do espaço de ação. Os resultados sugerem que, para tarefas de raciocínio de longo horizonte em engenharia de software, a profundidade da exploração consciente da execução (via uma única ferramenta robusta) é mais crítica do que a amplitude da diversidade de ferramentas. Esta abordagem democratiza o acesso a agentes de alto desempenho ao remover a dependência de modelos professores de código fechado para destilação.