Resolving Java Code Repository Issues with iSWE Agent

O artigo apresenta o iSWE Agent, um sistema automatizado que combina técnicas baseadas em regras e modelos de linguagem para resolver problemas em repositórios de código Java, alcançando desempenho superior a métodos anteriores em benchmarks específicos.

O essencial

Imagine que você tem uma biblioteca gigante de livros (o código de um software) e alguém deixa um bilhete dizendo: "Ei, na página 42, o personagem está falando com a voz errada, e na página 105, o livro está faltando uma página inteira". Resolver esse problema manualmente exigiria que um especialista lesse centenas de páginas, entendesse a história inteira e fizesse as correções certas.

O iSWE Agent é como um super-assistente de IA criado pela IBM para fazer exatamente isso, mas com um foco especial em Java, a linguagem usada pela maioria das grandes empresas do mundo (bancos, seguros, sistemas de voo).

Aqui está a explicação do papel, usando analogias simples:

1. O Problema: O "Vício" em Python

Até agora, a maioria desses assistentes de IA era treinada principalmente para resolver problemas em Python (uma linguagem popular, mas mais simples). É como se tivéssemos muitos mecânicos de carros, mas todos fossem especialistas apenas em carros pequenos e leves. Quando tentamos usar esses mesmos mecânicos para consertar um caminhão pesado (Java), eles tropeçam. O Java é mais complexo, tem regras rígidas de segurança e estrutura diferente. O papel diz: "Precisamos de um mecânico que entenda especificamente de caminhões".

2. A Solução: O iSWE Agent (O Duplo Time)

Em vez de ter um único robô tentando fazer tudo de uma vez (o que costuma dar errado), o iSWE divide o trabalho em dois especialistas que trabalham em equipe:

• O Detetive (Agente de Localização):

  • O que ele faz: Ele recebe o bilhete com o problema e começa a investigar. Ele não mexe no código ainda. Ele usa "lentes de aumento" especiais (ferramentas de análise estática) para ler o código e dizer: "O erro está aqui, na página X, e também aqui, na página Y".
  • A analogia: Imagine um detetive que entra em uma casa bagunçada. Ele não move os móveis; ele apenas aponta para onde a luz queimou e onde a torneira está vazando. Ele é muito preciso porque usa regras lógicas (ferramentas de Java) para não se confundir.
  • O resultado: Ele entrega um mapa exato: "Vá até o arquivo A, linha 50, e vá até o arquivo B, linha 120".

• O Mecânico (Agente de Edição):

  • O que ele faz: Ele pega o mapa do Detetive e vai até o local. Ele faz a troca da peça ou conserta o código.
  • A analogia: Imagine um mecânico que só entra na área de trabalho quando o detetive já marcou o local. Ele usa uma caixa de ferramentas segura. Se ele cometer um erro ao tentar consertar, ele não estraga o carro inteiro; ele apenas joga fora a tentativa e tenta de novo, sem sujar o chão da oficina.
  • Segurança: O Mecânico trabalha em uma "caixa de areia" (um ambiente isolado). Se ele tentar instalar algo que quebre o sistema, o sistema original fica intacto.

3. Por que isso é diferente? (As Ferramentas Especiais)

A maioria dos outros robôs tenta "adivinhar" o código escrevendo comandos genéricos, como se estivessem digitando no teclado de um computador aleatoriamente. Isso é perigoso e ineficiente.

O iSWE usa ferramentas feitas sob medida para Java:

• Em vez de dizer "procure por um erro", ele usa ferramentas que entendem a estrutura do Java (classes, métodos, herança).
• É como se, em vez de pedir para alguém procurar uma agulha no palheiro olhando com os olhos, nós lhe dávamos um detector de metal que sabe exatamente como a agulha de Java se parece.

4. Os Resultados: Mais Rápido, Mais Barato e Melhor

Os autores testaram esse sistema em dois grandes "campeonatos" de resolução de problemas (Multi-SWE-bench e SWE-PolyBench) focados em Java.

• Desempenho: O iSWE ficou no topo das listas, resolvendo mais problemas do que os outros sistemas.
• Custo: Ele gastou 2 a 3 vezes menos dinheiro para funcionar. Como ele é mais eficiente e não precisa de tantas tentativas (voltas), a conta da "conta de luz" (custo da IA) cai drasticamente.
• Precisão: Ele encontrou os lugares certos para consertar com muito mais frequência do que os concorrentes.

Resumo da Ópera

O papel apresenta o iSWE como um sistema inteligente que resolve bugs em softwares escritos em Java. Ele funciona como uma equipe de dois: um Detetive que usa regras lógicas para achar onde está o erro, e um Mecânico que conserta o código com segurança.

A grande inovação é que eles pararam de tentar usar ferramentas genéricas (que funcionam bem em Python) e criaram ferramentas específicas para a complexidade do Java. O resultado? Um sistema que é mais barato, mais seguro e muito mais eficaz para o mundo corporativo, onde o Java é rei.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Resolving Java Code Repository Issues with iSWE Agent", apresentado em português:

1. O Problema

A resolução automática de problemas (issues) em repositórios de código é uma tarefa fundamental na engenharia de software. Embora sistemas baseados em Grandes Modelos de Linguagem (LLMs) e agentes tenham alcançado desempenho impressionante na resolução de problemas em Python (como demonstrado no benchmark SWE-bench), o desempenho desses modelos em outras linguagens, especialmente Java, é significativamente inferior.

O Java é amplamente utilizado em software corporativo (enterprise), mas possui características distintas do Python, como:

• Tipagem forte e sistemas de tipos estáticos.
• Natureza orientada a objetos que frequentemente exige edições em múltiplos arquivos.
• Necessidade de compilação e dependência de ferramentas de build (Maven/Gradle).

A maioria das soluções atuais foca em Python e não aproveita o conhecimento específico da linguagem Java, resultando em taxas de sucesso baixas e riscos de efeitos colaterais indesejados ao tentar executar código arbitrário para depuração.

2. Metodologia: iSWE Agent

O iSWE é um agente automatizado de resolução de problemas especializado em Java. A sua arquitetura baseia-se na premissa de que ferramentas específicas da linguagem, combinadas com técnicas baseadas em regras e modelos, superam abordagens puramente generativas.

Arquitetura de Dois Agentes (Pipeline)

O sistema utiliza dois sub-agentes baseados no paradigma ReAct (Reasoning + Acting), que operam de forma modular:

1. Agente de Localização (Localization Agent):

   • Entrada: Descrição do problema ($d_{issue}$) e código antigo ($c_{old}$).
   • Função: Identifica os locais exatos no código que precisam ser modificados.
   • Ferramentas: Utiliza ferramentas de análise estática de código Java baseadas em regras (usando bibliotecas como CLDK e Tree-Sitter). As ferramentas são de somente leitura e incluem:
     • get_file_info, get_class_info, get_method_info, get_symbol_info (nós do grafo de código).
     • get_inheritance_hierarchy, get_function_callers, get_call_chain (arestas do grafo).
   • Saída: Um conjunto estruturado de localizações (arquivos, classes, métodos e intervalos de linhas) e uma sugestão de edição.

2. Agente de Edição (Editing Agent):

   • Entrada: As localizações sugeridas pelo primeiro agente e o código original.
   • Função: Gera o código modificado ($c_{new}$) para resolver o problema.
   • Ferramentas: Utiliza uma ferramenta de edição baseada no formato de conflito de mesclagem (search-replace), familiar aos LLMs devido aos dados de treinamento de controle de versão.
   • Validação:
     • Realiza verificações incrementais (formatação, correspondência de busca).
     • Executa um linter Java simples (sem efeitos colaterais).
     • Sandbox: Apenas quando todas as verificações anteriores passam, o agente inicia um ambiente containerizado para compilar o projeto e rodar o compilador Java, garantindo isolamento e segurança.

Características Técnicas Chave

• Independência do Modelo (LLM-agnostic): O sistema não é "hardcoded" para um LLM específico; o modelo é uma variável de configuração.
• Chamada de Ferramentas Inline: O LLM gera chamadas de ferramentas como parte do seu conteúdo principal, aumentando a robustez entre diferentes modelos.
• Segurança: A maioria das operações é de somente leitura. O sandbox é usado apenas raramente (na compilação), reduzindo custos e riscos.
• Linguagem de Prompt (PDL): Utiliza a linguagem declarativa PDL para gerenciar prompts e fluxo de dados, mantendo o código limpo e modular.

3. Principais Contribuições

1. Primeiro Agente Especializado em Java: Introdução do iSWE, o primeiro agente focado especificamente na resolução de problemas em repositórios Java.
2. Validação de Ferramentas Conscientes da Linguagem: Demonstra que o uso de ferramentas de análise estática e transformação baseadas em regras (específicas para Java) supera abordagens genéricas.
3. Benchmarks Abrangentes: Avaliação extensiva em dois benchmarks de Java anteriormente pouco explorados: Multi-SWE-bench e SWE-PolyBench.

4. Resultados

O iSWE foi avaliado em 293 instâncias de Java (128 do Multi-SWE-bench + 165 do SWE-PolyBench).

• Taxa de Resolução (SOTA): O iSWE alcançou as melhores taxas de resolução (State-of-the-Art) em ambos os benchmarks para Java.
  • No Multi-SWE-bench, com o modelo Claude-4.5-Sonnet, alcançou 43% de resolução (vs. 39% do próximo melhor agente).
  • No SWE-PolyBench, com o Claude-4.5-Opus, alcançou 55% de resolução.
• Custo e Eficiência:
  • O iSWE gastou 2x a 3x menos em custos de API de inferência em comparação com outros agentes líderes que usam o mesmo LLM.
  • Isso se deve à redução no número de turnos (interações) e tokens necessários, graças às ferramentas de alto nível que fornecem informações ricas e concisas.
• Desempenho com Modelos Open Source: O sistema funcionou bem com modelos open-source (como DeepSeek-V3-2 e Llama), mantendo taxas de resolução competitivas com custos extremamente baixos (ex: $0.25 por instância com DeepSeek).
• Precisão de Localização: A precisão na identificação de arquivos e nós (classes/métodos) correlaciona-se fortemente com o sucesso final da resolução. O agente de localização frequentemente identifica arquivos não mencionados na descrição original do problema.

5. Significância e Impacto

• Ponte para o Software Corporativo: O trabalho preenche uma lacuna crítica ao trazer o progresso da IA para a resolução de problemas em Java, a linguagem dominante no desenvolvimento empresarial.
• Segurança e Robustez: Ao priorizar ferramentas de análise estática e limitar o uso de sandboxes, o iSWE oferece uma abordagem mais segura e confiável do que agentes que executam comandos de shell arbitrários.
• Eficiência de Custos: Demonstra que é possível obter resultados de ponta sem fine-tuning massivo de modelos ou execução extensiva de testes, focando na qualidade das ferramentas e na arquitetura do agente.
• Futuro: O paper sugere que a incorporação de feedback de testes de regressão e inference scaling em trabalhos futuros pode elevar ainda mais as taxas de sucesso.

Em resumo, o iSWE prova que a combinação de conhecimento específico da linguagem (Java) através de ferramentas de análise estática com a capacidade generativa de LLMs é a chave para resolver problemas complexos de engenharia de software de forma eficiente, segura e econômica.