Resolving Java Code Repository Issues with iSWE Agent

El artículo presenta iSWE Agent, un sistema automatizado que combina técnicas basadas en reglas de análisis estático de Java con modelos de lenguaje para resolver problemas en repositorios de código, logrando un rendimiento superior al estado del arte específicamente en proyectos escritos en Java.

Lo esencial

Imagina que tienes una biblioteca gigante llena de libros (el código de un programa) y alguien te deja una nota con un queja o una idea nueva: "¡Este libro tiene un error en la página 42!" o "¡Necesitamos añadir un capítulo nuevo sobre dragones!". Tu trabajo es encontrar ese error, arreglarlo o escribir el nuevo capítulo sin romper el resto del libro.

Hasta ahora, la mayoría de los "robots ayudantes" (agentes de IA) que hacían este trabajo eran expertos en libros escritos en Python (un lenguaje de programación popular), pero se les hacía un poco difícil entender los libros escritos en Java, que es el lenguaje que usan la mayoría de las grandes empresas del mundo.

Este paper presenta a iSWE Agent, un nuevo robot especialista en Java. Aquí te explico cómo funciona con una analogía sencilla:

🕵️‍♂️ El Equipo de Dos Personas: El Detective y el Editor

En lugar de tener un solo robot que intenta hacer todo de golpe (y a veces se confunde), iSWE tiene un equipo de dos especialistas que trabajan en equipo:

1. El Detective (Agente de Localización):

   • Su trabajo: Recibe la nota de queja y empieza a investigar. No toca los libros todavía. Solo lee el índice, busca en el glosario y revisa las tablas de contenidos.
   • Su superpoder: Tiene herramientas especiales de Java. Imagina que tiene una lupa mágica que entiende cómo se conectan las clases y los métodos en Java (algo que un robot generalista no siempre ve bien).
   • El resultado: Te entrega un informe preciso: "El error no está solo en la página 42, también afecta a la página 105. Aquí están las páginas exactas que necesitamos cambiar".

2. El Editor (Agente de Edición):

   • Su trabajo: Toma el informe del Detective y va a la biblioteca a hacer los cambios.
   • Su superpoder: Tiene un "lápiz inteligente" que sabe exactamente dónde borrar y dónde escribir. Antes de pegar el nuevo texto en el libro real, lo prueba en una copia de seguridad (un contenedor aislado) para asegurarse de que no rompe nada.
   • El resultado: Devuelve el libro arreglado, listo para ser publicado.

🛠️ ¿Por qué es mejor que los otros robots?

La mayoría de los robots anteriores intentaban arreglar el código escribiendo comandos al azar en una terminal (como si intentaran arreglar un coche golpeándolo con un martillo hasta que funcionara). Esto es peligroso y lento.

iSWE es diferente porque:

• Habla el idioma nativo: En lugar de usar herramientas genéricas, usa herramientas hechas específicamente para Java. Es como si el robot supiera que en Java las cosas se organizan de forma diferente que en Python.
• Es seguro: El Editor nunca toca el libro original hasta estar 100% seguro. Si comete un error, solo rompe la copia de seguridad, no el libro real.
• Es más barato y rápido: Al ser más eficiente, gasta menos "dinero" (recursos de la IA) y tarda menos tiempo en resolver el problema.

📊 Los Resultados: ¡Un éxito rotundo!

Los autores probaron a iSWE en dos grandes concursos de reparación de código (llamados Multi-SWE-bench y SWE-PolyBench).

• En Java: iSWE fue el mejor de todos, resolviendo más problemas que cualquier otro sistema, incluso usando modelos de IA más pequeños y baratos.
• El ahorro: Mientras que otros sistemas gastaban mucho dinero intentando adivinar, iSWE resolvió más problemas gastando entre 2 y 3 veces menos dinero.

🎯 En resumen

Imagina que antes tenías un mecánico genérico que intentaba arreglar coches de todas las marcas usando las mismas herramientas, y a veces le costaba mucho. iSWE es como un mecánico especialista en marcas japonesas (Java) que tiene las llaves inglesas exactas para cada tuerca.

Este trabajo es importante porque demuestra que, para que la inteligencia artificial ayude realmente a las empresas (que usan mucho Java), no basta con tener un modelo inteligente general; necesitamos herramientas específicas que entiendan las reglas de cada lenguaje. iSWE es el primer paso para llevar esa inteligencia de los experimentos de Python al mundo real de las grandes corporaciones.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Resolving Java Code Repository Issues with iSWE Agent", traducido y adaptado al español:

1. Problema y Contexto

La resolución automática de problemas (issues) en repositorios de código es una tarea fundamental en la ingeniería de software. Aunque existen sistemas recientes basados en Modelos de Lenguaje Grandes (LLM) y agentes que logran resultados impresionantes en Python (como en el benchmark SWE-bench), su rendimiento en otros lenguajes es significativamente inferior.

El Java es un lenguaje crítico para el software empresarial, pero presenta desafíos únicos que los agentes generalistas no abordan bien:

• Diferencias estructurales: Java es un lenguaje compilado con un sistema de tipos estático fuerte y una orientación a objetos más estricta que Python.
• Complejidad de edición: Las correcciones en Java suelen afectar a más archivos y requieren cambios en múltiples "hunks" (fragmentos de código) debido a la naturaleza distribuida de la funcionalidad en clases y métodos.
• Limitaciones de los linters: A diferencia de Python, donde los linters pueden detectar muchos errores, en Java el compilador captura la mayoría de los errores de sintaxis y tipos, lo que hace que los linters tradicionales sean menos útiles para agentes automáticos.
• Falta de investigación específica: La mayoría de los agentes actuales están optimizados para Python, dejando un vacío en la resolución de problemas específicos de Java.

2. Metodología: iSWE Agent

El paper introduce iSWE, un agente automatizado especializado en Java que utiliza un enfoque de dos sub-agentes (basado en el patrón ReAct) y herramientas específicas del lenguaje.

Arquitectura de Dos Agentes

El flujo de trabajo se divide en dos etapas secuenciales para simplificar la tarea y modularizar el proceso:

1. Agente de Localización (Localization Agent):
   • Objetivo: Identificar las ubicaciones exactas en el código (c_old) que deben modificarse para resolver el problema descrito (d_issue).
   • Herramientas: Utiliza herramientas de análisis estático basadas en reglas (usando CLDK y Tree-Sitter) que son de solo lectura. Estas herramientas permiten al agente navegar el grafo del código (archivos, clases, métodos, jerarquías de herencia, llamadas a funciones) sin ejecutar código ni causar efectos secundarios.
   • Salida: Genera una recomendación estructurada (JSON) con las ubicaciones de los archivos y rangos de líneas a editar.
2. Agente de Edición (Editing Agent):
   • Objetivo: Generar el código modificado (c_new) basándose en las ubicaciones proporcionadas por el primer agente.
   • Herramientas: Utiliza una herramienta de edición que aplica cambios mediante bloques de búsqueda y reemplazo (formato de conflicto de fusión).
   • Validación: Realiza verificaciones escalonadas:
     • Verificación de formato y coincidencia de bloques de búsqueda.
     • Ejecución de un linter Java simple (sin efectos secundarios).
     • Compilación en contenedor: Solo si las pruebas anteriores pasan, se lanza un entorno contenedorizado con las dependencias del proyecto para compilar el código con javac (usando Maven/Gradle). Esto asegura que el código sea sintácticamente correcto y no rompa el build, aislando cualquier efecto secundario del sistema host.

Características Clave del Diseño

• Herramientas Específicas de Java: En lugar de depender de comandos genéricos de shell (bash), iSWE utiliza herramientas semánticas que entienden la estructura de Java (clases, métodos, herencia).
• Seguridad y Eficiencia: La mayoría de las operaciones son de solo lectura. El uso de contenedores se limita estrictamente a la compilación, reduciendo la sobrecarga de tiempo y memoria.
• Independencia del Modelo (LLM-Agnostic): El sistema no está atado a un LLM específico; utiliza prompts declarativos (PDL) y llamadas de herramientas en línea, lo que permite probarlo con diversos modelos (desde Frontier como Claude hasta Open Source como DeepSeek o Llama).

3. Contribuciones Clave

1. iSWE: Presenta el primer agente de resolución de problemas especializado en Java.
2. Validación de Herramientas Conscientes del Lenguaje: Demuestra que combinar técnicas basadas en reglas (análisis estático) con modelos LLM mejora significativamente el rendimiento en lenguajes complejos como Java, superando a los enfoques puramente basados en código o herramientas genéricas.
3. Evaluación Exhaustiva: Proporciona los primeros resultados detallados en dos benchmarks de Java: Multi-SWE-bench y SWE-PolyBench, analizando no solo la tasa de éxito, sino también métricas de localización, costos y complejidad.

4. Resultados Experimentales

El sistema fue evaluado en los conjuntos de datos de Java de Multi-SWE-bench (128 instancias) y SWE-PolyBench (165 instancias).

• Rendimiento (Tasa de Resolución):
  • iSWE alcanza el estado del arte (SOTA) en ambos benchmarks para Java.
  • Con modelos Frontier (ej. Claude-4.5-Sonnet), resolvió el 43% de las instancias en Multi-SWE-bench y el 55% en SWE-PolyBench.
  • Incluso con modelos Open Source (ej. DeepSeek-V3-2), logró tasas de resolución competitivas (21.8% y 18.1% respectivamente).
• Eficiencia de Costo:
  • iSWE es significativamente más barato que otros agentes líderes. Utiliza entre 2x y 3x menos dólares en llamadas a API de LLM para resolver la misma cantidad de problemas (o más) utilizando el mismo modelo base.
  • Esto se debe a que las herramientas de alto nivel reducen el número de vueltas (turns) en el bucle del agente y la cantidad de tokens generados.
• Precisión de Localización:
  • El agente de localización logra una alta precisión (Recall/Precision) en la identificación de archivos y nodos (clases/métodos), lo cual se correlaciona directamente con el éxito final de la resolución.
• Análisis por Complejidad:
  • El rendimiento disminuye a medida que aumenta la complejidad del problema (de "Fácil" a "Difícil") o cuando los cambios involucran múltiples archivos y clases mezcladas, lo cual es consistente con las limitaciones actuales de los LLMs en tareas de largo alcance.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Cierre de la Brecha en Java: Lleva los avances de la investigación en agentes de software (impulsados principalmente por benchmarks de Python) al dominio empresarial crítico de Java.
• Enfoque Híbrido: Demuestra que la combinación de conocimiento basado en reglas (análisis estático) y razonamiento probabilístico (LLM) es superior a los enfoques puramente generativos para tareas de ingeniería de software complejas.
• Seguridad y Escalabilidad: Al minimizar el uso de entornos de ejecución (sandbox) y evitar efectos secundarios no deseados, iSWE ofrece un modelo más seguro y escalable para la integración en flujos de trabajo de desarrollo empresarial.
• Eficiencia Económica: La reducción drástica de costos sugiere que la automatización de tareas de software es viable económicamente si se utilizan herramientas específicas del dominio en lugar de soluciones genéricas.

En conclusión, iSWE establece un nuevo estándar para la resolución automática de problemas en Java, demostrando que la especialización de herramientas y la arquitectura de agentes divididos son claves para el éxito en lenguajes de programación empresariales.