RefAgent: A Multi-agent LLM-based Framework for Automatic Software Refactoring

El artículo presenta RefAgent, un marco de trabajo basado en agentes LLM multiagente para la refactorización automática de software que, tras ser evaluado en proyectos Java, demuestra superar significativamente a los enfoques de agente único y herramientas tradicionales al mejorar la calidad del código, reducir los "code smells" y lograr una alta tasa de éxito en pruebas unitarias.

Lo esencial

¡Claro que sí! Imagina que tienes una casa muy antigua y grande (un programa de computadora). Con el tiempo, la casa se llena de cosas inútiles: cables sueltos, muebles rotos, habitaciones que no se usan y un desorden que hace que sea difícil encontrar las llaves o reparar una fuga.

En el mundo de la programación, a este desorden le llamamos "código sucio" o "malos olores" (code smells). Limpiarlo se llama refactorización. Antes, los programadores tenían que hacerlo manualmente, lo cual era lento, aburrido y propenso a errores (como romper una pared mientras intentabas arreglar una ventana).

Aquí es donde entra RefAgent, el protagonista de este artículo.

¿Qué es RefAgent?

Imagina que en lugar de contratar a un solo albañil muy inteligente (un modelo de IA normal) para que intente arreglar toda la casa, contratas a un equipo de especialistas que trabajan juntos.

RefAgent no es una sola persona; es un sistema de múltiples agentes (robots de IA) que se comunican entre sí, como un equipo de cirujanos o un grupo de detectives. Cada uno tiene un trabajo muy específico:

1. El Planificador (El Arquitecto):

   • Su trabajo: Recorre la casa con un plano. Mira dónde están los problemas (cables sueltos, muros débiles) y decide qué hay que arreglar primero.
   • La analogía: Es como el jefe de obra que dice: "Oye, esa pared está mal construida y afecta a la habitación de al lado. Vamos a derribarla y construir una nueva".

2. El Generador (El Constructor):

   • Su trabajo: Toma las instrucciones del Planificador y empieza a trabajar. Cambia el código, reorganiza las habitaciones y repara los muebles.
   • La analogía: Es el albañil que realmente pone los ladrillos y pinta las paredes siguiendo el plano.

3. El Compilador (El Inspector de Estructura):

   • Su trabajo: Revisa que todo lo que construyó el Constructor sea sólido. Si la casa se cae (el código tiene errores de sintaxis), le grita al Constructor: "¡Oye, esa viga no encaja! ¡Corrígete!".
   • La analogía: Es el ingeniero que verifica que el edificio no se vaya a derrumbar. Si hay un error, envía al Constructor de vuelta a arreglarlo.

4. El Probador (El Inspector de Calidad):

   • Su trabajo: Se asegura de que, aunque hayas movido muebles y cambiado paredes, la casa sigue funcionando igual. ¿Sigue encendiéndose la luz? ¿Sigue saliendo agua caliente?
   • La analogía: Es el inspector que prueba todos los enchufes y grifos. Si algo deja de funcionar, le dice al Constructor: "¡Eso no sirve! ¡Arréglalo!".

¿Cómo trabajan juntos?

La magia de RefAgent es que no se rinden a la primera.

Si el Constructor hace un cambio y el Compilador dice "¡Error!", el Constructor no se va a casa. Regresa, piensa: "¿Qué hice mal?", corrige el error y lo intenta de nuevo. Pueden repetir este ciclo hasta 20 veces hasta que todo esté perfecto. Además, si el Probador encuentra un fallo, el Constructor vuelve a trabajar.

Es como un equipo de cocina donde el chef (Constructor) prepara un plato, el sommelier (Compilador) prueba el vino y el crítico gastronómico (Probador) prueba la comida. Si algo sabe mal, el chef vuelve a la cocina a ajustar la receta hasta que sea perfecto.

¿Qué descubrieron los autores?

Los investigadores probaron este equipo de robots en 8 proyectos de software reales (como grandes edificios de apartamentos). Los resultados fueron impresionantes:

• Menos desorden: Lograron eliminar más del 50% de los "malos olores" (el código sucio) en la mayoría de los casos.
• Sin romper nada: El 90% de las veces, el código arreglado seguía funcionando perfectamente (los tests pasaron).
• Mejor que un solo robot: Cuando compararon al "Equipo RefAgent" contra un "Solo Robot" (un modelo de IA tradicional que trabaja solo), el equipo ganó por goleada. El equipo solo fallaba mucho menos y producía código mucho más limpio.
• Como un humano experto: El equipo de robots encontró los mismos lugares para arreglar que lo haría un programador humano experto, pero lo hizo mucho más rápido y sin cansarse.

En resumen

RefAgent es como tener un equipo de superhéroes de la construcción que vive dentro de tu computadora. No solo saben dónde está el desorden, sino que tienen la paciencia y la inteligencia para arreglarlo paso a paso, verificando constantemente que no rompan nada en el proceso.

El mensaje final es que, para arreglar software complejo, la colaboración entre múltiples inteligencias artificiales es mucho más efectiva que confiar en una sola. ¡Es la diferencia entre tener a un solo albañil cansado y tener a todo un equipo de expertos coordinados!

Resumen técnico

Resumen Técnico: RefAgent

1. El Problema

El mantenimiento de sistemas de software a gran escala es cada vez más complejo debido a la acumulación de "deuda técnica" y "olores de código" (code smells), lo que compromete la mantenibilidad y aumenta los costos. Aunque existen técnicas de refactorización automatizada (como las basadas en búsqueda) y herramientas de IDE, presentan limitaciones significativas:

• Enfoques tradicionales: Suelen ser estáticos, requieren intervención manual, tienen un alcance limitado de tipos de refactorización y a menudo alteran el comportamiento del programa o no garantizan la preservación de la funcionalidad.
• LLMs estáticos: Los modelos de lenguaje grandes (LLM) tradicionales, utilizados con prompts fijos, carecen de la capacidad de adaptarse dinámicamente al contexto, corregir errores de compilación o iterar sobre soluciones fallidas. A menudo sufren de alucinaciones y no pueden gestionar flujos de trabajo complejos que requieren validación continua.

Existe una necesidad crítica de un sistema que combine la capacidad de razonamiento de los LLMs con la capacidad de ejecutar herramientas, validar resultados y refinar iterativamente el código de forma autónoma.

2. Metodología: RefAgent

El artículo propone RefAgent, un marco de trabajo completamente automatizado basado en una arquitectura de agentes múltiples (Multi-Agent) que simula el flujo de trabajo secuencial de un desarrollador humano experto.

Componentes Clave del Sistema:
RefAgent distribuye las responsabilidades entre cuatro agentes especializados que colaboran mediante bucles de retroalimentación:

1. Agente Planificador Consciente del Contexto (Context-Aware Planner Agent):
   • Utiliza herramientas como jdeps para generar un grafo de dependencias de clases.
   • Emplea DesigniteJava para extraer métricas de calidad (ej. complejidad ciclomática, falta de cohesión).
   • Analiza el código fuente y sus dependencias para identificar oportunidades de refactorización y generar un plan estructurado (instrucciones detalladas) para el agente generador.
2. Agente Generador de Refactorización (Refactoring Generator Agent):
   • Recibe el plan y el código original.
   • Genera el código refactorizado siguiendo las instrucciones.
   • Actúa como el núcleo de ejecución, ajustando su salida basándose en los errores reportados por los otros agentes.
3. Agente Compilador (Compiler Agent):
   • Interactúa con la herramienta Maven para compilar el código modificado.
   • Si falla la compilación, analiza los registros de error, genera un resumen y lo envía al Agente Generador para que corrija el código.
   • Este bucle de retroalimentación tiene un límite de 20 iteraciones.
4. Agente Probador (Tester Agent):
   • Asegura la preservación del comportamiento funcional.
   • Utiliza EvoSuite para generar pruebas unitarias de regresión si no existen pruebas escritas por desarrolladores, y ejecuta las pruebas existentes mediante Maven.
   • Si las pruebas fallan, envía el resumen del error al Agente Generador para su corrección.
   • Si tras 20 iteraciones las pruebas siguen fallando, descarta la refactorización para esa clase.

Tecnologías y Configuración:

• Modelos LLM: Se evaluó el marco utilizando tres modelos: GPT-4o (cerrado), StarCoder2-15B y DeepSeekCoder-33B (abiertos).
• Dataset: 8 proyectos de código abierto en Java (Apache) de gran tamaño (ej. JClouds, Accumulo, SkyWalking).
• Evaluación: Se comparó contra un enfoque de agente único, una herramienta de refactorización basada en búsqueda (RefGen) y refactorizaciones históricas de desarrolladores.

3. Contribuciones Clave

• Primera arquitectura Multi-Agente para refactorización end-to-end: A diferencia de enfoques anteriores que usan un solo LLM, RefAgent descentraliza tareas (planificación, generación, compilación, prueba) para reducir alucinaciones y mejorar la precisión.
• Mecanismo de auto-reflexión iterativa: El sistema no solo genera código, sino que lo valida, corrige errores de compilación y de pruebas en un bucle cerrado hasta lograr un resultado válido o agotar las iteraciones.
• Preservación de comportamiento: A diferencia de muchas herramientas de búsqueda que pueden romper la funcionalidad, RefAgent prioriza estrictamente el paso de las pruebas unitarias y la compilación exitosa.
• Análisis exhaustivo: Incluye un estudio de ablación para cuantificar la contribución de cada componente (contexto, bucles de iteración) y comparaciones con múltiples modelos LLM.

4. Resultados Principales

Los experimentos en los 8 proyectos mostraron resultados superiores en comparación con enfoques de agente único y herramientas tradicionales:

• Calidad del Código y Éxito de Ejecución:
  • Tasa de éxito de pruebas unitarias: RefAgent alcanzó una mediana del 90% (GPT-4o y DeepSeek), superando drásticamente a los enfoques de agente único (Pass@1: ~44.5%).
  • Tasa de éxito de compilación: Mediana del 87-88%, frente al 48-62% de los agentes únicos.
  • Reducción de Olores de Código (Code Smells): Reducción mediana del 52.5% en olores de código, con mejoras significativas en la modularización y reducción de complejidad.
• Identificación de Oportunidades:
  • RefAgent alineó sus decisiones con las de los desarrolladores humanos con un F1-score mediano del 80% y con la herramienta de búsqueda RefGen con un 72%.
• Mejora de Atributos de Calidad (QMOOD):
  • Se observaron mejoras en la reutilizabilidad (8.6% mediana) y la funcionalidad.
  • Aunque hubo ligeras variaciones en la "comprensibilidad", el sistema mejoró globalmente la cohesión y la adaptabilidad del diseño.
• Estudios de Ablación:
  • La eliminación del contexto (dependencias y métricas) causó una caída drástica en el rendimiento, demostrando que la información contextual es vital.
  • Los bucles de iteración (hasta 20 rondas) fueron esenciales para estabilizar el rendimiento y corregir errores progresivamente.

5. Significado e Impacto

Este trabajo demuestra que las arquitecturas de agentes múltiples representan un avance significativo en la ingeniería de software automatizada. RefAgent supera las limitaciones de los LLMs estáticos al introducir un ciclo de "pensar, actuar, verificar y corregir" que imita el proceso de desarrollo humano.

• Viabilidad: Prueba que es posible automatizar refactorizaciones complejas ("Root-canal refactoring") sin intervención humana constante, manteniendo la integridad del sistema.
• Escalabilidad: El enfoque es agnóstico al modelo LLM subyacente, lo que sugiere que la arquitectura del agente es el factor crítico de éxito, no solo la potencia del modelo de lenguaje.
• Futuro: Abre la puerta a sistemas de ingeniería de software autónomos que pueden gestionar tareas de mantenimiento a gran escala, reduciendo la carga cognitiva de los desarrolladores y mejorando la salud a largo plazo del código.

En conclusión, RefAgent establece un nuevo estado del arte al combinar la capacidad de razonamiento de los LLMs con la ejecución robusta de herramientas de validación, logrando refactorizaciones seguras, efectivas y de alta calidad.