Byam: Fixing Breaking Dependency Updates with Large Language Models

Resumen Técnico: Byam - Reparación de Actualizaciones de Dependencias Ruptivas con LLMs

1. El Problema

El desarrollo de software moderno depende intensamente de bibliotecas de terceros (dependencias) para mejorar la productividad. Sin embargo, las actualizaciones de estas bibliotecas a menudo introducen cambios ruptivos (breaking changes), como la eliminación de métodos, modificaciones en las firmas de las API, cambios de tipos de parámetros o reemplazos completos de funcionalidades.

Estos cambios provocan que el código del cliente (la aplicación que usa la biblioteca) deje de compilarse o falle en ejecución. Identificar la causa raíz y actualizar manualmente el código es una tarea tediosa y costosa en tiempo. Aunque existen herramientas automatizadas, muchas se basan en reglas predefinidas o análisis estático que no escalan bien ante la diversidad de cambios en el mundo real. El objetivo de este trabajo es automatizar la reparación de estos errores de compilación utilizando Modelos de Lenguaje Grande (LLMs).

2. Metodología: El Enfoque Byam

Los autores proponen Byam, una pipeline automatizada diseñada para generar parches de código que resuelvan errores de compilación causados por actualizaciones de dependencias. El proceso se divide en tres etapas principales:

1. Extracción de Información de la Construcción Fallida:

   • El sistema analiza los registros de compilación (build logs) para identificar los archivos y líneas específicas que causan el error.
   • Extrae el mensaje de error del compilador.
   • Calcula las diferencias de API (APIDiff) entre la versión antigua y la nueva de la dependencia utilizando la herramienta japicmp. Esto permite al sistema saber exactamente qué métodos desaparecieron o cambiaron.

2. Generación de Reparaciones con LLM (Prompt Engineering):

   • Se utilizan LLMs para generar el código corregido. La clave del enfoque es el diseño de prompts avanzados que enriquecen el contexto del modelo.
   • Se evaluaron 8 configuraciones de prompts combinando diferentes elementos:
     • Línea errónea: Indicar la línea exacta de código que falla.
     • Diferencias de API (APIDiff): Proporcionar la lista de cambios en la biblioteca.
     • Cadena de Pensamiento (Chain-of-Thought - CoT): Instruir al modelo para que razone paso a paso antes de generar el código.
   • Se probaron 5 modelos de LLM: Google Gemini-2.0 Flash, OpenAI GPT-4o-mini, OpenAI o3-mini, Alibaba Qwen2.5-32b-instruct y DeepSeek V3.

3. Validación y Análisis:

   • El código generado se integra en el proyecto y se vuelve a compilar.
   • Se evalúa si la compilación es exitosa, si se resolvieron errores parciales o si se introdujeron nuevos errores.

3. Contribuciones Clave

• Propuesta Byam: Un enfoque novedoso que utiliza LLMs no solo para generar código, sino para reparar específicamente errores de compilación derivados de actualizaciones de dependencias, utilizando un análisis contextual rico (APIDiff y líneas de error).
• Evaluación a Gran Escala: Un experimento riguroso sobre el conjunto de datos BUMP (un benchmark de 103 actualizaciones ruptivas en proyectos Java reales), probando 5 modelos diferentes y 8 estrategias de prompting.
• Análisis Multinivel: La evaluación no se limita a si el proyecto compila o no, sino que mide el éxito a tres niveles de granularidad:
  1. Nivel de Construcción (Build): ¿El proyecto compila y pasa las pruebas?
  2. Nivel de Archivo: ¿Cuántos archivos con errores se repararon?
  3. Nivel de Error Individual: ¿Cuántos errores de compilación específicos se solucionaron?
• Reproducibilidad: Se ha publicado un paquete de replicación completo en GitHub para fomentar la investigación futura.

4. Resultados Principales

Los experimentos arrojaron los siguientes hallazgos cuantitativos y cualitativos:

• Mejor Modelo: OpenAI o3-mini demostró ser el modelo más efectivo.
  • Tasa de Éxito de Construcción (Build Success Rate): Logró reparar completamente el 27% de las 103 construcciones fallidas (28 casos) utilizando el prompt más rico (P8: CoT + Línea Errónea + APIDiff).
  • Reparación Parcial: En los casos donde no se logró una reparación completa, o3-mini reparó el 41% de los archivos con errores y el 78% de los errores de compilación individuales.
• Impacto del Prompting:
  • La inclusión de diferencias de API (APIDiff) y la línea errónea mejoró significativamente el rendimiento en la mayoría de los modelos.
  • La técnica de Cadena de Pensamiento (CoT) fue beneficiosa para modelos con capacidades de razonamiento avanzadas (como o3-mini), pero a veces perjudicial para modelos más pequeños o menos orientados al razonamiento (como Gemini-2.0 Flash en ciertas configuraciones).
• Introducción de Nuevos Errores:
  • Se definió una métrica de Ratio de Errores Relativos Corregidos (REF). o3-mini mostró la mayor estabilidad, introduciendo muy pocos errores nuevos en comparación con los que reparó.
  • El modelo de código abierto Qwen2.5-32b-instruct tuvo el rendimiento más bajo, a menudo introduciendo más errores de los que reparaba.
• Comparación con el Estado del Arte:
  • Byam superó a enfoques recientes basados en agentes iterativos (como los de Frunkte y Krinke, 2025), logrando una tasa de éxito del 27% en una sola iteración frente al 23% de los agentes tras múltiples intentos, demostrando que un prompt bien contextualizado es más eficiente que la iteración ciega.

5. Significado e Implicaciones

• Viabilidad de la Automatización: El estudio demuestra que los LLMs tienen el potencial real de automatizar la reparación de dependencias ruptivas, una tarea que actualmente consume mucho tiempo a los desarrolladores.
• Importancia del Contexto: La investigación subraya que la mera capacidad del modelo no es suficiente; la ingeniería de prompts que incluye contexto específico (errores, diferencias de API y razonamiento estructurado) es crítica para el éxito.
• Apoyo al Desarrollador: Incluso cuando la reparación automática no es 100% exitosa, la capacidad de corregir el 78% de los errores individuales reduce drásticamente la carga de trabajo manual, permitiendo a los desarrolladores enfocarse en los problemas restantes.
• Futuro: Los autores sugieren que la integración de Byam en flujos de trabajo de CI/CD (como bots de Pull Request) podría automatizar completamente el mantenimiento de dependencias, mejorando la seguridad y la estabilidad de los proyectos de software. Además, se destaca la necesidad de futuros trabajos para abordar no solo errores de compilación, sino también fallos semánticos y de pruebas.

En conclusión, Byam representa un avance significativo hacia la automatización inteligente del mantenimiento de software, demostrando que con la configuración adecuada, los LLMs pueden actuar como asistentes de reparación altamente efectivos para las actualizaciones de dependencias.