🤖 AI

Kozuchi Agent: A Language-Agnostic Open-Weight Agent for Software Repair

Kozuchi Agent es un sistema de reparación de software agnóstico al lenguaje y de pesos abiertos que aprovecha un flujo de trabajo de estado persistente operado por CI para lograr un rendimiento de vanguardia en los benchmarks SWE-bench Verified y Multi-SWE-bench sin necesidad de ajuste fino, demostrando que sus limitaciones restantes derivan primordialmente de errores de corrección semántica y de selección más que de problemas de formato o de acceso a modelos propietarios.

Autores originales: Mehdi Bahrami, Kosaku Kimura, Satoshi Munakata, Satoshi Nakashima, Yu Ishikawa, Kosuke Maeda, Nao Soma, Kenichi Kobayashi, Keisuke Miyazaki, Keizo Kato, Shigeki Fukuta, Tatsuo Kumano, Nobutaka Imamura

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mehdi Bahrami, Kosaku Kimura, Satoshi Munakata, Satoshi Nakashima, Yu Ishikawa, Kosuke Maeda, Nao Soma, Kenichi Kobayashi, Keisuke Miyazaki, Keizo Kato, Shigeki Fukuta, Tatsuo Kumano, Nobutaka Imamura, Kevin Musgrave, Shahbaz Abdul Khader, Kwun Ho Ngan, Joe Townsend, Fayas Asharindavida, Matthieu Parizy, Akira Sakai, Yuma Ichikawa, Yang Zhao, Michiaki Takizawa, Taku Fukui, Hiroki Ohtsuji, Wei-Peng Chen, Hiromichi Kobashi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto e intrincado mundo de la ingeniería de software, el código es la base sobre la cual se construye la vida moderna, pero es propenso a romperse. Cuando un programa falla, genera un informe que describe el error, y un desarrollador humano debe entonces diagnosticar el problema, localizar la falla dentro de miles de líneas de texto y escribir una corrección que arregle el problema sin romper nada más. Este proceso es lento, difícil y costoso. Recientemente, ha surgido una nueva generación de inteligencia artificial que puede leer estos informes e intentar escribir las correcciones por sí misma. Estos sistemas, a menudo llamados agentes, actúan como aprendices digitales que pueden navegar por el sistema de archivos de una computadora, ejecutar pruebas y editar código. Sin embargo, enseñar a estos agentes a trabajar de manera confiable durante largos períodos ha sido un obstulo importante. A menudo se pierden en los detalles, olvidan lo que aprendieron en pasos anteriores o cometen errores al intentar usar las herramientas necesarias para arreglar el código. El desafío para los investigadores ha sido construir un sistema que mantenga a estos trabajadores digitales enfocados, organizados y responsables, permitiéndoles resolver problemas complejos sin supervisión humana constante.

Un equipo de investigadores de Fujitsu Research ha abordado este desafío creando un sistema llamado Kozuchi Agent. Su trabajo se centra en un tipo específico de inteligencia artificial que no requiere un entrenamiento especial con nuevos datos, sino que en su lugar depende de un marco de trabajo cuidadosamente diseñado para guar la su comportamiento. Los investigadores construyeron un entorno digital donde el agente opera en etapas distintas y claramente definidas. En lugar de dejar que el agente deambule libremente a través de un problema, el sistema lo obliga a avanzar a través de una secuencia de pasos: primero, reproducir el error para confirmar que existe; luego, localizar la fuente exacta del problema; y finalmente, escribir y probar la corrección. En cada etapa, el agente debe producir un resultado específico antes de pasar a la siguiente, y el sistema mantiene un registro permanente de todo lo que el agente hace. Esta estructura evita que el agente se confunda o repita los mismos errores, convirtiendo una búsqueda caótica en un proceso disciplinado y auditable.

El equipo probó este sistema en una gran colección de problemas de software del mundo real, apuntando específicamente a un conjunto de quinientos problemas del lenguaje de programación Python. Utilizaron un modelo de inteligencia artificial potente y de código abierto que no fue modificado ni reentrenado para esta tarea específica. Para asegurar que los resultados fueran robustos, ejecutaron el agente ocho veces por separado en cada problema, generando ocho soluciones potenciales diferentes. El sistema luego comparó estas soluciones entre sí utilizando un método de selección ingenioso. En lugar de depender de una clave de respuestas oculta para elegir la mejor corrección, el sistema utilizó las pruebas generadas por cada una de las ocho ejecuciones para evaluar las demás. Si una corrección pasaba las pruebas creadas por otro intento, se consideraba un candidato sólido. Este enfoque permitió al sistema identificar la solución más confiable sin necesidad de conocer la respuesta correcta de antemano.

Los resultados fueron significativos. El Kozuchi Agent resolvió trescientas setenta y cuatro de los quinientos problemas de Python, una tasa de éxito de casi el setenta y cinco por ciento. Este rendimiento colocó al sistema entre los mejores de su campo, clasificándose en el duodécimo lugar general cuando se comparó con todas las entregas, pero ocupando el primer lugar entre los sistemas que utilizan modelos abiertos y disponibles públicamente. Los investigadores también probaron el mismo sistema en un conjunto diferente de problemas escritos en el lenguaje de programación Java. A pesar de las diferencias entre los dos lenguajes, el sistema funcionó con una consistencia similar, resolviendo cuarenta y un problemas de ciento veintiocho de Java. Esto demostró que el marco de trabajo no estaba ligado a un solo lenguaje, sino que podía aplicarse ampliamente a diferentes tipos de software.

Un hallazgo clave del estudio fue que los fallos que ocurrieron no se debieron a que el agente escribiera código desordenado o roto. De hecho, casi todos los parches producidos por el agente se aplicaron limpiamente al software. Los problemas radicaban en la lógica de la corrección en sí; el agente a menudo escribía una corrección que parecía correcta pero que en realidad no resolvía el problema subyacente. Esta distinción es crucial porque sugiere que la principal barrera para la mejora no es el formato del código o la capacidad de usar herramientas, sino más bien la comprensión profunda del significado del problema. Los investigadores también descubrieron que el sistema era altamente eficiente en sus operaciones. Al automatizar el flujo de trabajo y permitir que diferentes partes del proceso fueran reutilizadas, redujeron la cantidad de esfuerzo humano requerido para ejecutar estas pruebas de cinco pasos manuales separados a una sola acción automatizada.

El estudio descartó explícitamente la idea de que el éxito del sistema se debiera simplemente a adivinar o al uso de un modelo propietario masivo al que solo unas pocas empresas podían acceder. El agente utilizó un modelo con veintisiete mil millones de parámetros, que es grande pero mucho más pequeño que los modelos más potentes disponibles hoy en día, y logró sus resultados sin ningún ajuste fino especial. Los investigadores también demostraron que el sistema no dependía de la suerte; el rendimiento fue consistente a través de diferentes ejecuciones y diferentes tipos de repositorios de software. Si bien el sistema no es perfecto y todavía lucha con los problemas semánticos más difíciles, representa un gran paso adelante para hacer de la inteligencia artificial un socio confiable en la ingeniería de software. Al combinar un flujo de trabajo estructurado con un proceso de selección inteligente, el Kozuchi Agent ha demostrado que la tecnología abierta y accesible puede competir con los sistemas más avanzados en la resolución de desafíos de codificación del mundo real.

Resumen Técnico: Agente Kozuchi

Declaración del Problema

Los equipos de ingeniería de software industrial requieren cada vez más agentes de Modelos de Lenguaje Extensos (LLM) capaces de convertir informes de errores en parches correctos que superen las pruebas. Sin embargo, operar estos agentes a escala de benchmark introduce desafíos significativos:

Ejecución de Largo Horizonte: Las reparaciones del mundo real requieren procesos de múltiples pasos (reproducción, localización, edición, verificación) que consumen un contexto y tiempo extensos, lo que a menudo conduce a una planificación no estructurada y a una degradación de la calidad de la decisión.
Deriva de Gramática de Herramientas: Diferentes familias de LLM utilizan diversas convenciones para las llamadas a herramientas y acciones estructuradas, lo que causa desajustes de sintaxis que invalidan las acciones y desperdician turnos de inferencia.
Heterogeneidad de Multi-Cluster: Los entornos de investigación suelen abarcar clusters heterogéneos (inferencia de GPU, pruebas de VM, calificación de Docker), lo que requiere scripts operativos distintos para cada backend.
Costo de Evaluación: Ejecutar nuevamente los pipelines completos de benchmark (por ejemplo, SWE-bench Verified) con calificación basada en Docker es computacionalmente costoso, lo que hace que la experimentación iterativa y las ejecuciones impulsadas por CI sean poco prácticas.

Metodología

Los autores presentan el Agente Kozuchi, un agente de reparación de pesos abiertos y agnóstico al lenguaje, junto con un pipeline de evaluación operado por CI diseñado para abordar estos bloqueadores operativos. El sistema se basa en mini-swe-agent, pero introduce una arquitectura de arnés rigurosa.

Componentes Arquitectónicos Principales

Orquestación Basada en Fases: El agente opera dentro de un grafo dirigido de ocho fases semánticamente significativas (por ejemplo, reproducción, localización, corrección, verificación). Las transiciones entre fases son explícitas, con bordes de éxito o de retroceso definidos en la configuración. Esta estructura evita conversaciones no estructuradas y asegura transferencias de estado auditables.
Estado Compartido Persistente: En lugar de depender únicamente del historial de la conversación, el sistema mantiene una memoria compartida duradera (basada en el sistema de archivos) que contiene scripts, pruebas generadas, trazas y memorandos de transferencia. Esto permite que el estado se reanude y se audite a través de la compresión de contexto.
Sandbox de Herramientas Determinista: El agente interactúa con un conjunto fijo de herramientas de ingeniería de software: line_trace (rastreo dinámico), caller_trace (descubrimiento de llamadas) y line_edit (edición protegida). Estas herramientas se inyectan mediante puertas de fase para estrechar el espacio de acción.
Interfaz de Acción Agnóstica al Modelo: El tiempo de ejecución separa el contrato de acción lógica de la sintaxis específica del modelo. Un rol de "formateador" normaliza la salida del LLM en un único comando ejecutable, permitiendo que la misma lógica del agente se ejecute en diferentes familias de modelos sin bifurcar el código.
Pipeline Operado por CI: El proceso de evaluación es orquestado a través de un pipeline de CI (.gitlab-ci.yml) que coordina la inferencia, la calificación y el reporte a través de clusters heterogéneos. Cuenta con un "modo de reutilización" que interrumpe etapas costosas (por ejemplo, reutilizando artefactos previamente validados) para reducir los puntos de contacto del operador de cinco a uno por ciclo.

Selección de Tiempo de Prueba Cross-Agent

Una innovación clave es el Selector Cross-Agent. En lugar de depender de un verificador aprendido o de pruebas ocultas del benchmark durante la selección:

Generación de Candidatos: El sistema ejecuta $K=8$ ejecuciones de inferencia independientes del mismo modelo. Cada ejecución genera un parche candidato y su propio conjunto de pruebas de revelación de errores (FAIL_TO_PASS) y de preservación de regresión (PASS_TO_PASS).
Aplicación Cruzada: El selector construye una matriz de $K \times K$ donde las pruebas generadas por la ejecución $j$ se aplican al parche generado por la ejecución $i$ .
Calificación: Se calcula una puntuación basada en las tasas de aprobación de estas pruebas aplicadas de forma cruzada, ponderadas por un prior fijo ( $w_B=0.3$ para revelación de errores, $w_R=0.7$ para regresión). El candidato con la puntuación más alta es seleccionado.
Restricción: Este proceso utiliza únicamente la evidencia archivada por las ejecuciones de los candidatos, asegurando que no haya filtración de los resultados de las pruebas ocultas del benchmark.

Contribuciones Clave

C1: Arnés Basado en Fases Auditable: Un arnés de agente agnóstico al modelo que descompone la resolución de problemas en ocho fases con transiciones explícitas y un sandbox de herramientas determinista, haciendo que los ciclos de reparación largos sean inspeccionables y repetibles.
C2: Pipeline de CI Reutilizable: Un pipeline de benchmark multi-cluster que reduce el esfuerzo del operador y permite la reutilización de etapas de evaluación costosas, con todos los valores empíricos regenerables a partir de artefactos públicos.
C3: Selector Cross-Agent: Un mecanismo de selección en tiempo de prueba que fusiona múltiples ejecuciones de inferencia utilizando pruebas aplicadas de forma cruzada, separando el arrepentimiento del selector de la dificultad de la instancia sin requerir acceso a pruebas ocultas.
C4: Resultados Competitivos de Pesos Abiertos: Evidencia empírica que muestra que un modelo de 27 mil millones de parámetros de pesos abiertos, sin ajuste fino, logra un rendimiento de vanguardia entre los sistemas abiertos en SWE-bench Verified y Multi-SWE-bench Java.
C5: Transferencia de Lenguaje Cruzado: Demostración de que el mismo arnés, grafo de fases y lógica de selector se transfieren efectivamente de Python a Java con una desviación de comportamiento por fase mínima.

Resultados

Python (SWE-bench Verified)

Rendimiento: Utilizando un modelo Qwen3.5-27B alojado localmente, el Agente Kozuchi resolvió 374/500 instancias (74.80%) en el evaluador oficial en la nube.
Ranking: Ocupa el 12º lugar general entre 135 contribuciones catalogadas y el 1º entre los sistemas de pesos abiertos.
Significancia Estadística: Bajo la corrección FDR de Benjamini–Hochberg, supera significativamente a 16 de sus 17 pares de pesos abiertos curados, incluyendo una configuración Qwen3-Coder de 480B de parámetros.
Análisis de Fallos: De las 126 instancias no resueltas, el 91.3% fueron "Corrección Errónea" (parches aplicados limpiamente pero que fallaron en las pruebas ocultas), lo que indica que el principal modo de fallo es la corrección semántica en lugar de errores de formato o aplicación.
Mejora de Selección: El selector cross-agent contribuyó con +14 instancias resueltas sobre una línea base de primer candidato ordenada por tamaño.

Java (Multi-SWE-bench Java)

Rendimiento: La misma configuración de agente de 27B resolvió 41/128 instancias (32.03%).
Ranking: Ocupa el 4º lugar general entre 42 contribuciones y el 1º entre las contribuciones estrictas de pesos abiertos.
Transferencia: El comportamiento por fase se mantuvo dentro de $\pm 5$ puntos porcentuales de la ejecución de Python, y el mismo modelo de 27B superó al más fuerte par de pesos abiertos de la misma clase en Java (Qwen2.5-72B) por 38 instancias.

Eficiencia Operativa

El pipeline de CI redujo los puntos de contacto del operador de 5 a 1 por ciclo.
6 de 9 etapas de CI son reutilizables entre iteraciones.
494/495 parches producidos se aplicaron limpiamente a través del arnés.

Significado y Reivindicaciones

El documento posiciona al Agente Kozuchi no como un avance en la capacidad del modelo, sino como un avance significativo en la ingeniería de arneses y la reproducibilidad operativa.

Impacto Industrial: La contribución principal es el reemplazo de flujos de trabajo de evaluación manuales y ad-hoc por un pipeline de CI estandarizado, auditable y reutilizable. Esto reduce el costo de la experimentación y permite comparaciones rigurosas de modelos de pesos abiertos.
Límite de la Evidencia: Los autores declaran explícitamente que sus afirmaciones respecto al arnés (fases, herramientas, CI) están respaldadas por firmas operativas y auditorías de artefactos, mientras que las ganancias específicas de la cantidad de candidatos y la selección están respaldadas por ablaciones controladas. No afirman haber resuelto completamente la brecha de corrección semántica, señalando que los fallos restantes se deben principalmente a la incapacidad del modelo para generar parches semánticamente correctos en lugar de problemas de formato.
Modestia: Los autores enfatizan que el sistema es una herramienta de "pre-producción de evaluación". No afirman un despliegue en producción, KPIs de desarrollador de usuario final, ni despliegue contra repositorios internos propietarios. El trabajo aísla el valor del arnés para permitir que los modelos de pesos abiertos compitan con los sistemas propietarios, en lugar de afirmar que el modelo en sí ha superado a los modelos cerrados de frontera en todos los aspectos.

En resumen, el Agente Kozuchi demuestra que, con un arnés robusto, auditable y agnóstico al lenguaje, un modelo de pesos abiertos de 27B puede lograr un rendimiento de primer nivel en la reparación automática de software, siempre que el pipeline de evaluación esté diseñado para maximizar la diversidad de candidatos y el rigor de la selección sin depender de la filtración de pruebas ocultas.