Kronumos 2 Kairos: Cost-Bounded Automated Program Repair via Dual-Brain Cybernetic Sub-Cortex on SWE-bench Verified

El mantenimiento de software es una industria silenciosa y masiva que consume más del sesenta por ciento del presupuesto global de ingeniería. Es la labor de encontrar piezas rotas en sistemas digitales complejos y repararlas sin romper las partes que aún funcionan. Durante décadas, esta ha sido una tarea humana, que requiere un conocimiento profundo de cómo diferentes archivos de código se comunican entre sí. Recientemente, programas informáticos entrenados en vastas cantidades de código han comenzado a intentar realizar este trabajo por sí mismos. Estos programas, conocidos como modelos de lenguaje de gran tamaño, pueden leer la descripción de un problema y sugerir una solución. Sin embargo, cuando estos modelos intentan reparar software del mundo real, suelen tener dificultades. Se pierden en el enorme volumen de información, cometen errores sutiles de formato que causan que la computadora rechace su trabajo y lo hacen con un alto costo financiero, requiriendo a menudo una costosa potencia de computación en la nube para cada intento.

Un nuevo estudio presenta un enfoque diferente para este problema, uno que prioriza la precisión y la rentabilidad sobre la fuerza bruta. Los investigadores construyeron un sistema llamado Kronumos 2 Kairos, diseñado para actuar como una herramienta quirúrgica en lugar de un motor de búsqueda amplio. En lugar de dejar que un modelo informático deambule por una base de código, adivinando y comprobando repetidamente, este sistema obliga al modelo a concentrarse en una tarea muy específica y estrecha. Empareja un modelo informático de código abierto de tamaño moderado con un motor rígido basado en reglas que actúa como un estricto inspector de control de calidad. El objetivo era ver si un modelo más pequeño y económico podía reparar errores de software reales si se le protegía de su tendencia a cometer errores descuidados y si se le impedía desperdiciar recursos en pasos innecesarios. Los investigadores probaron este sistema en un banco de pruebas de quinientos problemas de software del mundo real, un conjunto estándar de desafíos utilizado para medir la capacidad de la inteligencia artificial para reparar código.

El sistema opera dividiendo el trabajo en dos partes distintas. La primera parte es la "corteza cognitiva", que es el modelo informático responsable de comprender el problema y escribir la corrección del código. La segunda parte es la "subcorteza", un motor determinista escrito en un lenguaje que garantiza un comportamiento exacto y predecible. Esta subcorteza actúa como un filtro y un formateador. Antes de que el modelo vea el problema, la subcorteza elimina miles de líneas de ruido técnico irrelevante que usualmente saturan los mensajes de error. Elimina información sensible como contraseñas y claves API para garantizar la privacidad. Luego, toma la salida del modelo y la verifica contra las reglas estrictas de cómo deben escribirse los parches de código. Si el modelo comete un error en los números de línea, la indentación o el formato de la corrección, la subcorteza lo detecta de inmediato. O bien corrige el error o rechaza el parche por completo, asegurando que ningún código roto o mal formado sea enviado para su prueba. Este proceso evita que el sistema pierda tiempo en intentos que están destinados al fracaso debido a simples errores de formato.

Los investigadores ejecutaron este sistema contra los quinientos problemas de software del mundo real. Los resultados mostraron que el sistema pudo resolver exitosamente ocho de estos errores. Aunque ocho de quinientos puede parecer un número pequeño, la importancia radica en cómo el sistema lo logró. Los investigadores utilizaron un modelo de solo siete mil millones de parámetros, que es significativamente más pequeño que los modelos masivos utilizados por empresas comerciales que a menudo cuestan miles de dólares de ejecutar. Al usar su arquitectura de cerebro dual, el sistema logró resolver estos problemas con un costo marginal de cero para la potencia de cómputo utilizada. La cantidad promedio de datos que el sistema procesó para cada tarea fue de poco más de dos mil tokens, una cifra que es un noventa y tres por ciento inferior a los cientos de miles de tokens que consumen típicamente otros sistemas de reparación automatizada. Esta drástica reducción en el uso de datos significa que el sistema es mucho más eficiente y escalable que las alternativas actuales.

Un hallazgo crítico del estudio fue la importancia del motor de control de calidad estricto. Cuando los investigadores eliminaron la capacidad de la subcorteza para corregir errores de formato después de que el modelo escribiera el código, el número de reparaciones exitosas cayó de ocho a seis. Esto demostó que una parte significativa de los fallos del modelo no se debían a una falta de comprensión, sino a errores menores y corregibles en la presentación del código. La subcorteza actuó como una red de seguridad, capturando estos errores y asegurando que las correcciones lógicas que el modelo encontró fueran realmente entregadas en un formato utilizable. El sistema también demostró que podía operar sin ejecutar las pruebas de software durante el proceso de reparación. En lugar de probar la corrección y ver si funciona, el sistema se basó en sus reglas internas para asegurar que la corrección fuera estructuralmente sólida antes de que fuera aplicada.

El estudio evaluó el sistema a través de cuatro ecosistemas de software diferentes, incluyendo proyectos importantes como Django y Scikit-Learn. Las ocho reparaciones exitosas cubrieron una variedad de problemas, desde la corrección de un fallo en una herramienta de migración de bases de datos hasta la corrección de un error matemático en una biblioteca de análisis de datos. En un caso, el sistema corrigió un error donde un programa fallaba si faltaba una configuración específica; el modelo identificó correctamente que el código necesitaba verificar la ausencia de dicha configuración antes de intentar usarla. En otro caso, corrigió un problema donde un programa cambiaba accidentalmente datos que debía dejar intactos. Los investigadores inspeccionaron manualmente cada corrección exitosa para confirmar que la lógica fuera correcta y que la solución no fuera solo una suposición afortunada.

Los investigadores reconocen que su sistema no es una solución completa para todos los errores de software. El modelo todavía tiene dificultades con problemas muy complejos que requieren un razonamiento profundo a través de muchos archivos diferentes o que involucran conceptos abstractos más allá de su entrenamiento. Sin embargo, el estudio establece una nueva base para lo que es posible con modelos de código abierto más pequeños. Muestra que, al combinar un modelo capaz pero modesto con un sistema rígido basado en reglas que impone estándares estrictos, es posible lograr resultados fiables sin los costos masivos asociados con los sistemas de vanguardia actuales. El trabajo sugiere que el futuro de la reparación automatizada puede no depender de hacer los modelos infinitamente más grandes, sino de construir mejores sistemas para guiarlos y capturar sus errores.

Esta investigación proporciona un camino claro hacia adelante para hacer que la reparación de software automatizada sea accesible y asequible. Al demostrar que un sistema puede corregir errores reales con costo cero y alta eficiencia, el estudio desafía la noción de que solo los modelos más caros y potentes pueden realizar este trabajo. El éxito del enfoque de cerebro dual resalta el valor de separar la tarea creativa de escribir código de la tarea mecánica de asegurar que siga las reglas. A medida que el campo de la reparación automatizada continúa evolucionando, este trabajo ofrece un ejemplo práctico de cómo equilibrar la inteligencia con la disciplina, asegurando que las herramientas que construimos para reparar nuestro software sean, a su vez, robustas, fiables y eficientes.