Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

Imagina un mundo donde el software es como una ciudad gigante y bulliciosa construida por millones de personas. A veces, un edificio tiene una grieta oculta, un puente tiene un perno suelto o un semáforo se queda trabado en verde cuando debería estar en rojo. En el mundo real, solemos esperar a que alguien grite: "¡Oigan, el puente está roto!" antes de enviar un equipo de reparación. En el mundo digital, este "grito" se llama reporte de error (o issue report). Es una nota detallada de un humano describiendo exactamente dónde está el error, qué mensaje de error apareció y cómo debería comportarse el software.

Durante mucho tiempo, los científicos de la computación han estado entrenando a asistentes de IA superinteligentes, conocidos como agentes de codificación, para que actúen como equipos de reparación. Estos agentes utilizan potentes modelos con capacidad de cerebro (llamados Modelos de Lenguaje Extensos o LLMs) para leer código y solucionar problemas. Pero aquí está el truco: la mayor parte del entrenamiento y las pruebas que estos agentes han realizado hasta ahora asumen que siempre hay un "grito" perfecto y detallado (un reporte de error) esperando por ellos. Es como entrenar a un mecánico solo con coches que ya han sido remolcados al taller con una nota que dice: "El motor hace un ruido de golpeteo".

Pero en el mundo real, las cosas no siempre salen tan bien. A veces los errores son tan sigilosos que se filtran en el producto final sin que nadie los note hasta que es demasiado tarde, causando un caos masivo. Otras veces, las notas dejadas por los humanos son vagas, confusas o carecen de detalles crucialos. Esto plantea una pregunta grande y emocionante: ¿Pueden estos equipos de reparación de IA encontrar y arreglar las partes rotas de la ciudad antes de que alguien siquiera sepa que están rotas? ¿Pueden actuar como detectives proactivos, escaneando el código por su cuenta, detectando las grietas y arreglándolas sin un solo manual de instrucciones?

Esto es exactamente lo que el artículo "Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports" busca explorar. Los autores, un equipo de investigadores de universidades y laboratorios independientes, introducen un nuevo desafío llamado Active-SWE. Piensa en esto como un nivel de un videojuego gigante y de alto riesgo diseñado para probar si los agentes de IA pueden ser verdaderos detectives en lugar de solo mecánicos obedientes.

En lugar de darle a la IA una lista de "cosas rotas" para reparar, los investigadores les entregaron una biblioteca masiva de código —1,663 tareas diferentes a través de seis tipos de errores y ocho lenguajes de programación distintos— y les dijeron: "Vayan, encuentren los problemas y arréglenlos. Buena suerte, no se permiten pistas".

Los investigadores construyeron este desafío de dos maneras. Primero, crearon una "Configuración Simple" donde la IA tenía que encontrar y arreglar un solo error oculto en una base de código, muy parecido a encontrar una errata específica en una novela. Luego, aumentaron la dificultad con una "Configuración Difícil", donde la IA tenía que rastrear múltiples errores a la vez, como un detective tratando de resolver toda una serie de crímenes en una sola noche. También probaron a la IA con "Errores Potenciales" —escenarios donde la IA podría encontrar un problema que ni siquiera estaba en la lista original de problemas conocidos—, esencialmente preguntando: "¿Encontraste algo nuevo que realmente esté roto?".

Para asegurarse de que la IA no estuviera simplemente adivinando, los investigadores utilizaron un ingenioso sistema de puntuación de "doble vía". Una vía verificaba si la IA encontraba los errores que ellos sabían que estaban ahí (Errores Registrados). La otra vía era más difícil: si la IA afirmaba haber encontrado un nuevo error, el sistema obligaba a la IA a escribir una prueba para demostrarlo. Si la IA no podía probar que el error existía mediante una prueba, el descubrimiento no contaba. Es como si un detective afirma haber encontrado una caja fuerte oculta; tiene que mostrarte la llave y abrirla para demostrar que es real.

¿Los resultados? Resulta que incluso los agentes de IA más inteligentes y avanzados de hoy en día todavía tienen dificultades con este trabajo de detective proactivo. Cuando los investigadores probaron los modelos de primer nivel (como Claude Opus 4.8, GPT-5.5 y otros), descubrieron que la mayoría de ellos solo podían arreglar aproximadamente el 20% de los errores conocidos cuando se les dejaba sin una guía. Esa es una gran caída en comparación con cuando se les proporciona un reporte de error detallado.

El estudio sugiere que, si bien estos agentes de IA están mejorando en el seguimiento de instrucciones, todavía son bastante malos analizando una habitación desordenada y determinando por su cuenta qué es lo que está roto. A menudo se pierden en el código, no pueden señalar exactamente dónde está el problema (una habilidad llamada "localización") y luchan por arreglar múltiples problemas a la vez. Curiosamente, la IA fue ligeramente mejor encontrando ciertos tipos de errores, como los relacionados con la lógica o el flujo de datos, pero era casi totalmente ignorante cuando se trataba de errores que involucraban el "estado" del sistema (como un semáforo que se queda trabado).

Quizás lo más importante es que el artículo muestra que encontrar el error es solo la mitad de la batalla. Los datos sugieren que si la IA no puede localizar con precisión la parte rota del código, casi nunca la arregla correctamente. Es como intentar arreglar una tubería con una fuga sin saber qué tubería es la que gotea; podrías terminar apretando la que no es.

En resumen, este artículo no afirma que la IA haya resuelto la reparación de software. En cambio, lanza una alarma de que la generación actual de agentes de codificación todavía es demasiado dependiente de los humanos para señalarles los problemas. El sueño "proactivo" —donde la IA escanea el código y arregla los problemas antes de que causen un colapso— sigue siendo un trabajo en progreso. Los investigadores concluyen que, aunque estos agentes son poderosos, necesitan volverse mucho mejores siendo detectives independientes antes de que podamos confiar en ellos para mantener nuestras ciudades digitales seguras sin una red de seguridad.