Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model

Imagina que estás viendo un espectáculo de magia donde un robot asistente intenta reparar un juguete roto. Ves al robot tomar un destornillador, girar un tornillo y el juguete comienza a funcionar. Parece que el robot es un genio. Pero, ¿y si el robot en realidad solo estuviera adivinando, y el juguete solo empezara a funcionar porque un resorte oculto en su interior se reacomodó por accidente? O, ¿qué tal si el robot estuviera mirando una foto del juguete del año pasado, no del que está roto frente a él? En el mundo de la informática, específicamente en el campo de la Inteligencia Artificial (IA) y la Ingeniería de Software, estamos construyendo estos "asistentes robóticos" (llamados agentes de codificación) que escriben y reparan código informático. Durante mucho tiempo, la gente pensó que el "cerebro" del robot —el modelo de IA— era lo único que importaba. Si el cerebro era inteligente, el robot sería confiable. Pero este artículo argumenta que el cerebro es solo una parte de una máquina mucho más grande. La verdadera magia (o el verdadero desastre) ocurre en el sistema que rodea al cerebro: las herramientas que utiliza, la memoria que mantiene, los controles de seguridad que supera y los humanos que lo supervisan. Si el sistema es desordenado, incluso el cerebro más inteligente fallará, y si el sistema es sólido, un cerebro más simple puede hacer cosas asombrosas.

Este artículo, escrito por Stephanie Jarmak, es como un enorme manual de reparación y una guía de detective para construir estos sistemas de codificación de IA. La autora realizó una revisión estructurada en julio y agosto de 2026, analizando cientos de estudios, registros de ingeniería del mundo real y sus propios experimentos para descubrir por qué los agentes de codificación de IA a veces fallan, incluso cuando parecen estar haciéndolo de maravilla en el papel. El principal hallazgo es un poco como una llamada de atención: No puedes juzgar a un agente de codificación de IA solo mirando su puntuación final o su "cerebro". En su lugar, tienes que mirar todo el "arnés" que lo rodea. El artículo introduce un concepto llamado la "cadena de dependencia de la fiabilidad". Piensa en ello como una línea de fichas de dominó. Si la primera ficha (la forma en que mides el éxito) es inestable, la segunda ficha (el sistema de calificación) se caerá, lo que derribará la tercera (el plan de recuperación), y así sucesivamente. Si cualquier eslabón en esta cadena es débil, todo el sistema se vuelve poco fiable, sin importar cuán inteligente sea la IA.

El artículo argumenta en contra de la idea de que simplemente podemos seguir haciendo los modelos de IA más grandes e inteligentes para solucionar todos los problemas. Sugiere que muchos "fallos" no son realmente culpa de la IA; son causados por el sistema que la rodea. Por ejemplo, si se le da una tarea a una IA pero el sistema no le proporciona los archivos correctos para leer, la IA fallará. ¿Es culpa de la IA? No, es culpa del sistema. El artículo también advierte contra el "engaño" al sistema. Si pruebas una IA con un conjunto de acertijos que ya ha visto antes, podría obtener una puntuación perfecta, pero eso no significa que pueda resolver acertijos nuevos. La autora muestra que muchas puntuaciones públicas están infladas porque la IA ha "memorizado" las respuestas o porque las pruebas no fueron lo suficientemente estrictas.

Para solucionar esto, el artículo propone una nueva forma de construir y probar estos agentes. No se trata de encontrar el modelo de IA "perfecto"; se trata de construir una fábrica robusta. Imagina una fábrica donde un robot construye un coche. Si el robot deja caer una pieza, la fábrica no debería simplemente pretender que no sucedió. Necesita un sistema para detectar la caída, registrarla e intentarlo de nuevo sin romper el coche. El artículo proporciona una lista de verificación de 206 "registros de fiabilidad"—básicamente, reglas y herramientas para asegurar que el sistema sea seguro. Estos incluyen cosas como:

• Ejecutar pruebas múltiples veces: Al igual igual que lanzar una moneda una vez no te dice si es justa, ejecutar una IA una sola vez no te dice si es fiable. Tienes que ejecutarla muchas veces para ver si es consistente.
• Comprobar las herramientas: Asegurarse de que la IA no esté usando herramientas que no debería tener, o que las herramientas que usa estén realmente funcionando.
• Supervisión humana: Tener a un humano que revise el trabajo, pero solo en los momentos adecuados, para que el humano no se vea abrumado.
• Recuperación segura: Si la IA falla o comete un error, el sistema debe ser capaz de reiniciarse sin perder el progreso o causar más daños.

La autora es muy cuidadosa de no decir que ha "solucionado" todo. Admite que algunas de sus ideas se basan en evidencia sólida de experimentos, mientras que otras se basan en el razonamiento lógico sobre cómo deberían funcionar los sistemas para evitar desastres. No afirma que sus reglas funcionarán para cada IA del mundo, pero proporciona un marco sólido para que los ingenieros prueben sus propios sistemas. Enfatiza que si quieres confiar una IA para escribir código para un banco o un hospital, no puedes limitarte a mirar sus puntuaciones de prueba. Tienes que mirar toda la máquina, revisar las fichas de dominó y asegurarse de que el sistema esté construido para manejar errores de forma segura.

En resumen, este artículo nos dice que construir un codificador de IA fiable tiene menos que ver con encontrar un robot supergenio y más con construir una fábrica superfiable a su alrededor. Es una guía para que los ingenieros dejen de adivinar y empiecen a medir, asegurando que cuando una IA dice "lo arreglé", en realidad signifique "lo arreglé y puedo demostrarlo". El artículo concluye que el futuro de la codificación por IA no se trata solo de cerebros más inteligentes, sino de sistemas más inteligentes, seguros y honestos que los rodeen.