Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

En el mundo del software, diferentes sistemas informáticos a menudo necesitan comunicarse entre sí para realizar un trabajo. Un sistema podría enviar una fecha escrita con el "día primero", mientras que el otro espera el "mes primero". Uno podría contar el dinero en centavos, mientras que el otro cuenta en dólares. Estas pequeñas diferencias no suelen ser misterios; son hechos que alguien, en algún lugar, ha registrado. El desafío surge cuando un nuevo tipo de trabajador, un agente de inteligencia artificial, se le pide que construya el puente entre estos dos sistemas. Estos agentes son herramientas poderosas que pueden escribir código de computadora para conectar diferentes programas. Sin embargo, operan bajo una regla simple: solo pueden usar la información que se les proporciona en sus instrucciones. Si las instrucciones no dicen si una fecha es de día primero o de mes primero, el agente no puede saber la respuesta. Debe tomar una decisión.

El peligro en esta situación no es que el agente falle o deje de funcionar. El peligro es que siga trabajando perfectamente, pero obtenga la respuesta incorrecta. Esto se llama un fallo silencioso. El código se ejecuta sin errores, pasa las pruebas básicas y parece correcto para un revisor humano, pero envía los datos erróneos al siguiente sistema. Este es un problema crítico para las empresas y organizaciones porque el error no aparece de inmediato. En cambio, los números incorrectos fluyen río abajo, corrompiendo registros, informes financieros y decisiones mucho antes de que alguien se dé cuenta de que algo está roto. La pregunta que los investigadores se hicieron fue simple: cuando estos agentes inteligentes se enfrentan a un hecho faltante que no pueden adivinar, ¿se detienen y piden ayuda, o simplemente adivinan con confianza y rompen el sistema?

Un investigador se propuso medir exactamente qué tan seguido ocurre esto. Creó una serie de tareas realistas donde un agente de inteligencia artificial tenía que escribir una pieza de código para conectar dos sistemas. En algunas de estas tareas, se le daba al agente el hecho faltante, como decirle explícitamente que las fechas son de día primero. En otras tareas, el hecho estaba oculto, y el agente podía o bien hacer una pregunta para encontrarlo, o bien se le obligaba a escribir el código sin preguntar. Probó esto con ocho modelos de inteligencia artificial diferentes, que iban desde programas de código abierto más pequeños hasta los sistemas más avanzados disponibles hoy en día. El investigador no solo observó si el código se ejecutaba; comprobó si el código producía la respuesta correcta para cada escenario posible, incluyendo los casos complicados que dependen de ese hecho faltante.

Los resultados revelaron una realidad cruda sobre cómo funcionan estos sistemas. Cuando los agentes recibían el hecho faltante, tenían un alto índice de éxito, construyendo conexiones correctas aproximadamente el ochenta y ocho por ciento de las veces. Esto demostró que los agentes eran capaces de hacer el trabajo si tenían la información necesaria. Sin embargo, cuando el hecho faltaba y a los agentes se les prohibía preguntar, la situación cambiaba drásticamente. Los agentes no se detenían; no decían que estaban confundidos. En su lugar, elegían una convención y escribían el código. En el sesenta y dos por ciento de estos casos, el código que escribieron fue un fallo silencioso. Se ejecutaba limpiamente, parecía perfecto, pero devolvía el valor incorrecto. Esto sucedía independientemente de qué tan avanzado fuera el modelo. Incluso los sistemas más potentes, que podían resolver el problema perfectamente cuando se les daba el hecho, fallaban silenciosamente casi la mitad de las veces cuando no se les permitía preguntar.

El estudio también investigó si el simple hecho de permitir que el agente hiciera una pregunta solucionaría el problema. El investigador encontró que la respuesta depende enteramente de quién esté escuchando. Cuando se permitía a los modelos más avanzados hacer una pregunta, preguntaban en casi todas las ejecuciones. No adivinaban; buscaban la verdad. Sin embargo, si no había nadie para responderles, la integración simplemente se estancaba. El trabajo se detenía y no se producía código. Este es un tipo de fallo diferente, pero sigue siendo un fallo. El investigador encontró que para que el sistema funcione, la canalización —el proceso que ejecuta al agente— debe estar diseñada para dirigir la pregunta del agente a un humano o a un sistema compañero que pueda proporcionar la respuesta. Tener un canal abierto no es suficiente si no hay nadie disponible para responderlo.

El investigador también probó una regla de seguridad en la que se le decía al agente que se negara a escribir el código si no conocía el hecho faltante. Esta regla eliminó con éxito los fallos silenciosos, reduciendo la tasa de error a casi cero. Sin embargo, tuvo un precio elevado. El agente se negaba a escribir el código incluso cuando la respuesta podría haberse deducido de la información disponible. Esto causó que el sistema dejara de funcionar en tareas que podría haber resuelto fácilmente, reduciendo la tasa de éxito del ochenta y uno por ciento al dieciocho por ciento. El estudio concluyó que la solución no es hacer a los agentes más inteligentes o forzarlos a ser más cautelosos. La solución reside en el diseño del proceso mismo. El sistema debe estar construido para detectar cuándo falta un hecho a través de un límite organizacional y para dirigir esa pregunta a una persona o a un sistema que pueda responderla. Sin este cableado específico, incluso la inteligencia artificial más capaz construirá con confianza un puente que conduce al lugar equivocado.