One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de programas informáticos conocidos como "agentes". A diferencia de los chatbots anteriores, que simplemente respondían preguntas o escribían texto, estos agentes están diseñados para tomar medidas. Pueden navegar por la web, ejecutar código de software o recurrir a herramientas digitales para realizar tareas, de forma muy similar a como lo haría un empleado humano. Durante años, los investigadores han probado estos agentes pidiéndoles que resuelvan problemas que tienen respuestas claras y fáciles de verificar, como corregir una línea de código rota o encontrar un dato específico en un sitio web. El éxito en estas áreas se medía por si el agente producía un resultado final correcto o un comando válido. Sin embargo, el mundo real de los negocios rara vez es tan sencillo. En una oficina corporativa, el trabajo suele implicar una larga cadena de eventos en la que el sistema informático debe actualizarse correctamente, se deben seguir las políticas y el estado de una base de datos debe cambiar de una manera específica. Si un agente comete un error en medio de un proceso, o si cambia el registro equivocado, las consecuencias pueden ser reales y costosas. La pregunta crítica para el futuro de esta tecnología no es solo si un agente puede encontrar una forma de tener éxito una vez, sino si puede hacerlo de manera fiable, cada vez, sin causar daños no deseados.

Un equipo de investigadores de la Universidad de Pittsburgh, la Universidad Northwestern, la Universidad de California, Irvine, y Microsoft, ha construido un nuevo campo de pruebas para responder a esta pregunta. Crearon un entorno digital llamado ThinkingBox, que actúa como un entorno aislado y seguro (sandbox) donde estos agentes de IA pueden interactuar con usuarios simulados y herramientas empresariales complejas. Dentro de este entorno, se les asignan tareas realistas, como procesar un reembolso de un pedido en línea, cambiar una reserva de hotel, actualizar una reclamación de un seguro o gestionar la solicitud de soporte técnico de un empleado. El entorno está diseñado para imitar la realidad desordenada del trabajo de oficina, donde la información es a menudo incompleta, las reglas son estrictas y cada acción deja una marca permanente en un registro digital. Los investigadores no solo pidieron a los agentes que hablaran; les exigieron que realmente cambiaran el estado del sistema. Para asegurar que las pruebas fueran justas y repetibles, el entorno se reinicia por completo después de cada intento, garantizando que ningún par de ensayos comparta los mismos datos o historial oculto.

Los investigadores poblaron luego este entorno con 507 tareas distintas a través de cinco industrias diferentes: comercio minorista, viajes y hostelería, seguros de automóviles, banca y consultoría. Invitaron a una amplia gama de los modelos de inteligencia artificial más avanzados disponibles, incluyendo tanto sistemas propietarios de grandes empresas tecnológicas como modelos de código abierto, para intentar realizar estas tareas. Cada modelo recibió veinte oportunidades para resolver cada problema. La evaluación fue rigurosa. Un agente no aprobaba simplemente porque diera una respuesta cortés o realizara una llamada a una herramienta que pareciera correcta superficialmente. En su lugar, el sistema verificaba el resultado final contra el resultado requerido. ¿Apareció realmente el reembolso en la base de datos? ¿Se marcó correctamente el cambio de la habitación de hotel? ¿Se actualizó la reclamación del seguro sin alterar accidentalmente la póliza del cliente equivocado? El sistema también comprobaba los "efectos colaterales", lo que significa que buscaba si el agente había cambiado accidentalmente algo que no debía tocar, un error común y peligroso en el software del mundo real.

Los resultados revelaron una brecha significativa entre lo que los agentes podían hacer ocasionalmente y lo que podían hacer de manera dependiente. El modelo con mejor desempeño logró resolver la tarea correctamente en su primer intento aproximadamente el 65 por ciento de las veces. Aunque esto podría sonar impresionante, la imagen cambió cuando los investigadores observaron la fiabilidad. Cuando comprobaron con qué frecuencia un modelo podía resolver la tarea con éxito en los veinte intentos, la cifra cayó dramente al solo 25 por ciento. Esto significa que, si bien un agente inteligente podía a menudo dar con un camino exitoso si se le daban suficientes intentos, no podía repetir ese éxito de manera consistente sin cometer errores. Los investigadores descubrieron que muchos fallos no se debían a que los agentes fueran incapaces de entender la solicitud o de hablar con el usuario. En su lugar, el problema más común era que los agentes no lograban recuperarse cuando una herramienta emitía un mensaje de error, o realizaban la acción correcta sobre el dato incorrecto. Por ejemplo, un agente podría llamar con éxito a una herramienta para actualizar un registro pero aplicar el cambio al cliente equivocado, o podría detener el proceso antes de completar un paso necesario, dejando el sistema en un estado roto.

El estudio también destacó que diferentes modelos tenían dificultades con diferentes tipos de trabajo. Algunos modelos eran bastante buenos gestionando pedidos de comercio minorista, pero funcionaban mal al tratar con pólizas de seguros complejas o regulaciones bancarias. Esto sugiere que un alto rendimiento en un área no garantiza que un agente sea fiable en otra. Los investigadores observaron que incluso cuando un agente producía un mensaje final perfecto para el usuario, la base de datos subyacente a menudo permanecía sin cambios o estaba corrupta. Este hallazgo desafía la forma actual en que se evalúan muchos sistemas, que a menudo se centran en la calidad de la conversación o en la validez de la llamada a la herramienta en lugar del resultado real. El artículo concluye que, para que la inteligencia artificial pueda ser confiada con trabajos empresariales trascendentales, debe ir más allá de simplemente encontrar un camino exitoso una vez y aprender a ejecutar ese camino con precisión constante y repetible. El entorno ThinkingBox y su benchmark están ahora disponibles para el público, proporcionando un nuevo estándar para medir si estos trabajadores digitales están realmente listos para el mundo real.