StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

En el mundo de la informática moderna, existe una clase creciente de programas inteligentes conocidos como agentes. Estos no son simplemente herramientas simples que siguen un único comando; son sistemas diseñados para razonar, observar información y tomar acciones para resolver problemas complejos, de forma muy similar a como lo haría un empleado humano. Para funcionar, estos agentes dependen de dos partes distintas. La primera es el cerebro, un modelo de lenguaje extenso que proporciona el razonamiento y el conocimiento. La segunda es el arnés, que actúa como las manos, los ojos y los oídos del agente. El arnés define cómo el agente ve el mundo, qué herramientas tiene permitido usar y cómo verifica su propio trabajo. Durante años, los científicos se han centrado casi exclusivamente en hacer el cerebro más grande y más inteligente. Sin embargo, en la realidad desordenada y llena de reglas de los entornos empresariales, un cerebro brillante puede fallar si sus manos son torpes o si no comprende las reglas específicas de la oficina en la que está trabajando. Esto plantea una pregunta práctica: si no podemos cambiar el cerebro, ¿podemos mejorar las manos y las reglas para que el agente funcione mejor?

Un equipo de investigadores de ServiceNow, junto con colaboradores de instituciones académicas, se propuso responder a esta pregunta con un nuevo marco de trabajo llamado StarHarness. Se centraron en un desafío específico que se encuentra en los entornos empresariales, donde el software debe gestionar aspectos como sistemas de TI, flujos de trabajo financieros y registros de servicio al cliente. En estos entornos, el software debe interactuar con bases de datos y herramientas que tienen reglas estrictas y, a menudo, ocultas. Los investigadores querían ver si podían mejorar automáticamente el arnés del agente sin tocar nunca el cerebro subyacente. Trataron el arnés como una pieza de código que podía evolucionar, o mejorar, mediante un proceso de ensayo y error. El objetivo era encontrar una mejor manera para que el agente plantee sus tareas, utilice sus herramientas y verifique sus resultados, todo ello manteniendo los pesos internos del modelo completamente congelados.

Para probar su idea, los investigadores crearon un sistema que pudiera buscar mejoras de una manera controlada. Comenzaron ejecutando el agente en un gran conjunto de tareas para ver dónde fallaba típicamente. Luego dividieron estas tareas en tres grupos. Un grupo se utilizó para proponer cambios, otro se mantuvo oculto para probar si los cambios realmente funcionaban, y un tercer grupo se reservó para una comprobación final e imparcial. El sistema sugería un pequeño cambio al arnés, como corregir la forma en que se llamaba a una herramienta o añadir una regla para prevenir un error común. Luego, probaba este cambio en el grupo oculto. Si el cambio hacía que el agente funcionara mejor, el sistema lo mantenía; si no, lo descartaba. Este proceso se repetía, permitiendo que el arnés evolucionara lentamente hacia una versión más capaz de sí mismo. Los investigadores utilizaron este método en tres tipos diferentes de desafíos empresariales: analizar fallos de redes informáticas, gestionar solicitudes de servicios de TI y gestionar flujos de trabajo financieros.

Los resultados fueron sorprendentes. Después de que el sistema realizara solo unos pocos cambios aceptados —típicamente entre cuatro y doce ajustes por entorno— el rendimiento del agente aumentó significamente. En las evaluaciones, el rendimiento del benchmark completo mejoró entre 20 y 35 puntos porcentuales respecto al arnés predeterminado. Específicamente, la tasa de éxito mejoró en 35 puntos porcentuales en las tareas de análisis de red, aumentó en 20 puntos porcentuales en las pruebas de gestión de servicios de TI y subió 26 puntos porcentuales en los flujos de trabajo financieros. Crucialmente, estas mejoras no fueron solo el resultado de memorizar los problemas específicos que el sistema había visto durante el entrenamiento. Cuando los investigadores probaron el arnes evolucionado en tareas nuevas y no vistas, el agente seguía funcionando mucho mejor que antes. Aún más sorprendente es que las mejoras se transfirieron a diferentes tipos de modelos de IA. Un arnés evolucionado utilizando una familia de modelos específica funcionó igual de bien cuando se le entregó a una familia de modelos completamente diferente, sin necesidad de ningún entrenamiento o ajuste adicional.

Los investigadores analizaron los cambios para comprender qué había aprendido realmente el sistema. Encontraron que las mejoras se dividían en tres categorías claras. Primero, el sistema reparó las interfaces entre el agente y sus herramientas, corrigiendo errores que causaban que el agente llamara a las herramientas de forma incorrecta. Segundo, aprendió las convenciones ocultas del entorno, como el orden específico en el que se deben tomar ciertas etapas o cómo manejar fechas y prioridades correctamente. Tercero, comprimió el proceso de búsqueda añadiendo conocimiento operativo, permitiendo al agente saltarse pasos innecesarios y centrarse en las causas más probables de un problema. Por ejemplo, en las tareas financieras, el arnes evolucionado aprendió a verificar las violaciones de seguridad antes de realizar cualquier cambio, lo que redujo drásticamente el número de errores. En las tareas de análisis de red, el agente aprendió a dejar de buscar una vez que encontraba una causa probable, en lugar de perder tiempo buscando más evidencia que no era necesaria.

Estos hallazgos sugieren que, para muchas aplicaciones empresariales del mundo real, la mayor barrera para el éxito no es la inteligencia del modelo, sino el diseño del sistema que lo guía. Al evolucionar el arnes, los investigadores pudieron reducir el número de diagnósticos falsos, acortar el tiempo que tardaba en completar las tareas y bajar el coste de ejecutar el agente. El estudio demuestra que un cerebro fijo e inalterable puede volverse notablemente más efectivo cuando las herramientas y reglas que lo rodean están cuidadosamente ajustadas al entorno específico en el que opera. Esto ofrece un camino práctico para las organizaciones que necesitan agentes de IA fiables hoy en día, sin tener que esperar al desarrollo de la próxima generación de modelos más grandes. El trabajo demuestra que, a veces, la actualización más poderosa no es una nueva mente, sino una mejor forma de trabajar.