En el mundo digital moderno, las grandes organizaciones dependen de programas de software que actúan en su nombre. Durante décadas, estos programas fueron predecibles: un ingeniero humano escribía el código, instalaba el programa y le daba un conjunto específico de instrucciones. Si el programa necesitaba enviar un correo electrónico o mover dinero, lo hacía exactamente como se le ordenó, nada más y nada menos. Para mantener estos programas seguros, las empresas construyeron sistemas para verificar su identidad y registrar sus acciones, de forma muy parecida a un guardia de seguridad que revisa una identificación en una puerta. Sin embargo, ha llegado un nuevo tipo de software que cambia las reglas. Estos son agentes autónomos, programas que no solo siguen un guion fijo, sino que utilizan inteligencia artificial para decidir por sí mismos qué hacer a continuación. Pueden aparecer y desaparecer en segundos, pueden elegir entre una vasta gama de posibles acciones que ningún humano escribió de antemano, y cualquiera con una conexión a internet puede crear uno. Debido a que estos agentes son tan diferentes de los antiguos programas predecibles, los sistemas de seguridad diseñados para el pasado fallan al proteger contra ellos.

Un equipo de investigadores de Aurite AI ha dedicado tiempo a construir una nueva forma de gestionar estos agentes impredecibles mientras se ejecutan. Argumentan que intentar controlar estos agentes fijando su código antes de que comiencen es imposible, porque el agente decide sus propias acciones en el último momento. En su lugar, proponen un sistema que vigila cada acción que el agente intenta realizar y lo detiene si no tiene permitido hacerlo. Para que esto funcione, identificaron cinco preguntas esenciales que deben responderse para cada acción. Primero, el sistema debe saber que el agente existe. Segundo, debe probar quién es el agente. Tercero, debe decidir si al agente se le permite hacer lo que está pidiendo. Cuarto, debe crear un registro permanente e inalterable de lo que sucedió que cualquiera pueda verificar más tarde. Quinto, debe verificar de qué está hecho el agente para asegurar que no ha sido alterado secretamente. Los investigadores construyeron un sistema que responde a las primeras cuatro preguntas en tiempo real y actualmente están desarrollando la quinta como una herramienta separada. Encontraron que, si bien este enfoque es necesario, conlleva un costo: ralentiza ligeramente el sistema y requiere un pequeño programa auxiliar para ejecutarse junto a cada agente.

El problema central que enfrentaron los investigadores es que la seguridad tradicional depende de saber exactamente qué hará un programa antes de que comience. Si se contrata a un empleado humano, se le entrega una identificación y una lista de reglas. Si se instala un servicio, se le asigna una descripción de trabajo específica. Pero un agente autónomo es diferente. Es como un viajero que llega sin visa, afirma ser un ciudadano y luego decide en el momento qué país visitar y qué hacer allí. Los investigadores descubrieron que las viejas herramientas de seguridad, que fueron construidas para personas y servicios fijos, no pueden manejar esto. Un control de seguridad estándar podría verificar que el agente es quien dice ser, pero no puede detener al agente de elegir una acción peligrosa que nadie anticipó. Del mismo modo, un guardia de seguridad que solo verifica la lista de acciones aprobadas no puede detener a un agente de inventar una nueva acción dañina sobre la marcha. Los investigadores concluyeron que la única forma de gobernar estos agentes es intervenir en el momento exacto en que intentan actuar, verificando su solicitud contra un conjunto de reglas antes de permitirles proceder.

Para resolver esto, el equipo diseñó un sistema construido alrededor de cinco partes distintas, o primitivas, que trabajan juntas. La primera parte es el descubrimiento. Debido a que los agentes pueden aparecer en cualquier lugar y en cualquier momento, el sistema debe ser capaz de encontrarlos. Los investigadores se dieron cuenta de que simplemente listar los agentes conocidos no es suficiente, porque los agentes más peligrosos son aquellos que aún no han sido registrados. Su sistema está diseñado para notar cuando un agente intenta hacer algo que el sistema no reconoce. En lugar de solo bloquearlo, el sistema registra el intento y alerta a un operador humano, quien puede entonces decidir si esta nueva acción debería ser permitida en el futuro. Esto convierte un posible fallo en una forma de aprender y actualizar las reglas.

La segunda parte es la identidad. En el pasado, un programa podía afirmar ser un servicio específico, pero los investigadores descubrieron que los agentes pueden mentir sobre quiénes son. Su sistema requiere que el agente demuestre su identidad utilizando una credencial digital que se genera automáticamente basada en dónde se está ejecutando el agente y de qué está hecho. Esta prueba se verifica en el momento exacto en que el agente intenta conectarse, asegurando que el sistema está hablando con el agente real y no con un impostor. Esta prueba es de corta duración y cambia constantemente, por lo que incluso si un hacker roba una credencial, esta expirará rápidamente.

La tercera parte es la gobernanza, que es el proceso de toma de decisiones real. Antes de que un agente pueda enviar un correo electrónico o transferir fondos, debe pedir permiso. El sistema verifica la solicitud contra un conjunto de reglas que son específicas para esa organización. Si la acción está permitida, el agente procede. Si no lo está, la solicitud se bloquea inmediatamente. Esto sucede antes de que la acción se lleve a cabo, lo cual es la única forma de controlar verdaderamente al agente. Los investigadores también incluyeron un "interruptor de apagado" (kill switch) que puede detener a un agente instantáneamente si comienza a comportarse mal, sin esperar a que sus credenciales digitales expiren.

La cuarta parte es la atestación, que trata de crear un registro confiable. En el pasado, las empresas mantenían registros de lo que hacían sus programas, pero esos registros eran escritos por los mismos programas que estaban siendo vigilados. Si un programa se volvía rebelde, también podía cambiar los registros para borrar sus huellas. Los investigadores construyeron un sistema que escribe cada decisión en una cadena especial de registros inalterables. Esta cadena está firmada con una clave secreta que solo la organización posee, y está diseñada de tal manera que cualquiera, incluso alguien externo a la empresa, pueda verificar que el registro es real y no ha sido manipulado. Esto proporciona una forma de probar lo sucedido en un tribunal de justicia o durante una investigación.

La quinta parte es la verificación de la cadena de suministro, que pregunta de qué está hecho realmente el agente. Incluso si un agente es identificado y sus acciones son aprobadas, podría estar ejecutándose en una versión comprometida de su software. Los investigadores han construido herramientas para verificar los ingredientes del agente —su código, sus datos y sus dependencias— pero estas herramientas operan actualmente de forma separada de los controles de seguridad en tiempo real. Aunque los investigadores argumentan que esta verificación es esencial porque un agente perfectamente identificado construido sobre partes rotas sigue siendo peligroso, este control específico aún no bloquea las acciones en el momento en que ocurren; sigue siendo un paso de desarrollo separado en lugar de una parte integrada del proceso de autorización inmediata.

Los investigadores probaron su sistema en ensayos privados con algunas organizaciones. Encontraron que cuatro de las cinco partes están completamente construidas y funcionando, mientras que la quinta aún se está desarrollando como una herramienta separada. Fueron honestos sobre los costos de este nuevo enfoque. Debido a que el sistema verifica cada solicitud antes de que ocurra, añade un pequeño retraso al proceso. También requiere un pequeño programa auxiliar, llamado sidecar, para ejecutarse junto a cada agente para gestionar su identidad. Lo más importante es que, si el propio sistema de seguridad falla, los agentes deben dejar de funcionar para mantenerse seguros. Esto significa que un fallo en el sistema de seguridad provoca una interrupción en el negocio, un compromiso que los investigadores creen que es necesario para prevenir daños.

Uno de los hallazgos más sorprendentes fue que el sistema también debe gobernarse a sí mismo. Los investigadores se dieron cuenta de que las herramientas que construyeron para gestionar los agentes son, en sí mismas, programas automatizados. Decidieron someter sus propias herramientas de gestión a los mismos controles de seguridad que los agentes de los clientes. Esto significa que el sistema verifica su propia identidad, decide si sus propias acciones están permitidas y registra sus propias decisiones en la misma cadena inalterable. Esto asegura que las personas que construyeron el sistema de seguridad no puedan eludir las reglas que crearon para otros.

Los investigadores enfatizan que su trabajo no consiste en cambiar cómo piensan o se comportan los modelos de inteligencia artificial. Asumen que los modelos están trabajando según lo previsto y se centran, en cambio, en las reglas que gobiernan lo que se les permite hacer. Argumentan que intentar solucionar el problema mejorando únicamente los modelos no es suficiente, porque incluso un modelo bien portado necesita límites sobre a qué puede acceder y qué puede cambiar. Su solución es un marco práctico que las organizaciones pueden utilizar para gestionar estos nuevos e impredecibles agentes hoy mismo. Al desglosar el problema en cinco preguntas claras, proporcionan una hoja de ruta para cualquiera que intente traer estas poderosas herramientas a un entorno seguro y controlado. El trabajo no ha terminado, y la quinta parte del sistema aún se está integrando, pero la idea central —que estos agentes deben ser vigilados y verificados en tiempo real— se ha propuesto como un enfoque arquitectónico necesario, con la justificación del diseño validada a través de la implementación en lugar de resultados medidos a través de una población de despliegue amplia.