Runtime Risk Detection and Control for AI Agents and LLM Applications

Imagina un mundo donde los programas informáticos no solo responden preguntas, sino que salen activamente al mundo digital para recopilar información, tomar decisiones y realizar acciones por su cuenta. Estos son conocidos como agentes de IA. Son como empleados digitales que pueden reservar vuelos, analizar datos o controlar dispositivos inteligentes mediante la combinación de muchos pasos pequeños. Sin embargo, esta nueva capacidad trae consigo un tipo específico de peligro. Debido a que estos agentes pueden leer información de internet y actuar en consecuencia, un truco ingenioso oculto dentro de un sitio web de apariencia inofensiva podría engañar al agente para que haga algo dañino, como robar datos o eliminar archivos. El problema es que, para cuando un humano nota el error, el agente ya podría haber causado daños. Para detener esto, necesitamos una forma de vigilar a estos agentes mientras trabajan, detectar cuándo están a punto de realizar un movimiento arriesgado y pausarlos para que un humano los revise antes de que actúen.

Este es el desafío que aborda un proyecto de investigación llamado AgentGuard AI. Los investigadores, trabajando desde una universidad en la India, construyeron un prototipo de sistema diseñado para actuar como un vigilante para estos programas autónomos. Su objetivo no era construir un producto de seguridad perfecto para el mundo real, sino crear un modelo funcional que pudiera mostrar cómo conectar tres ideas críticas: detectar comportamientos de riesgo, calificar qué tan peligroso es ese comportamiento y decidir qué hacer a continuación. Querían ver si podían construir un sistema que no solo detectara problemas, sino que también mantuviera un registro claro e inalterable de cada decisión, de modo que los humanos pudieran revisar exactamente qué sucedió y por qué. El resultado es una mirada detallada a una herramienta de software que intenta traer orden y supervisión humana al caótico mundo de los agentes de IA.

El sistema que construyeron, llamado AgentGuard AI, opera como una torre de control para agentes digitales. Comienza observando el flujo de eventos mientras el agente trabaja. Busca patrones específicos que sugieran peligro, como un agente intentando acceder a un archivo secreto o siguiendo una instrucción confusa que podría ser una trampa. Cuando detecta algo sospechoso, no solo levanta una bandera roja; calcula una puntuación de riesgo. Esta puntuación no es un número único extraído de la nada. En cambio, es una combinación de seis factores diferentes, que incluyen qué tan riesgosas son las herramientas del agente, qué tan seguro es el sistema y cómo se está comportando el usuario. Estos factores se ponderan juntos para producir una puntuación final que le indica al sistema la gravedad de la situación.

Una vez calculada la puntuación de riesgo, el sistema pasa a la fase de decisión. Tiene cuatro estados posibles que puede recomendar: puede permitir que el agente continúe, mantener una vigilancia cercana, restringir lo que el agente puede hacer o bloquear la acción por completo. Crucialmente, este sistema está diseñado para ser transparente. Mantiene un registro detallado de cada paso, desde la alerta inicial hasta la recomendación final. Permite que diferentes personas tengan diferentes roles: un gerente puede cambiar las reglas, un investigador puede realizar pruebas y un revisor puede observar los registros para aprobar o denegar acciones. El sistema también incluye funciones de privacidad, como ocultar partes sensibles de la conversación en los registros, y crea una "cadena" digital de registros que hace que sea muy difícil manipular el historial de lo sucedido.

Para probar si esta idea realmente funcionaba, los investigadores realizaron un experimento específico. No utilizaron agentes reales ni hackers reales. En su lugar, usaron un simulador integrado para generar veinticinco eventos ficticios. Algunos de estos eventos eran seguros, mientras que otros fueron diseñados para parecer ataques. El sistema procesó estos eventos y produjo un paquete completo de evidencia, incluyendo los datos brutos, las puntuaciones de riesgo, las alertas y las decisiones finales. Los investigadores luego inspeccionaron este paquete cuidadosamente, comparando lo que el sistema mostraba en su pantalla con lo que se guardó en los archivos digitales.

La inspección reveló que el sistema podía, de hecho, conectar todos los puntos. Logró tomar un evento, calificar el riesgo, realizar una recomendación y guardar la evidencia de una manera que pudiera ser revisada más tarde. Esto demostró que el flujo de trabajo básico era posible. Sin embargo, la prueba también puso al descubierto fallas significativas que impiden que sea una herramienta de seguridad lista para su uso. Los investigadores encontraron que el sistema no era perfectamente consistente. Por ejemplo, la pantalla mostraba una versión de las reglas de calificación de riesgo, pero el archivo guardado mostraba una versión diferente. En otro caso, el sistema dijo que bloquearía una acción de alto riesgo, pero el registro guardado decía que simplemente pediría una revisión humana. Estos desajustes significan que, si intentaras repetir el experimento más tarde, podrías no obtener exactamente el mismo resultado, lo cual es un problema mayor para cualquier sistema que pretenda ser confiable.

Además, el sistema carecía de algunos detalles esenciales necesarios para una verdadera comprobación. No registró la semilla aleatoria específica utilizada para generar los eventos de prueba, ni registró la versión exacta del código informático que se estaba ejecutando. Sin estos detalles, es imposible que otro investigador recree el experimento exactamente para verificar los resultados. El estudio también señaló que el sistema estaba funcionando como una simple simulación en una sola computadora, no como un servicio complejo y de alta velocidad que pudiera manejar el tráfico del mundo real. Era un prototipo de investigación, no un producto terminado.

Los investigadores fueron muy claros sobre lo que su trabajo hizo y no logró. No demostraron que su sistema pudiera detener a hackers reales o que fuera mejor que otras herramientas de seguridad. No lo probaron con personas reales revisando las alertas para ver si el sistema reducía su carga de trabajo o mejoraba sus decisiones. Lo que sí demostraron fue que podían construir un marco que vincula la detección, la calificación y la revisión humana en un proceso inspeccionable. Demostraron que es posible crear un rastro digital que conecte un evento riesgoso con una decisión humana, pero también mostraron que construir un sistema que sea consistente, reproducible y listo para el mundo real requiere mucho más trabajo.

El valor de este estudio reside en su honestidad. En lugar de presentar una solución pulida y perfecta, los investigadores presentaron un modelo funcional que luego desarmaron para mostrar dónde era fuerte y dónde era débil. Demostraron que, si bien la idea de un vigilante de IA consciente de la gobernanza es sólida, los detalles importan inmensamente. Un sistema que afirma proteger a los agentes de IA debe ser capaz de mantener sus propios registros en orden, asegurar que sus reglas se apliquen de manera consistente y proporcionar suficiente información para que los humanos puedan confiar en sus decisiones. Hasta que esas piezas se arreglen, el sistema sigue siendo una poderosa herramienta para la investigación y un plano para el futuro, pero no todavía un escudo para el presente.