An Open-Agent Framework for Intelligent Compliance Analysis in Infrastructure as Code Using Large Language Models

En el mundo digital moderno, la infraestructura que potencia nuestras aplicaciones, almacena nuestros datos y ejecuta nuestros servicios ya no se encuentra en una sala de servidores física con filas de luces parpadeantes. En su lugar, vive en la nube, una vasta red de computadoras remotas gestionadas por enormes empresas tecnológicas. Para las organizaciones que utilizan estos servicios, la responsabilidad de la seguridad ha cambiado. Mientras que los proveedores de la nube aseguran que el hardware funcione, los clientes deben asegurar que sus configuraciones digitales estén establecidas correctamente. Un solo error en la forma en que se abre un cubo de almacenamiento o en cómo se otorga un permiso de red puede exponer información sensible a todo el internet. Para gestionar esta complejidad, los ingenieros utilizan un método llamado "Infraestructura como Código". Este enfoque trata la configuración de los recursos digitales como un programa de software, escribiendo las reglas en archivos de texto que pueden ser leídos por máquinas. Esto permite consistencia y velocidad, pero también significa que un solo error en el código puede copiarse instantáneamente a través de cientos de sistemas, creando una vulnerabilidad generalizada antes de que alguien lo note.

Para detectar estos errores, los equipos de seguridad confían en herramientas automatizadas que escanean el código en busca de errores conocidos, de forma muy similar a como un corrector ortográfico encuentra erratas. Sin embargo, estas herramientas tradicionales suelen ser rígidas; pueden decirle que se rompió una regla, pero les cuesta explicar por qué es importante o cómo solucionarlo de una manera que tenga sentido para un auditor humano. Por otro lado, una tecnología más reciente conocida como modelos de lenguaje de gran tamaño puede leer código y generar explicaciones en lenguaje natural, pero son propensos a inventar cosas o a proporcionar resultados inconsistentes cuando se usan solos. El desafío para los investigadores ha sido combinar la estricta fiabilidad de los escáneres automatizados con el poder explicativo de los modelos de lenguaje inteligentes para crear un sistema que sea tanto preciso como comprensible.

Un equipo de investigadores de la Universidad Princess Sumaya de Tecnología ha construido un nuevo marco de trabajo que fusiona con éxito estos dos enfoques. Crearon un sistema que primero utiliza un motor basado en reglas estrictas para escanear el código de infraestructura en busca de violaciones de estándares de seguridad específicos, y luego pasa esas violaciones confirmadas a un modelo de lenguaje inteligente para generar informes claros, legibles por humanos y sugerencias de corrección. Los investigadores probaron este sistema en una gran colección de 231 archivos de configuración del mundo real. Encontraron que el sistema híbrido era notablemente preciso, identificando correctamente fallos de seguridad en casi el 97 por ciento de los casos en los que emitía una alerta, al tiempo que detectaba más del 90 por ciento de los problemas reales presentes en los archivos. Este rendimiento fue significativamente mejor que el de las herramientas industriales existentes, que tienden a señalar demasiados problemas inofensivos, causando un trabajo innecesario para los ingenieros.

El núcleo de este nuevo marco de trabajo es un proceso de cinco pasos que transforma el código bruto en un informe de auditoría pulido. Primero, el sistema toma los archivos de configuración brutos y los traduce a un formato que el motor de escaneo pueda entender. A continuación, un motor de políticas determinista, que opera como un árbitro estricto, comprueba el código contra un conjunto específico de 16 reglas de seguridad. Estas reglas se basan en el estándar NIST SP 800-53, un catálogo de controles de seguridad ampliamente reconocido utilizado por gobiernos y empresas. El motor busca patrones específicos, como una unidad de almacenamiento que carece de cifrado o un puerto de red que queda abierto al público. Debido a que este motor sigue reglas fijas, nunca adivina; solo informa lo que puede demostrar que es una violación.

Una vez que el motor identifica una violación, el sistema no se detiene ahí. Envía los detalles del error a un modelo de lenguaje de gran tamaño, que actúa como un agente de razonamiento contextual. Este modelo tiene la tarea de realizar tres trabajos específicos: explicar el riesgo en lenguaje sencillo, mapear el error con el estándar de seguridad oficial que viola y generar un fragmento de código corregido para solucionar el problema. Para asegurar que el modelo no cometa errores en las partes fácticas del informe, los investigadores integraron un mecanismo de seguridad. El modelo no tiene permitido adivinar el nombre del estándar de seguridad; en su lugar, el sistema busca el nombre correcto de una lista verificada y lo inserta automáticamente. El modelo solo es libre de generar la explicación y la corrección de código. Además, los investigadores añadieron instrucciones estrictas al "prompt" del modelo para asegurar que el código que escribe sea sintácticamente correcto y esté libre de texto innecesario, un paso que resultó esencial para la fiabilidad.

Los resultados del estudio demuestran el poder de este enfoque combinado. Al ser probado contra los 231 archivos de configuración, el sistema alcanzó una precisión del 96.9 por ciento, lo que significa que cuando señalaba un archivo con un problema, casi siempre tenía razón. También logró una recuperación (recall) del 90.5 por ciento, encontrando con éxito la gran mayoría de los errores reales ocultos en el código. En comparación, una herramienta industrial líder llamada Checkov, que es ampliamente utilizada en la industria, encontró cada uno de los errores en el conjunto de pruebas, pero también señaló casi la mitad de los archivos limpios como problemáticos. Esta alta tasa de falsas alarmas obligaría a los equipos de seguridad a perder tiempo investigando problemas que no existen. El nuevo marco de trabajo, por el contrario, proporcionó una señal mucho más clara, reduciendo el ruido mientras mantenía altas tasas de detección.

Un análisis más detallado de los datos reveló un patrón claro en los tipos de errores encontrados. La violación más común involucró la falta de cifrado para los datos en reposo, lo que representó más del 64 por ciento de todos los problemas detectados. Este hallazgo concuerda con investigaciones previas que sugieren que olvidar cifrar los datos almacenados es el descuido de seguridad más frecuente en los entornos de la nube. El sistema también identificó con éxito problemas relacionados con los controles de acceso y el registro de auditoría, cubriendo un amplio espectro de requisitos de seguridad. Los investigadores señalaron que la capacidad del sistema para generar informes precisos y listos para auditoría es una ventaja clave, ya que cierra la brecha entre la detección técnica y la documentación requerida para el cumplimiento.

El estudio también destacó la importancia de las salvaguardas integradas en el sistema. Cuando los investigadores probaron primero el modelo de lenguaje sin restricciones estrictas, este produjo correcciones de código que a menudo eran sintácticamente inválidas o estaban llenas de prosa innecesaria. Al aplicar reglas de formato estrictas y utilizar una tabla de búsqueda verificada para los datos fácticos, el sistema logró una tasa de éxito del 100 por ciento en la generación de fragmentos de código válidos y mapeos de control precisos. Esto sugiere que la fiabilidad de tales sistemas no proviene de la inteligencia del modelo por sí solo, sino del diseño cuidadoso del flujo de trabajo que lo rodea.

Aunque el sistema mostró resultados sólidos, los investigadores fueron cuidadosos al señalar sus limitaciones. El marco de trabajo se centra actualmente en un conjunto específico de controles de seguridad y recursos de la nube, y opera sobre el código antes de que sea desplegado, lo que significa que no puede detectar problemas que surjan de cambios realizados en el sistema en vivo después del despliegue. Además, la verdad fundamental (ground truth) utilizada para probar el sistema se derivó de una combinación de heurísticas automatizadas e inyección manual, lo que puede no capturar perfectamente cada matiz de un entorno del mundo real. A pesar de estos límites, el estudio constituye una prueba de concepto convincente. Demuestra que, al combinar la precisión inquebrantable de los motores basados en reglas con el razonamiento flexible de los modelos de lenguaje, es posible crear una herramienta de análisis de cumplimiento que sea tanto altamente precisa como genuinamente útil para los operadores humanos. El trabajo sugiere un camino a seguir donde las herramientas de seguridad automatizadas no solo encuentren problemas, sino que ayuden a los equipos a entenderlos y resolverlos con confianza.