Security-First Evaluation of Text-to-Terraform: Benchmarking LLMs and SLMs for Secure IaC Generation
Este artículo evalúa siete modelos de lenguaje grandes y pequeños en la generación de código seguro de AWS Terraform, revelando que la validez sintáctica y el cumplimiento de seguridad son propiedades mayoritariamente ortogonales y que el escaneo automatizado mediante múltiples herramientas sigue siendo esencial independientemente del rendimiento del modelo o de las estrategias de ingeniería de prompts.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás construyendo una ciudad masiva e invisible en el cielo, hecha enteramente de ladrillos digitales. En el mundo real, si construyes una casa con una base tambaleante o dejas la puerta principal abierta de par en par, es un desastre. En el mundo digital, esta "ciudad" se llama la Nube, y los planos utilizados para construirla están escritos en un lenguaje especial llamado Infraestructura como Código (IaC). Piensa en la IaC como una receta súper precisa que le dice a las computadoras exactamente cómo configurar servidores, almacenamiento y cerraduras de seguridad. Durante mucho tiempo, los humanos escribieron estas recetas, pero a menudo cometían errores, dejando puertas digitales abiertas y permitiendo que los malhechores se colaran.
Recientemente, llegó un nuevo tipo de ayudante: la Inteligencia Artificial. Específicamente, Modelos de Lenguaje Extensos (LLM) y sus primos más pequeños y rápidos, los Modelos de Lenguaje Pequeños (SLM). Estos son como robots súper inteligentes que pueden leer millones de recetas e intentar escribir nuevas para ti en segundos. La gran pregunta que todos se hacen era: ¿Pueden estos robots de IA escribir recetas que no sean solo correctas (para que el edificio no se derrumbe) sino también seguras (para que nadie pueda entrar)? Es un poco como preguntar si un chef robot puede hornear un pastel que sepa bien y que no contenga accidentalmente una bomba oculta. Si la IA acierta la sintaxis pero olvida las cerraduras, toda la ciudad está en peligro. Este es exactamente el rompecabezas que un equipo de investigadores de Brasil se propuso resolver.
El Gran Concurso de Chefs de IA
Los investigadores decidieron poner a prueba a siete chefs de IA diferentes en una cocina gigante llamada la "Nube". No solo les pidieron a los robots que escribieran una receta; les pidieron que escribieran 17 tipos diferentes de recetas para construir estructuras digitales seguras utilizando una herramienta llamada Terraform. Probaron tres modelos de "Gran Cerebro" (los cerrados y costosos como Claude Opus 4, GPT-5.4 y Gemini 2.5 Pro) y cuatro modelos de "Cerebro de Bolsillo" (los de código abierto y más pequeños como WizardCoder y CodeLlama).
Para ver si las recetas eran buenas, el equipo no solo las miró con sus ojos. Construyeron una línea de inspección automatizada súper estricta. Primero, verificaron si la receta era gramaticalmente correcta (Validez Sintáctica). Si la receta tenía errores tipográficos, el edificio ni siquiera comenzaría. Pero la verdadera prueba vino después: ejecutaron dos escáneres de seguridad diferentes, Checkov y Trivy, que actúan como guardias de seguridad digitales buscando ventanas abiertas, puertas sin llave y trampas ocultas. También probaron si los robots podían corregir sus propios errores cuando se les decía: "Oye, dejaste una puerta abierta", y si darles instrucciones más detalladas sobre seguridad realmente ayudaba.
Los Resultados Sorprendentes: Buena Gramática, Malas Cerraduras
Aquí está el giro que los investigadores encontraron, y es un poco un giro de la trama: Escribir una receta perfecta y escribir una receta segura son dos habilidades completamente diferentes.
Descubrieron que el hecho de que una IA pueda escribir una receta de Terraform que sea gramaticalmente perfecta y se ejecute sin colapsar, no significa que la receta sea segura. De hecho, las dos habilidades son casi ajenas. Uno de los modelos más pequeños, WizardCoder-33B, fue un campeón de la gramática. ¡Escribió recetas válidas el 77.8% de las veces! Pero cuando los guardias de seguridad revisaron esas mismas recetas, el modelo falló en cada control de seguridad. Era como un chef que hizo un pastel hermoso y perfectamente formado, pero olvidó poner la tapa al frasco de veneno que había dentro.
Por otro lado, los modelos de "Gran Cerebro" lo hicieron mucho mejor, pero aún necesitaban mucha ayuda. El mejor performer, Claude Opus 4, solo logró escribir una receta totalmente segura el 23% de las veces cuando se le daban instrucciones básicas. Sin embargo, cuando los investigadores le dieron una lista de verificación de seguridad muy específica y detallada (diciéndole exactamente qué cerraduras instalar y qué alarmas configurar), su rendimiento saltó al 92.5% para un tipo de escáner de seguridad. Esto demostró que, si bien los grandes cerebros son capaces, no harán lo correcto a menos que les digas exactamente qué hacer.
Los "Cerebros de Bolsillo" se topan con un muro
Los modelos más pequeños (SLM) chocaron contra un muro difícil. No importaba cuánto intentaran los investigadores darles instrucciones de seguridad detalladas, los modelos pequeños simplemente no podían cumplir. O bien escribían una receta que estaba rota, o escribían una válida que era completamente insegura. Los investigadores descubrieron que, para estos modelos más pequeños, el problema no eran las instrucciones; era que los modelos simplemente no tenían la "potencia cerebral" para entender reglas de seguridad complejas. Son excelentes copiando patrones, pero les cuesta inventar soluciones seguras por sí mismos.
¿Pueden Corregir sus Propios Errores?
El equipo también probó si los robots podían aprender de sus errores. Dejaron que los robots escribieran una receta, la escanearon y luego le mostraron al robot la lista de errores (como "Olvidaste cifrar este archivo") y le pidieron que lo intentara de nuevo.
- La Buena Noticia: Los robots fueron sorprendentemente buenos corrigiendo errores simples y específicos encontrados por el escáner Trivy (como una cerradura faltante en una puerta específica). Muchos modelos mejoraron sus puntuaciones significativamente después de ver la lista de errores.
- La Mala Noticia: Fueron terribles corrigiendo los problemas estructurales grandes encontrados por el escáner Checkov. Estos eran problemas como "Necesitas construir todo un nuevo sistema de seguridad para este edificio". Los robots no podían re-arquitecturar su propio trabajo de un solo golpe. Podían apretar un tornillo flojo, pero no podían rediseñar los cimientos.
La Conclusión
La conclusión más importante de este estudio es una advertencia para cualquiera que esté pensando en dejar que la IA construya sus ciudades digitales: No puedes confiar en que la IA sea el guardia de seguridad.
Los investigadores descubrieron que entre 2024 y 2026, los modelos de IA se volvieron mucho mejores escribiendo código que parece correcto, pero no se volvieron mejores escribiendo código que es seguro. De hecho, la brecha entre "se ve bien" y "es seguro" se ha vuelto más amplia.
El estudio concluye que no puedes simplemente pedirle a una IA que "haga que sea seguro" y esperar lo mejor. Incluso los modelos de IA más inteligentes necesitan un humano (o un sistema automatizado muy estricto) que verifique su trabajo. Debes ejecutar múltiples escáneres de seguridad en cada pieza de código que la IA genere, sin importar qué tan bueno sea el modelo o qué tan detalladas fueran tus instrucciones. La IA es un asistente poderoso, pero en el mundo de la seguridad en la nube, aún no es un reemplazo para un inspector de seguridad. Si te saltas la inspección, podrías terminar con una ciudad digital hermosa y perfectamente construida que no tiene cerraduras en las puertas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.