Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
Este estudio evalúa el cumplimiento de SOC 2 de tres modelos de IA de vanguardia a través de cuatro casos de uso, encontrando que, si bien la generación de código no solicitada a menudo contiene vulnerabilidades críticas y omite controles de seguridad clave, añadir una sola frase que haga referencia a los estándares SOC 2 mejora significativamente la conformidad al 86–100 % y elimina construcciones inseguras, aunque no logra abordar los controles fuera de la concepción de la tarea inmediata del modelo y destaca la falta de fiabilidad de la puntuación de coincidencia de patrones automatizada en favor de la verificación semántica.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La red de seguridad invisible
Imagine que está contratando a un aprendiz superinteligente e incansable para construirle una casa. Este aprendiz, una Inteligencia Artificial, puede redactar planos, mezclar cemento e instalar ventanas más rápido que cualquier equipo humano. Pero aquí está el detalle: al aprendiz nunca se le ha dicho nada sobre los códigos de construcción. Sabe cómo hacer una casa que se vea bien y se mantenga en pie, pero podría olvidar instalar los detectores de humo, cerrar la puerta trasera o reforzar los cimientos contra terremotos. En el mundo del software, esto es exactamente lo que sucede cuando los equipos piden a la IA que escriba código. El código funciona, pero podría carecer de las reglas de seguridad invisibles necesarias para mantener los datos a salvo de los hackers.
Este documento profundiza en un rincón específico de la informática llamado cumplimiento (compliance), que es solo una palabra elegante para decir "seguir el libro de reglas". Específicamente, los investigadores analizaron el SOC 2, un conjunto de reglas que las empresas utilizan para demostrar que están protegiendo los datos de sus clientes. Querían saber dos cosas: si le pides a una IA que escriba código sin mencionar la seguridad, ¿seguirá las reglas por accidente de todos modos? Y, si solo añades una pequeña frase diciendo: "Oye, esto debe cumplir con las normas SOC 2", ¿arregla eso todo? Es un poco como preguntar: "Si le digo a un chef que haga un sándwich, ¿recordará lavarse las manos? Y si le susurro 'código sanitario', ¿recordará de repente usar guantes?".
La gran prueba de código de la IA
Para encontrar las respuestas, los investigadores de Vanta organizaron un experimento masivo y controlado. Trataron a tres versiones diferentes de una IA poderosa (llamadas Claude Fable 5, Claude Opus 4.8 y Claude Opus 5) como si fueran concursantes en una competencia de cocina. Le dieron a cada IA cuatro "recetas" diferentes para codificar: una herramienta para gestionar el almacenamiento en la nube, un sistema de inicio de sesión, una configuración de base de datos y un manejador de carga de archivos.
Realizaron la prueba dos veces para cada receta. En la primera ronda, le dieron a la IA un prompt neutral, como "Escribe una herramienta para subir archivos". En la segunda ronda, le dieron exactamente el mismo prompt pero añadieron una sola frase: "Estos datos son sensibles y deben cumplir con los estándares SOC 2".
Los investigadores actuaron como inspectores estrictos. No se limitaron a ejecutar el código para ver si funcionaba; revisaron cada línea contra una lista de verificación de reglas de seguridad. Buscaron cosas como el cifrado (codificar datos para que los ladrones no puedan leerlos), controles de acceso (asegurarse de que solo las personas adecuadas puedan ver los archivos) y registro de actividad (llevar un diario de quién hizo qué).
Lo que encontraron: La "frase mágica" y los puntos ciegos
Los resultados fueron una mezcla de buenas noticias sorprendentes y algunas advertencias muy importantes.
1. La "frase mágica" hace maravillas (pero no todo)
Cuando se le pidió a la IA que escribiera código sin instrucciones de seguridad, los resultados fueron irregulares. Dependiendo de la tarea, el código cumplía las reglas entre el 47% y el 88% de las veces. Era buena en lo básico, como la protección de contraseñas, pero terrible en las cosas aburridas e invisibles, como asegurar los contenedores de almacenamiento en la nube.
Sin embargo, en el momento en que los investigadores añadieron esa única frase sobre SOC 2, el rendimiento de la IA se disparó. Cada prueba saltó a un cumplimiento de entre el 86% y el 100%. Esa única frase valió entre 23 y 50 puntos porcentuales de mejora. Fue como si la IA de repente despertara y recordara: "¡Ah, es cierto, necesito usar un casco!". Crucialmente, esta frase también eliminó cada construcción insegura que los investigadores encontraron, como depuradores abiertos o descargas sin autenticación.
2. El problema del "idioma" (idiom)
El estudio encontró que la IA sigue las reglas que forman parte de la "forma normal" de escribir código. Por ejemplo, casi siempre recordaba el hash de las contraseñas (codificarlas para que no puedan ser robadas) porque así es como se escribe un sistema de inicio de sesión. Pero olvidaba cosas que no forman parte de la "receta estándar", como añadir cerrojos adicionales a un contenedor de almacenamiento en la nube o configurar un gancho de autenticación de múltiples factores (MFA).
Incluso con la "frase mágica", un conjunto estable de controles permaneció ausente porque se encuentran fuera de la concepción predeterminada de la tarea por parte del modelo. Características específicas como los ganchos de MFA, las banderas de cookies seguras y la gestión del ciclo de vida de la cuenta no se añadieron automáticamente solo por nombrar el estándar; tenían que ser nombrados individualmente en el prompt. La frase mágica arregló el panorama general y los peligros ocultos, pero no pudo llenar cada detalle pequeño y específico a menos que se pidieran por su nombre.
3. Los peligros "invisibles"
Aquí es donde se pone aterrador. En tres de las dieciséis pruebas "neutrales" (donde no se mencionó la seguridad), la IA escribió código que era realmente peligroso, aunque parecía estar bien.
- Una IA dejó un "depurador" abierto, lo que es como dejar una puerta trasera en una casa que permite a cualquiera entrar y tomar el control de la computadora.
- Otras dos crearon enlaces de descarga que no verificaban quién hacía clic en ellos, permitiendo que cualquiera descargara los archivos privados de otras personas.
- Otra IA creó una base de datos que accidentalmente borraría todos sus datos si intentabas apagarla en un entorno que no fuera de producción.
El primer escáner automatizado de los investigadores pasó por alto todos estos errores peligrosos. Fue solo cuando un humano miró de cerca que se dieron cuenta de que el código estaba roto. Esto demuestra que los escáneres informáticos estándar no son lo suficientemente inteligentes para detectar estos errores "invisibles" en el código de la IA.
4. El modelo no importa mucho
Los investigadores esperaban que la IA más nueva y inteligente (Opus 5) fuera mucho mejor que las anteriores. Pero la diferencia fue mínima. La "frase mágica" (el prompt) marcó una diferencia mucho mayor que cambiar el modelo de IA en sí. Si estás tratando de obtener código que cumpla con las normas, elegir un modelo de IA más nuevo no te ayudará tanto como simplemente decirle a la IA que siga las reglas.
La conclusión
Este documento nos enseña que la IA es un constructor fantástico, pero no es un inspector de seguridad. Si le pides que construya algo sin mencionar la seguridad, construirá una casa que se mantiene en pie pero que podría carecer de detectores de humo o cerraduras. Si añades una sola frase sobre seguir las reglas, de repente instalará la mayor parte del equipo de seguridad y eliminará las puertas traseras peligrosas.
Sin embargo, todavía hay brechas. La IA no instalará automáticamente características de seguridad específicas y complejas (como MFA o configuraciones de cookies específicas) a menos que las pidas por su nombre, incluso si mencionas las reglas. Y, lo que es más importante, no puedes confiar simplemente en un programa informático para revisar el trabajo de la IA; necesitas que un humano mire de cerca, porque la IA puede ocultar errores peligrosos de formas ingeniosas que los escáneres simples pasan por alto.
La lección para cualquiera que use IA para escribir código es simple: No asumas que la IA conoce las reglas. Tienes que decirle las reglas, y luego tienes que revisar su trabajo, porque una casa que parece perfecta aún podría tener una trampilla oculta.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.