Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
Este artículo presenta una evaluación exploratoria de los métodos de modelado de amenazas conscientes de la IA generativa en un entorno de pequeñas y medianas empresas, revelando que, si bien las técnicas existentes identifican diferentes amenazas, actualmente carecen de un soporte suficiente para los riesgos específicos de la IA generativa relacionados con las cadenas de suministro de software y la seguridad centrada en el ser humano, junto con notables desafíos en cuanto a usabilidad e integración en el flujo de trabajo.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás construyendo un castillo masivo y de alta tecnología. Antes de colocar el primer ladrillo, necesitas un "modelo de amenazas". Piensa en esto como un tipo especial de mapa del tesoro donde, en lugar de marcar dónde está el oro, dibujas todas las formas posibles en que un villano podría colarse, romper una pared o engañar a los guardias. Durante décadas, los expertos en seguridad han utilizado una lista de verificación estándar llamada STRIDE para dibujar estos mapas. Es como tener una lista maestra de robos comunes: alguien fingiendo ser un guardia (Suplantación/Spoofing), romper una ventana (Tampering) o robar las llaves (Divulgación de Información). Funciona de maravilla para el software tradicional, que es como una máquina rígida y predecible.
Pero ahora, estamos construciendo un nuevo tipo de castillo: uno impulsado por IA Generativa (GenAI). Esto no es una máquina rígida; es más bien como un mago brillante, caótico y, a veces, alucinante que vive dentro de tus muros. Este mago puede escribir código, responder preguntas y crear arte, pero también puede ser engañado por un susurro astuto (una "inyección de prompt") o alimentado con ingredientes malos que lo hagan escupir veneno. La gran pregunta es: ¿Pueden nuestros viejos y rígidos mapas del tesoro (la lista de verificación STRIDE) encontrar las formas escurridizas de engañar a este nuevo mago? Si intentamos usar un mapa diseñado para una fortaleza de piedra para encontrar a un espía en una biblioteca mágica, ¿pasaremos por alto los peligros reales? Este artículo profundiza en ese problema exacto, preguntando si nuestras herramientas de seguridad actuales están preparadas para la era de los magos de IA.
La historia del artículo: Probando viejos mapas en nuevos magos
Los autores de este artículo, un equipo de investigadores de seguridad y profesionales de la industria, decidieron poner esta pregunta a prueba. No se limitaron a sentarse en un laboratorio a adivinar; fueron a las "trincheras" de una empresa real (una Pequeña y Mediana Empresa, o PYME) que estaba construyendo un sistema utilizando IA para procesar correos electrónicos de clientes y generar informes comerciales. Querían ver qué tan bien funcionarían tres métodos diferentes de "modelado de amenazas" en este sistema aumentado por IA.
Para hacer esto, primero realizaron un escaneo rápido de las investigaciones más recientes para encontrar los mejores métodos nuevos diseñados específicamente para la IA. Seleccionaron tres contendientes:
- M1 (Marco de trabajo AIaaS): Un método que mira el sistema como un conjunto de activos (datos, modelos, procesos) y pregunta: "¿Cómo podría alguien manipular estos?".
- M2 (Marco ADMIn): Un método que se centra en tres superficies de ataque principales: los datos, el modelo y las entradas.
- M3 (ThreatFinderAI): Un método sofisticado, apoyado por herramientas, que utiliza un lenguaje especial para dibujar las partes de IA del sistema y se conecta a una base de datos gigante de ataques de IA conocidos para encontrar amenazas automáticamente.
Aplicaron los tres métodos al sistema de la empresa, que utilizaba un Modelo de Lenguaje Extenso (LLM) para leer correos electrónicos y escribir informes. Luego, cotejaron sus hallazgos con una famosa lista "Top 10" de riesgos de IA (el OWASP Top 10 para LLMs) para ver qué método detectaba los peligros más importantes. Finalmente, preguntaron a los desarrolladores reales de la empresa qué pensaban sobre el uso de estos métodos.
Lo que encontraron: Lo bueno, lo malo y lo que falta
Los resultados fueron una mezcla de "no está mal" y "tenemos que mejorar".
Las buenas noticias:
Los tres métodos fueron bastante buenos para detectar los trucos "clásicos" de la IA. Identificaron con éxito la Inyección de Prompt (donde un usuario engaña a la IA para que ignore sus reglas), el Envenenamiento de Datos (donde datos malos corrompen el modelo) y la Divulgación de Información Sensible (donde la IA derrama secretos accidentalmente). El método apoyado por herramientas, M3, fue el claro ganador. Encontró la mayoría de las amenazas, fue el más fácil de usar para los desarrolladores y se sintió menos como una tarea pesada. Es como tener un detector de metales que pita ruidosamente cuando encuentra una moneda enterrada, en comparación con cavar con una cuchara.
Las malas noticias (Las brechas):
Aquí es donde los viejos mapas tuvieron dificultades. Los métodos mostraron un soporte limitado para detectar riesgos relacionados con la cadena de suministro de software (como si el propio modelo de IA fuera construido con piezas robadas o defectuosas) y la Agencia Excesiva (cuando se le da a la IA demasiado poder para tomar decisiones sin que un humano revise su trabajo).
- Cadena de suministro: Ninguno de los métodos ofreció una forma específica de modelar o identificar los riesgos provenientes de los "ingredientes" que la IA utilizó. Si el modelo de IA era descargado de un sitio web sospechoso, los métodos carecían de la sintaxis o las listas de verificación específicas para señalarlo de manera efectiva.
- Riesgos centrados en el humano: También pasaron por alto el peligro de que los humanos confíen demasiado en la IA. Si la IA escribe un fragmento de código que parece perfecto pero que en realidad es peligroso, y un desarrollador humano simplemente lo copia sin revisarlo, ese es un riesgo enorme. Los métodos no tenían una buena forma de mapear cómo esa "confianza perezosa" podría romper el sistema.
Lo que dijeron los desarrolladores:
Los desarrolladores que probaron estos métodos estuvieron de acuerdo con los datos. Les encantó M3 porque tenía una herramienta que hacía el trabajo pesado. Sintieron que los otros métodos eran demasiado manuales y tomaban demasiado tiempo. Sin embargo, todos señalaron un obstáculo importante: estos métodos no se integran fácilmente en su flujo de trabajo diario. Quieren listas de verificación, plantillas y una forma de conectar los hallazgos de seguridad directamente con su software de gestión de tareas (como un sistema de "tickets"). Un desarrollador dijo: "Las plantillas harían que esto fuera mucho más fácil", mientras que otro señaló que no habrían detectado los riesgos de fuga de datos por su cuenta sin estas herramientas.
La conclusión: Necesitamos nuevos mapas para nuevos castillos
El artículo sugiere que, si bien nuestras herramientas actuales son un buen comienzo para capturar los trucos obvios de la IA, no son suficientes para tener el panorama completo. Actualmente estamos ciegos ante los riesgos que provienen de la cadena de suministro (de dónde viene la IA) y los riesgos de que los humanos confíen demasiado en la IA.
Los autores proponen que el futuro del modelado de seguridad necesita cambiar en tres aspectos:
- Incluir la cadena de suministro: Necesitamos mapas que muestren no solo el castillo, sino también los caminos que traen los ladrillos y las personas que los fabricaron.
- Usar herramientas y prompts: Necesitamos herramientas automatizadas que puedan ayudarnos a dibujar estos mapas rápidamente, quizás incluso usando la propia IA para ayudarnos a encontrar las amenazas en primer lugar.
- Vigilar a los humanos: Necesitamos modelar cómo interactúan los humanos con la IA, buscando específicamente los momentos en los que un humano podría volverse perezoso y confiar en una respuesta errónea, convirtiendo un pequeño error en un desastre mayor.
En resumen, el artículo sugiere que no podemos simplemente parchar los viejos mapas; necesitamos dibujar mapas completamente nuevos que tengan en cuenta la magia, la cadena de suministro y la tendencia humana a confiar un poco demasiado en el mago. Hasta que lo hagamos, nuestros castillos de IA podrían parecer seguros en el papel, pero aún podrían tener puertas secretas que no hemos pensado en cerrar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.