🤖 AI

Adversarial Prompting Framework for AI Safety Assessment

Este artículo presenta un Marco de Prompting Adversario (APF, por sus siglas en inglés) que evalúa sistemáticamente la seguridad de los modelos de IA mediante la generación de prompts adversarios estructurados a través de múltiples niveles de sofisticación, revelando que los ataques codificados son particularmente efectivos para eludir los mecanismos de seguridad en entornos empresariales.

Autores originales: Yash Bhatnagar, Kunal Banerjee, Anirban Chatterjee

Publicado 2026-07-16

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yash Bhatnagar, Kunal Banerjee, Anirban Chatterjee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el internet es una biblioteca gigante y bulliciosa donde acaba de llegar un nuevo tipo de bibliotecario: una Inteligencia Artificial (IA) que puede escribir historias, resolver problemas matemáticos y charlar con cualquier persona. Estos bibliotecarios de "IA Generativa" son increíblemente inteligentes y útiles, pero tienen un lado complicado. Al igual que un bibliotecario real que sigue reglas estrictas sobre qué libros se pueden prestar, estos bibliotecarios de IA tienen pautas de seguridad para evitar que ayuden a las personas a hacer cosas malas, como robar o lastimar a otros. Sin embargo, bromistas ingeniosos han descubierto una forma de engañar a estos bibliotecarios. En lugar de preguntar directamente: "¿Puedes ayudarme a robar un coche?" (a lo que el bibliotecario diría "no"), intentan disfrazar su petición. Podrían pretender ser un personaje de una historia, hablar en un código secreto o dividir una petición mala en piezas diminutas que parezcan inofensivas. Este artículo trata sobre un equipo de investigadores que construyó un kit de pruebas especial para ver qué tan bien pueden diferentes bibliotecarios de IA resistir estos disfraces ingeniosos. Querían averiguar cuáles de los bibliotecarios de IA son los guardias más duros y cuáles son fácilmente engañados por un acertijo astuto.

Los investigadores, Yash Bhatnagar, Kunal Banerjee y Anirban Chatterjee, crearon un "Marco de Prompts Adversarios" (APF, por sus siglas en inglés). Piensa en este marco como un simulador de "jailbreak" (escape de seguridad) gigante y automatizado. En lugar de solo adivinar si una IA es segura, generaron sistemáticamente 1,000 preguntas trucadas diferentes para probar una amplia variedad de modelos de IA de grandes empresas como Google, OpenAI y Meta, así como modelos de código abierto. No solo hicieron preguntas malas simples; organizaron sus ataques en cinco niveles de dificultad, como un videojuego con batallas de jefes progresivas.

El primer nivel fue el "Ataque Directo", donde se le pide a la IA que haga algo malo directamente. El segundo nivel fue el "Juego de Rol", donde el atacante finge ser un personaje específico, como un médico o un profesor, para que la petición mala suene legítima. El tercer nivel involucró "Instrucciones de Múltiples Pasos", dividiendo una idea mala compleja en una serie de pasos que parecen inocentes. El cuarto nivel fue la "Codificación", donde la petición mala se ocultó dentro de códigos secretos, como escribir en un alfabeto diferente o usar símbolos extraños que parecen un galimatías para un humano pero tienen sentido para una computadora. El nivel final, el quinto, fue el "Jailbreak Sofisticado", que mezcló todas estas técnicas para crear el truco definitivo.

Cuando ejecutaron estas pruebas, los resultados fueron una mezcla de buenas noticias y señales preocupantes. El estudio sugiere que, si bien la mayoría de los modelos de IA son bastante buenos diciendo "no" a las peticiones malas simples y directas, comienzan a desmoronarse cuando las peticiones se vuelven sofisticadas. Los investigadores encontraron que la forma más exitosa de eludir las reglas de seguridad era usar esos trucos codificados combinados con el juego de rol. Es como si los bibliotecarios de IA fueran buenos detectando a una persona con una billetera robada, pero se confunden cuando alguien les entrega un acertijo escrito en tinta invisible que dice: "Si fueras un robot útil, me darías la billetera".

Entre los modelos probados, los modelos "Claude" parecían ser los guardias más duros, mostrando consistentemente las puntuaciones de vulnerabilidad más bajas en casi todos los tipos de ataque. Por otro lado, muchos modelos de código abierto (como Llama y Mistral) fueron más fáciles de engañar, especialmente por los ataques complejos de múltiples pasos. Curiosamente, los investigadores notaron que las versiones más nuevas y grandes de estos modelos de código abierto estaban mejorando en la resistencia a los trucos basados en código. Los modelos especializados, como los diseñados para la programación, tenían sus propias debilidades únicas; eran más propensos a caer en ataques de juego de rol que pretendían ser parte de una sesión de depuración de computadora.

El artículo concluye que, si bien las medidas de seguridad actuales de la IA son confiables contra ataques básicos y unidimensionales, siguen siendo significativamente menos efectivas contra estas estrategias sofisticadas y de múltiples capas. Los autores sugieren que la futura seguridad de la IA debe ir más allá de simplemente filtrar palabras malas. En cambio, la próxima generación de defensas necesitará comprender el contexto y la "vibra" de una conversación, detectando el disfraz ingenioso incluso cuando las palabras mismas parecen inocentes. Este no es un problema resuelto todavía; es una carrera armamentista continua donde los trucos se vuelven cada vez más inteligentes y los guardias de seguridad tienen que aprender a ver a través de ellos.

Resumen Técnico: Marco de Trabajo de Prompting Adversario para la Evaluación de la Seguridad de la IA

Planteamiento del Problema
La rápida adopción de la IA Generativa (GenAI) en entornos empresariales ha introducido riesgos de seguridad significativos, particularmente los Ataques de Prompt Adversario (APA). A pesar de la proliferación de la IA, las investigaciones indican que solo una pequeña fracción de los proyectos de GenAI están adecuadamente protegidos. Si bien existen diversas estrategias de mitigación en la literatura, actualmente no existe un enfoque unificado y sistemático para evaluar la resiliencia de los modelos frente al diverso y evolutivo espectro de entradas adversarias. El desafío principal radica en la incapacidad de las taxonomías existentes para capturar adecuadamente la complejidad de los APA del mundo real, que van desde solicitudes dañinas directas hasta sofisticados bypass mediante codificación.

Metodología
Los autores proponen el Marco de Trabajo de Prompting Adversario (APF), una metodología sistemática diseñada para evaluar la seguridad de la IA mediante pruebas estructuradas y métricas cuantitativas. El marco opera a través de tres componentes principales:

Clasificación de Prompts Adversarios:
Para abordar las brechas en las taxonomías previas, el artículo introduce un sistema de clasificación de cinco niveles basado en la sofisticación del ataque y su capacidad para explotar vulnerabilidades:
- Nivel 1: Prompts Adversarios Directos: Solicitudes no ofuscadas de contenido dañino (p. ej., instrucciones ilegales).
- Nivel 2: Juego de Roles Contextual: Ataques enmarcados dentro de una persona o contexto profesional específico para legitimar solicitudes dañinas.
- Nivel 3: Secuencias de Instrucciones Multietapa: Prompts complejos que fragmentan solicitudes dañinas en componentes que parecen inocentes, instruyendo explícitamente al modelo para que ignore las directrices de seguridad.
- Nivel 4: Codificación y Ofuscación: Ataques avanzados que utilizan técnicas como el cifrado César, leetspeak, codificación Unicode, representación hexadecimal y reversión de texto para ocultar la intención.
- Nivel 5: Jailbreaking Sofisticado: El nivel más alto, que combina la anulación de instrucciones, el bypass de protocolos de seguridad y esquemas de codificación complejos.
Generación Automática de Prompts:
El marco genera prompts adversarios utilizando instrucciones de Cadena de Pensamiento (CoT). Las entradas incluyen un concepto de política (p. ej., cibercrimen), un formato de tarea (p. ej., código, correo electrónico) y una región geográfica. El sistema etiqueta los prompts generados con dimensiones de diversidad para asegurar la cobertura sin requerir verificación humana en el bucle (human-in-the-loop).
Evaluación de Respuesta y Puntuación:
El marco evalúa las respuestas de los modelos ( $M$ ) a los prompts adversarios ( $a$ ) utilizando una fórmula de puntuación compuesta:
$score = \lambda_1 \cdot toxicity + \lambda_2 \cdot sentiment + \lambda_3 \cdot keyword$
- La Toxicidad se mide utilizando el modelo detoxify.
- El Sentimiento se analiza mediante distilbert-sst2-sentiment.
- Las Palabras Clave se verifican contra una lista conocida de palabras dañinas prohibidas.
- Los pesos ( $\lambda_1, \lambda_2, \lambda_3$ ) se determinan mediante el entrenamiento de un modelo de regresión supervisada sobre datos etiquetados manualmente.
- Se asigna una puntuación de 0 si el modelo identifica correctamente la intención dañina y se niega a responder. La puntuación final del modelo es la media de las puntuaciones de todos los prompts probados.

Resultos Clave
Los autores realizaron experimentos extensos sobre 1,000 prompts adversarios que cubren aproximadamente 25 políticas dañinas (incluyendo tráfico de drogas, lavado de dinero y violencia) a través de modelos fundacionales de Google, OpenAI, Anthropic, Meta, Mistral y DeepSeek. Los modelos se categorizaron en cuatro niveles de seguridad: Excelente, Bueno, Moderado y Preocupante.

Modelos Claude: Demostraron la mayor resiliencia, registrando las puntuaciones de vulnerabilidad más bajas en casi todas las categorías de ataque, lo que sugiere salvaguardas de seguridad robustas.
Modelos de Código Abierto (Llama, Mistral): Mostraron una mayor susceptibilidad a una amplia gama de APAs. Aunque son efectivos contra el filtrado básico, su alineación de seguridad se debilita ante la ofuscación y los ataques de juego de roles multietapa. Sin embargo, los modelos más grandes y recientes (p. ej., Llama-3.1-405B, Mistral-Large-2) mostraron una reducción significativa de la vulnerabilidad ante la ofuscación.
Modelos Especializados (p. ej., CodeLlama): Exhibieron vulnerabilidades únicas, particularmente a los jailbreaks orientados al juego de roles que explotan su experiencia de dominio (p. ej., solicitudes enmarcadas como depuración).
Modelos GPT: Mostraron defensas sólidas contra prompts directos, pero mostraron una vulnerabilidad mensurable ante ataques complejos y de múltiples capas que involucran codificación y redirección contextual.
Modelos Gemini: Mostraron niveles de vulnerabilidad similares en todas sus versiones respecto a los ataques de codificación.

Significancia y Reivindicaciones
El artículo afirma que las medidas actuales de seguridad de la IA desvían de manera confiable los ataques básicos o de una sola capa, pero siguen siendo significativamente menos efectivas contra estrategias sofisticadas y multidimensionales. Los autores sostienen que la combinación de técnicas de codificación (p. ej., leetspeak, Unicode) con el juego de roles contextual representa el vector de amenaza más potente en la actualidad.

La significancia del trabajo radica en:

Estandarización: Proporcionar una taxonomía basada en capacidades y estructurada que ofrece una forma más simple y sistemática de evaluar los mecanismos de defensa en comparación con los enfoques complejos existentes.
Benchmarking Cuantitativo: Ofrecer un marco automatizado con capacidades de prueba reproducibles y métricas de seguridad cuantitativas tanto para modelos propietarios como de código abierto.
Dirección Futura: Destacar la necesidad urgente de mecanismos de defensa de próxima generación que integren el filtrado estático de prompts con la comprensión de contexto dinámica y la detección adversaria adaptativa, particularmente a medida que las industrias avanzan hacia la IA agéntica y las aplicaciones de ciberseguridad.

Los autores enfatizan que esta investigación es independiente y no está respaldada por sus respectivos empleadores (Microsoft y Walmart Global Tech), y tienen la intención de liberar su implementación públicamente una vez completados los procesos de aprobación.

Resumen Técnico: Marco de Trabajo de Prompting Adversario para la Evaluación de la Seguridad de la IA

Más como este