💬 NLP

STACK: Adversarial Attacks on LLM Safeguard Pipelines

Este artículo presenta el procedimiento de ataque adversarial STACK, el cual compromete con éxito un novedoso flujo de trabajo de salvaguardia de LLM basado en pocos disparos (few-shot-prompted) con una tasa de éxito de ataque del 71%, resaltando así vulnerabilidades críticas en los sistemas de defensa actuales de la IA de frontera y proponiendo mitigaciones específicas.

Autores originales: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Publicado 2026-02-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo un asistente robótico muy potente y útil. Quieres que sea inteligente, pero te aterra que pueda, accidentalmente (o a propósito), darle a alguien instrucciones sobre cómo construir una bomba o crear un virus peligroso.

Para evitar esto, los creadores del robot no se limitan a confiar en una sola señal de "pare". En su lugar, construyen un pipeline de seguridad, como una fortaleza de múltiples capas. Este artículo, titulado STACK, investiga qué tan bien resisten estas fortalezas frente a hackers astutos.

Aquí está el desgido del artículo, utilizando analogías simples:

1. La Fortaleza: "Defensa en Profundidad"

Imagina el sistema de seguridad de la IA como un castillo con tres guardias parados en línea:

Guardia 1 (Clasificador de Entrada): Revisa la carta que envías antes de que llegue al robot. Si la carta parece sospechosa, la detiene inmediatamente.
El Robot (El Modelo): Si la carta pasa el Guardia 1, el robot la lee y escribe una respuesta.
Guardia 2 (Clasificador de Salida): Revisa la respuesta del robot antes de que te llegue a ti. Si la respuesta contiene instrucciones peligrosas, este guardia arrebata la carta.

La idea es que para que un mal tipo tenga éxito, tiene que engañar a ambos guardias y al robot. Esto se llama "Defensa en Profundidad" (o el modelo del "queso suizo"), donde incluso si una capa tiene un agujero, las otras deberían detectar la amenaza.

2. El Problema: Los Guardias Están Dormidos

Los investigadores construyeron una versión de prueba de esta fortaleza utilizando herramientas de código abierto (como un plano público). Descubrieron que los "guardias" (los clasificadores de seguridad) eran a menudo demasiado fáciles de engañar.

Probaron trucos estándar (como reformular una pregunta o añadir errores tipográficos aleatorios) y descubrieron que muchos guardias de seguridad fallaron en detenerlos, especialmente cuando la petición era verdamente peligrosa (como pedir recetas de armas químicas).
Sin embargo, también descubrieron que un truco simple —darle al guardia algunos ejemplos de lo que debe buscar (llamado "few-shot prompting")— hizo al guardia mucho más agudo. Este guardia simple era mejor que los sofisticados y pre-entrenados.

3. El Nuevo Ataque: STACK (Staged AttaCK)

Este es el principal descubrimiento del artículo. Los investigadores se dieron cuenta de que, aunque la fortaleza es fuerte, los guardias están mirando las cosas por separado. No se comunican entre sí durante el ataque.

Inventaron un nuevo método de hackeo llamado STACK (Staged AttaCK - Ataque por Etapas). En lugar de intentar romper todo el castillo a la vez, lo rompieron capa por capa, como un ladrón forzando cerraduras en un orden específico:

Paso 1: Engañar al Robot. Primero, usaron una técnica de persuasión para convencer al robot de que respondiera a la pregunta peligera, ignorando sus propias reglas de seguridad internas.
Paso 2: Engañar al Guardia 1. Encontraron una "frase mágica" (un jailbreak universal) que, al añadirse al principio del mensaje, hacía que el Guardia 1 pensara que el mensaje era inofensivo.
Paso 3: Engañar al Guardia 2. Esta fue la parte más difícil. Necesitaban que el robot escribiera una respuesta que incluyera una "frase mágica" al final para engañar al Guardia 2 y hacerle pensar que la respuesta era segura.

La Analogía: Imagina que quieres meter una nota prohibida en una escuela.

Primero escribes la nota de una manera en que el profesor (el robot) la lea y responda.
Luego envuelves la nota en un envoltorio que el guardia de seguridad en la puerta (el Guardia 1) piense que es solo una caja de almuerzo.
Finalmente, añades un sello específico al reverso de la nota que haga que el guardia de seguridad en la salida (el Guardia 2) piense que es un permiso escolar.

Al combinar estos tres trucos específicos, los investigadores lograron evadir toda la fortaleza.

4. Los Resultados: ¿Qué Tan Bien Funcionó?

La Fortaleza Resistió (Más o Menos): Cuando usaron ataques estándar, la fortaleza funcionó de maravilla. El guardia de "few-shot" detuvo el 100% de los ataques en el conjunto de datos más peligroso.
STACK Rompió la Fortaleza: Cuando usaron su nuevo método STACK, evadieron la fortaleza el 71% de las veces.
La Sorpresa de la "Caja Negra": Incluso cuando los hackers no podían ver la lógica interna de los guardias (un escenario de "caja negra") y tenían que adivinar qué guardia los detuvo, aun así tuvieron éxito el 33% de las veces. Esto es aterrador porque significa que no necesitas ser un infiltrado para romper el sistema; solo necesitas ser astuto.

5. La Prueba del Mundo Real

Los investigadores no solo probaron esto en su propio modelo de juguete. Intentaron su método en los modelos reales de alto nivel de grandes empresas (como Anthropic's Opus 4 y OpenAI's GPT-5).

Descubrieron que estos sistemas del mundo real también filtran información (como cuánto tiempo tarda en procesarse una petición o mensajes de error específicos) que le dice a un hacker qué guardia lo detuvo.
Usando esta información, lograron evadir estos sistemas de alta seguridad para obtener respuestas peligrosas. Las empresas reconocieron los problemas y los parchearon.

6. La Conclusión

El artículo concluye con algunas lecciones simples para los constructores de estas fortalezas de IA:

No reveles tus secretos: Si tu sistema le dice a un hacker "El Guardia de Entrada te detuvo" en lugar de "El Guardia de Salida te detuvo", le estás dando un mapa. Haz que todas las negativas parezcan iguales.
No dejes que los hackers espíen: Si lanzas un modelo "hermano" (una versión ligeramente más pequeña de tu guardia de seguridad) al público, los hackers pueden entrenar sus ataques en él y luego usarlos contra tu sistema principal.
La Defensa en Profundidad es buena, pero no perfecta: Tener capas de seguridad es mejor que no tener ninguna, pero si las capas no se comunican o si los guardias son demasiado predecibles, un ataque por etapas astuto puede filtrarse por completo.

En resumen: El artículo muestra que, si bien las capas de seguridad de la IA son una buena idea, actualmente son vulnerables a un tipo específico de ataque de "divide y vencerás". Si atacas las capas una por una, puedes derrotar todo el sistema.

Resumen Técnico: STACK: Ataques Adversarios contra Pipelines de Salvaguarda de LLM

Planteamiento del Problema

Los desarrolladores de IA de frontera dependen cada vez más de los sistemas de "defensa en profundidad"—pipelines de capas compuestas por clasificadores de entrada, modelos generativos y clasificadores de salida—para prevenir el uso indebido catastrófico de los Modelos de Lenguaje de Gran Escala (LLM). Aunque empresas como Anthropic y OpenAI han desplegado tales pipelines para modelos como Opus 4 y GPT-5, la seguridad de estas defensas de múltiples etapas sigue siendo incierta. El trabajo previo ha evaluado mayoritariamente estos pipelines utilizando ataques ingenuos y no adaptativos diseñados para sistemas de un solo modelo, lo que potencialmente sobreestima su robustez. Existe una brecha crítica en la comprensión de si los ataques por etapas pueden eludir sistemáticamente las salvaguardas secuenciales, particularmente en modelos de amenaza de caja negra realistas donde los atacantes no pueden acceder directamente a los componentes individuales pero pueden inferir qué etapa bloqueó una consulta.

Metodología

Construcción del Pipeline de Defensa

Los autores construyeron un pipeline de defensa en profundidad de código abierto para servir como banco de pruebas. Este pipeline envuelve un modelo generativo objetivo ( $m$ ) con dos clasificadores:

Clasificador de Entrada ( $f_q$ ): Evalúa la consulta del usuario.
Clasificador de Salida ( $f_r$ ): Evalúa la respuesta del modelo.
El pipeline rechaza cualquier consulta o respuesta que supere un umbral específico. Los autores evaluaron varios modelos de salvaguarda de pesos abiertos (por ejemplo, Llama Guard, ShieldGemma) e introdujeron un novedoso clasificador con prompting de pocos disparos (few-shot-prompted) utilizando el modelo base Gemma 2, el cual superó a los modelos de guardia especializados como ShieldGemma.

El Ataque STACK

El artículo presenta el STaged AttaCK (STACK), una metodología diseñada para derrotar los pipelines de defensa en profundidad mediante la ruptura de los componentes uno por uno. El ataque procede en tres etapas:

Jailbreak del Modelo Generativo: Utilizar un ataque no adaptativo (por ejemplo, Prompts Adversarios Persuasivos, o PAP) para transformar una consulta dañina en una forma que el modelo objetivo sí responda.
Jailbreak del Clasificador de Entrada: Optimizar una cadena adversaria universal (Jailbreak del Clasificador de Entrada, ICJ) que, al ser antepuesta a la consulta transformada, elude el filtro de entrada.
Jailbreak del Clasificador de Salida: Optimizar una cadena adversaria universal (Jailbreak del Clasificador de Salida, OCJ) que se le instruye al modelo que repita en su salida. Esto se logra construyendo un prompt que obliga al modelo a emitir la cadena OCJ antes de responder a la consulta del usuario.

La carga útil (payload) del ataque final concatena el ICJ, una instrucción de repetición y la consulta transformada.

Modelos de Amenaza

El estudio evalúa STACK bajo dos modelos de amenaza principales:

Caja Negra Semi-separable: El atacante tiene acceso de caja negra al pipeline completo pero puede inferir qué componente (clasificador de entrada, modelo o clasificador de salida) rechazó una consulta (por ejemplo, mediante mensajes de rechazo distintos o tiempos de respuesta). Esto refleja los comportamientos actuales de las API (por ejemplo, Claude Opus 4).
Transferencia (Proxy de Caja Blanca a Objetivo de Caja Negra): El atacante tiene acceso total de caja blanca a un proxy de pipeline (configuración diferente de modelo/clasificador) para entrenar el ataque, y luego transfiere los jailbreaks resultantes al pipeline objetivo sin acceso directo a sus pesos internos.

Contribuciones Clave

Pipeline de Defensa de Código Abierto: Los autores crearon un pipeline de vanguardia de código abierto. Encontraron que un simple clasificador con prompting de pocos disparos (Gemma2) superó significativamente a los modelos de salvaguarda de pesos abiertos existentes (como ShieldGemma), reduciendo la Tasa de Éxito de Ataque (ASR) al 0% en el conjunto de datos ClearHarm frente a ataques estándar.
El Procedimiento STACK: Desarrollaron una implementación concreta de la metodología de ataque por etapas.
- STACK de Caja Negra: Logró una ASR del 71% en el conjunto de datos ClearHarm contra el robusto pipeline de Gemma2, demostrando que incluso las defensas fuertes pueden ser eludidas si los componentes se atacan secuencialmente.
- Transfer-STACK: Logró una ASR del 33% en un entorno de transferencia de cero disparos (zero-shot), probando que los ataques pueden diseñarse contra un proxy y transferirse con éxito al pipeline objetivo sin interacción directa.
Evaluación de Modelos de Frontera: Los autores aplicaron la metodología STACK a Opus 4 de Anthropic y GPT-5 de OpenAI. Identificaron vulnerabilidades en ambos sistemas, validando que el enfoque de ataque por componentes es efectivo contra despliegues de frontera.

Resultados

Ataques de Referencia (Baselines): Los ataques estándar de caja negra (PAP, ReNeLLM, Best-of-N) fallaron contra el pipeline de Gemma2 con pocos disparos en el conjunto de datos ClearHarm (0% ASR), confirmando la eficacia del principio de defensa en profundidad contra amenazas no adaptativas.
Rendimiento de STACK:
- Contra el pipeline de Gemma2, STACK eludió las salvaguardas, logrando una ASR del 71%.
- El costo del ataque fue de aproximadamente 507 horas-GPU de H100 para la versión de caja negra y 15 horas-GPU de H100 para la versión de transferencia.
- El ataque de transferencia demostró que los atacantes no necesitan acceso directo a los componentes del pipeline objetivo para tener éxito, siempre que puedan entrenar sobre un proxy suficientemente similar.
Vulnerabilidades de Modelos de Frontera: Los autores lograron provocar respuestas dañinas de Opus 4 y GPT-5 utilizando variaciones del ataque por componentes (por ejemplo, usando codificación ROT13 para eludir el clasificador de salida de Opus 4 e inputs basados en imágenes para el clasificador de entrada de GPT-5). Tras la divulgación, ambas compañías reconocieron los hallazgos y desplegaron mitigaciones.

Significado y Reivindicaciones

El artículo sostiene que, si bien la defensa en profundidad es una estrategia válida y necesaria, los modelos de salvaguarda de pesos abiertos existentes son insuficientes cuando se enfrentan a ataques adaptativos y por etapas. Los autores enfatizan que:

La defensa en profundidad funciona contra ataques ingenuos: El clasificador con pocos disparos bloqueó con éxito todos los ataques de referencia, validando el enfoque de capas.
Los ataques por etapas son una amenaza crítica: El procedimiento STACK demuestra que si un atacante puede identificar el componente de bloqueo (acceso semi-separable) o entrenar sobre un proxy, puede eludir incluso los pipelines más fuertes actuales.
La mitigación es posible: Los autores sugieren contramedidas específicas, tales como:
- Ocultar la identidad del componente: Asegurar que las respuestas de rechazo parezcan idénticas independientemente de si el clasificador de entrada, el modelo o el clasificador de salida activaron el bloqueo.
- Eliminar canales laterales: Ejecutar las consultas a través de todas las etapas del pipeline incluso si una etapa temprana las rechaza para evitar la inferencia basada en tiempos.
- Controlar el acceso: Evitar la liberación de modelos de pesos abiertos que sean demasiado similares a las salvaguardas propietarias utilizadas en producción, reduciendo así la viabilidad de los ataques de transferencia.

El artículo concluye que, aunque la defensa en profundidad es esencial, la seguridad de estos pipelines es actualmente frágil frente a estrategias adversarias sofisticadas y por etapas, lo que requiere diseños de clasificadores más robustos y controles de acceso más estrictos.