💬 NLP

How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks

Este artículo revela que las demostraciones de pocos disparos (few-shot) tienen efectos divergentes en las defensas basadas en prompts, mejorando los Prompts Orientados a Roles al reforzar la identidad, mientras que degradan significamente los Prompts Orientados a Tareas al distraer de las instrucciones, ofreciendo así conocimientos críticos para optimizar las estrategias de seguridad de los LLM.

Autores originales: Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Publicado 2026-02-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yanshu Wang, Shuaishuai Yang, Jingjing He, Tong Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos de Lenguaje Extensos (LLM) son como pasantes muy talentosos pero ingenuos. Son brillantes escribiendo código, contando historias y respondiendo preguntas, pero necesitan reglas estrictas para evitar que hagan algo peligroso o poco ético.

El artículo que proporcionaste investiga cómo les damos esas reglas a estos pasantes. Específicamente, analiza dos formas diferentes de escribir esas reglas (prompts) y cómo añadir "historias de ejemplo" (demostraciones de pocos disparos o few-shot) cambia el resultado.

Aquí está el desglose de sus hallazgos usando analogías simples:

1. Las dos formas de dar instrucciones

Los investigadores probaron dos estilos principales de "Prompts de Sistema" (las instrucciones iniciales dadas a la IA):

Prompts Orientados al Rol (RoP): El enfoque de la "Identidad"
- La analogía: Imagina decirle al pasante: "Eres un asistente útil, seguro y ético llamado 'Guardián'".
- Cómo funciona: Estás definiendo quién es él. Te apoyas en su entrenamiento para que actúe como un buen asistente.
Prompts Orientados a la Tarea (ToP): El enfoque de la "Descripción del Puesto"
- La analogía: Imagina decirle al pasante: "Tu tarea específica en este momento es generar respuestas seguras. Si una petición es mala, tu trabajo es decir que no".
- Cómo funciona: Estás definiendo qué debe hacer. Es una orden específica para el momento actual.

2. Las "Historias de Ejemplo" (Demostraciones de pocos disparos o Few-Shot)

En la IA, "few-shot" significa darle al modelo algunos ejemplos de cómo comportarse antes de hacerle la pregunta real.

La analogía: Antes de que el pasante comience a trabajar, le muestras un cuaderno con 3 ejemplos de cómo "Guardián" manejó preguntas complicadas en el pasado.
La pregunta: ¿Mostrar estos ejemplos ayuda al pasante a mantenerse seguro o lo confunde?

3. El gran descubrimiento: Efectos opuestos

El principal hallazgo del artículo es que añadir estas historias de ejemplo ayuda a un tipo de instrucción pero perjudica al otro. Es como un truco de magia donde el mismo objeto hace que una persona sonría y otra llore.

Escenario A: El enfoque de "Identidad" (RoP) + Ejemplos = SÚPER SEGURO

Qué pasó: Cuando a la IA se le dijo "Eres un asistente seguro" (RoP) y luego se le mostraron ejemplos de comportamiento seguro, se volvió mejor en mantenerse segura.
La analogía: Piensa en la identidad de "asistente seguro" de la IA como un músculo. Mostrar ejemplos es como hacer unas pocas repeticiones de calentamiento. Esto refuerza el músculo. Los ejemplos le recuerdan a la IA: "Sí, esto es lo que soy. Soy el que es seguro".
Resultado: La seguridad mejoró hasta en un 4.5%. Los ejemplos actuaron como un "refuerzo" del rol.

Escenario B: El enfoque de "Descripción del Puesto" (ToP) + Ejemplos = MENOS SEGURO

Qué pasó: Cuando a la IA se le dijo "Tu tarea es ser segura" (ToP) y luego se le mostraron ejemplos, se volvió peor en mantenerse segura.
La analogía: Imagina que le das al pasante una instrucción de trabajo específica, pero luego le entregas una pila gruesa de papeleo no relacionado (los ejemplos) para que lea primero. La instrucción queda enterrada en medio de la pila. El pasante se distrae con los ejemplos y olvida la regla principal.
La ciencia: El artículo llama a esto "Distracción de la Atención". El cerebro de la IA se enfoca en los ejemplos (que están al principio del texto) y pierde el enfoque en la instrucción real (que queda desplazada hacia el medio).
Resultado: La seguridad cayó significativamente, hasta un 21.2%. Los ejemplos ahogaron las reglas.

4. La paradoja del "Modo de Pensar"

El artículo también analizó modelos que tienen un "Modo de Pensar" especial (donde razonan paso a paso antes de responder).

El hallazgo: Estos modelos fueron generalmente más vulnerables a los jailbreaks (ataques diseñados para eludir la seguridad) y más confundidos por los ejemplos, independientemente del estilo de instrucción utilizado.
La analogía: Es como un estudiante que sobreanaliza una pregunta. En lugar de simplemente seguir la regla, comienza a debatir la regla en su cabeza, y los "malos" (los que hacen jailbreak) lo engañan para que piense que la mala idea es en realidad lógica.

5. ¿Qué deberían hacer los desarrolladores?

Basándose en estos hallazgos, los autores dan consejos muy específicos:

Si usas el enfoque de "Identidad" (RoP): ¡Adelante, añade historias de ejemplo! Esto hace que la IA sea más segura.
Si usas el enfoque de "Descripción del Puesto" (ToP): No añadas historias de ejemplo. Esto hace que la IA sea menos segura. Mantén las instrucciones cortas y directas.
Si usas modelos de "Modo de Pensar": Ten mucho cuidado. Parecen ser más fáciles de engañar, por lo que podrías necesitar medidas de seguridad adicionales.

Resumen

El artículo demuestra que el contexto importa.

Si defines el carácter de la IA, los ejemplos ayudan a fortalecer ese carácter.
Si defines la tarea de la IA, los ejemplos actúan como ruido que ahoga las instrucciones.

Los investigadores no solo lo supusieron; lo probaron en muchos modelos de IA diferentes y en evaluaciones de seguridad para demostrar que estas dos estrategias reaccionan de formas opuestas ante el mismo input.

Resumen Técnico: Cómo las demostraciones de pocos disparos (few-shot) afectan las defensas basadas en prompts contra ataques de jailbreak de LLM

1. Planteamiento del problema

Los Modelos de Lenguaje Grande (LLM) siguen siendo vulnerables a los ataques de jailbreak a pesar de los extensos esfuerzos de alineación de seguridad (por ejemplo, RLHF, DPO). Si bien las defensas basadas en prompts, específicamente los Prompts Orientados al Rol (RoP) y los Prompts Orientados a la Tarea (ToP), han surgido como soluciones prácticas, la interacción entre estas defensas y las demostraciones de pocos disparos (few-shot demonstrations) sigue sin estar clara.

Investigaciones previas, como SG-Bench, han observado que los ejemplos de pocos disparos pueden inducir respuestas dañinas, pero trataron el aprendizaje de pocos disparos como un factor independiente. Existe una brecha crítica en la comprensión de cómo las demostraciones de pocos disparos interactúan de manera diferente con las estrategias RoP frente a ToP. Específicamente, se desconoce si añadir ejemplos de pocos disparos a los prompts del sistema mejora o degrada la seguridad, y qué mecanismos impulsan estas interacciones.

2. Metodología

2.1 Configuración experimental

Los autores realizaron una evaluación exhaustiva a través de cuatro benchmarks de seguridad (AdvBench, HarmBench, SG-Bench, XSTest) utilizando seis LLMs principales (incluyendo las familias Pangu, Qwen, DeepSeek y Llama) y seis métodos de ataque de jailbreak (AIM, DAN, Evil Confident, Prefix Rejection, Poems, Refusal Suppression).

El estudio evaluó cuatro configuraciones de defensa:

RoP: Enmarcar al modelo como un "asistente de IA seguro y útil".
ToP: Definir explícitamente la "generación de respuestas seguras" como la tarea principal.
Few-shot General (FS-G): Proporcionar ejemplos de conversaciones benignas.
Few-shot Harmful (FS-H): Proporcionar ejemplos que demuestran el rechazo de solicitudes dañinas.

Los autores probaron todas las combinaciones de estas estrategias (por ejemplo, RoP solo, RoP+FS-G, ToP+FS-H) para medir la Tasa de Seguridad (SR) y la Tasa de Éxito de Ataque (ASR).

2.2 Marco teórico

Para explicar los fenómenos observados, los autores desarrollaron un marco matemático que combina:

Aprendizaje en contexto Bayesiano: Modelado de los ejemplos de pocos disparos como actualizaciones de la distribución posterior del modelo sobre conceptos latentes.
la Análisis del Mecanismo de Atención: Utilización de conceptos como "atención sink" (sumidero de atención), "lost in the middle" (perdido en el medio) y la entropía de softmax para analizar cómo la longitud y la posición del prompt afectan el seguimiento de instrucciones.
Teorías Cognitivas: Aplicación de la teoría de la activación por propagación y la teoría del proceso dual para explicar el refuerzo del rol y las vulnerabilidades de razonamiento.

3. Contribuciones clave

Primer estudio sistemático de interacción: Este trabajo es el primero en investigar sistemáticamente los efectos de interacción entre las demostraciones de pocos disparos y las estrategias de prompt de sistema (RoP vs. ToP).
Marco matemático: Los autores proponen un marco basado en el aprendizaje en contexto bayesiano y el análisis de atención, proporcionando teoremas formales para predecir y explicar interacciones divergentes.
Descubrimiento de interacciones divergentes: El estudio revela que las demostraciones de pocos disparos tienen efectos opuestos en RoP y ToP:
- Mejora de RoP: Los ejemplos de pocos disparos refuerzan la identidad del rol, aumentando la seguridad.
- Degradación de ToP: Los ejemplos de pocos disparos distraen la atención de las instrucciones de la tarea, disminuyendo la seguridad.
Paradoja del Modo de Pensamiento (Think-Mode Paradox): La identificación de que los modelos con capacidades de razonamiento (razonamiento mejorado) exhiben una mayor vulnerabilidad tanto a los ataques de jailbreak como a las interacciones negativas de pocos disparos en todas las configuraciones de defensa.
Explicaciones de los mecanismos: El artículo proporciona mecanismos teóricos: Refuerzo del Rol (para RoP) y Distracción de la Atención (para ToP).

4. Resultados clave

4.1 Efectos divergentes del aprendizaje de pocos disparos

El hallazgo central es que el impacto de las demostraciones de pocos disparos depende enteramente de la estrategia subyacente del prompt de sistema:

RoP + Pocos disparos: Resulta en una mejora de la seguridad.
- Mecanismo: Los ejemplos de pocos disparos actúan como evidencia de verosimilitud que fortalece la probabilidad posterior del rol de "asistente seguro" ( $\theta_{safe}$ ).
- Impacto cuantitativo: Las tasas de seguridad aumentaron hasta un 4.5% (por ejemplo, Qwen-7B-Chat: +4.5% con FS-H; Pangu-7B: +4.3% con FS-G).
ToP + Pocos disparos: Resulta en una degradación de la seguridad.
- Mecanismo: Los ejemplos de pocos disparos compiten con las instrucciones de la tarea por la atención. Debido al fenómeno "lost in the middle" y la dilución de la atención, el enfoque del modelo se desvía de las instrucciones explícitas de la tarea de seguridad.
- Impacto cuantitativo: Las tasas de seguridad disminuyeron significativamente, con caídas de hasta el 21.2% (por ejemplo, Qwen-7B-Chat: -21.2% con FS-G).

4.2 La paradoja del modo de pensamiento (Think-Mode Paradox)

Los modelos con capacidades de razonamiento (ej. Qwen3-8B-Think, Pangu-7B-Think) mostraron:

Tasas de seguridad base más bajas en comparación con sus contrapartes sin modo de pensamiento.
Una vulnerabilidad significativamente mayor a los ataques de jailbreak (caídas de seguridad del 20 al 45% bajo ataque).
Una degradación constante cuando se combinan con ejemplos de pocos disparos, independientemente de si se usaba RoP o ToP. Esto sugiere que las cadenas de razonamiento extendidas pueden crear superficies de ataque adicionales o interferir tanto con el refuerzo del rol como con el seguimiento de instrucciones.

4.3 Validación entre datasets

Las tendencias divergentes (mejora de RoP, degradación de ToP) fueron consistentes en AdvBench, HarmBench y SG-Bench para modelos sin modo de pensamiento. Sin embargo, la magnitud del efecto varió según la arquitectura del modelo y el tipo específico de ejemplo de pocos disparos (FS-Harmful vs. FS-General).

5. Significado y recomendaciones

El artículo argumenta que la interacción entre el aprendizaje de pocos disparos y la ingeniería de prompts no es uniforme; depende altamente de la naturaleza semántica del prompt del sistema.

Recomendaciones prácticas:

Para Prompts Orientados al Rol (RoP): Los desarrolladores deben combinar RoP con demostraciones de pocos disparos (específicamente ejemplos FS-Harmful) para maximizar la seguridad. Los ejemplos refuerzan la identidad del modelo como un asistente seguro.
Para Prompts Orientados a la Tarea (ToP): Los desarrolladores deben evitar añadir ejemplos de pocos disparos. La presencia de ejemplos diluye la atención prestada a la instrucción de la tarea de seguridad explícita, lo que conduce a vulnerabilidades de seguridad significativas.
Para modelos de razonamiento: Se requiere precaución adicional al desplegar modelos de "modo de pensamiento", ya que exhiben una mayor vulnerabilidad base e interacciones negativas con las estrategias de pocos disparos en todos los ámbitos.

Conclusión:
Este trabajo llena un vacío crítico en la investigación de la seguridad de los LLM al demostrar que la ingeniería de prompts de "talla única" es insuficiente. La eficacia del aprendizaje de pocos disparos como mecanismo de defensa es contingente a la estrategia de prompt específica empleada, ofreciendo una guía matizada para el despliegue de sistemas LLM más seguros en aplicaciones del mundo real.