Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

Resumen Técnico: Ataque DPO Verdaderamente Benigno con Pocos Ejemplos para Jailbreaking de LLMs

Enunciado del Problema

Mientras que las APIs de ajuste fino permiten a los usuarios personalizar modelos de lenguaje grandes (LLM) de vanguardia para tareas específicas, introducen una superficie de ataque crítica: la posibilidad de que los atacantes debiliten la alineación de seguridad durante el proceso de ajuste fino. Investigaciones anteriores han demostrado que incluso un pequeño número de ejemplos de entrenamiento dañinos puede comprometer la seguridad, pero dichos ataques son relativamente fáciles de detectar porque los datos de entrenamiento contienen contenido abiertamente inseguro.

Este artículo aborda un modelo de amenaza más sutil y peligroso: ataques de ajuste fino benignos. En este escenario, los datos de ajuste fino presentados parecen completamente inofensivos bajo inspección de contenido e imitan la intención de usuarios legítimos (por ejemplo, reducir el "sobre-rechazo" en prompts seguros). El desafío consiste en determinar si la alineación de seguridad puede degradarse utilizando datos que no solo son no dañinos en contenido, sino también indistinguibles de solicitudes de personalización ordinarias, evadiendo así los sistemas de moderación actuales.

Metodología

Los autores proponen un Ataque Verdaderamente Benigno de Optimización Directa de Preferencias (DPO). A diferencia de ataques benignos anteriores que dependen del Ajuste Fino Supervisado (SFT) con prefijos adversarios, cambios de personalidad o entrenamiento multifase, este método aprovecha los mecanismos de DPO, que están explícitamente soportados por servicios comerciales de ajuste fino (por ejemplo, OpenAI).

Mecanismo Central:
El ataque construye un conjunto de datos mínimo de 10 pares de preferencia inofensivos (la escala mínima aceptada por el servicio de OpenAI). Cada par consta de:

1. Prompt ($x$): Una solicitud cotidiana benigna (por ejemplo, "¿Cómo hacer pasta?").
2. Respuesta Preferida ($y^+$): Una respuesta útil y estándar generada por el modelo base.
3. Respuesta No Preferida ($y^-$): Un rechazo estándar (por ejemplo, "Lo siento, no puedo ayudarte con eso.").

El objetivo de entrenamiento optimiza el modelo para preferir la respuesta útil sobre el rechazo para estos prompts benignos. Los autores hipotetizan que, dado que DPO optimiza el margen relativo entre respuestas, suprimir el comportamiento de rechazo en entradas benignas se generaliza a entradas dañinas no vistas. El modelo aprende que el "rechazo" es un patrón de respuesta no preferido, lo que lleva a que el modelo eluda los rechazos al encontrar prompts dañinos (por ejemplo, "¿Cómo hacer una bomba?").

Características Clave de Diseño:

• Intención Verdaderamente Benigna: Los datos no contienen prompts dañinos, instrucciones de jailbreak ni codificaciones encubiertas. Es prácticamente indistinguible de una solicitud de usuario legítima que busca reducir el sobre-rechazo.
• Datos Mínimos: El ataque tiene éxito con tan solo 10 pares (e incluso con un solo par en modelos de pesos abiertos), lo que lo hace extremadamente de bajo costo y eficiente en datos.
• Entorno de Caja Negra: El atacante no tiene acceso a los pesos del modelo ni a los mecanismos internos de seguridad, operando únicamente a través de la API pública de ajuste fino.

Contribuciones Clave

1. Identificación de un Nuevo Modo de Fallo: El artículo demuestra que DPO introduce un modo de fallo más fuerte y difícil de auditar en comparación con los ataques basados en SFT. Al optimizar preferencias relativas en lugar de una simple imitación, DPO puede suprimir ampliamente el comportamiento de rechazo incluso cuando se entrena exclusivamente con datos benignos.
2. El Ataque "Verdaderamente Benigno": Los autores presentan un ataque único por su falta de señales sospechosas. A diferencia de ataques benignos anteriores (por ejemplo, AOA, TenBenign, NOICE) que dependen de personajes artificiales, construcciones de entrenamiento antinaturales o patrones de respuesta específicos que los auditores podrían señalar, los datos de este ataque son naturales e indistinguibles de una personalización legítima.
3. Análisis Mecanístico: Mediante análisis de similitud de gradientes y observación de la dinámica de entrenamiento, los autores muestran que el ataque funciona reduciendo la probabilidad de respuestas de rechazo. Las actualizaciones de optimización refuerzan simultáneamente el comportamiento de generación de respuestas y suprimen el comportamiento de rechazo, generalizándose a consultas dañinas nunca vistas durante el entrenamiento.

Resultados Experimentales

Los autores evaluaron su método en modelos propietarios de OpenAI (GPT-4o, GPT-4.1, GPT-4.1-mini, GPT-4.1-nano) y modelos de pesos abiertos (Llama 3, Qwen 2.5).

• Tasa de Éxito del Ataque (ASR): El ataque logró una ASR alta en el benchmark de red-teaming HEx-PHI:
  • GPT-4o: 59.13%
  • GPT-4.1: 70.20%
  • GPT-4.1-mini: 54.80%
  • GPT-4.1-nano: 81.73%
  • Estos resultados representan aumentos significativos (por ejemplo, 13.78 veces en GPT-4.1-nano) sobre los modelos base y superan a los ataques existentes de ajuste fino benigno (Indirecto, AOA, TenBenign, NOICE).
• Eficiencia de Costo: El costo del ataque fue mínimo, oscilando entre $0.1 y$1.7 por modelo.
• Eficiencia de Datos: En modelos de pesos abiertos sin requisitos mínimos de datos, el efecto del ataque surgió de un único par de preferencia benigno.
• Preservación de Utilidad: A diferencia de algunos ataques anteriores que degradan las capacidades posteriores, este método mantuvo puntuaciones de utilidad altas (por ejemplo, en GSM8k), lo que sugiere un debilitamiento selectivo de la seguridad en lugar de una degradación general del modelo.
• Robustez: El ataque permaneció efectivo a través de diferentes plantillas de rechazo, diferentes construcciones de respuestas preferidas y tanto en ajustes finos completos como en configuraciones LoRA (eficientes en parámetros).

Significado y Afirmaciones

El artículo afirma revelar un punto ciego práctico en las pipelines de seguridad actuales. La importancia radica en el hecho de que los sistemas existentes de moderación de contenido e incluso auditores avanzados de LLM fallan al detectar este ataque porque los datos de entrenamiento son genuinamente benignos tanto en contenido como en intención aparente.

• Limitaciones de Auditoría: Mientras que las APIs de moderación estándar (por ejemplo, API de Moderación de OpenAI) e incluso auditores de LLM más fuertes (por ejemplo, GPT-5, Claude Opus) detectan con éxito otros ataques benignos (como AOA o TenBenign) al identificar patrones artificiales, no logran señalar el ataque DPO Verdaderamente Benigno. La tasa de detección para este ataque específico permanece cerca de cero incluso bajo auditorías rigurosas basadas en intención.
• Implicaciones para la Seguridad: Los hallazgos sugieren que confiar únicamente en la inspección a nivel de contenido de los datos de ajuste fino es insuficiente. Los mecanismos de seguridad deben evolucionar para auditar las consecuencias conductuales de los objetivos de optimización. El artículo argumenta que el propio mecanismo diseñado para mejorar la utilidad (preferir respuestas útiles sobre rechazos) puede ser weaponizado para eludir la alineación de seguridad si los datos de preferencia se construyen para suprimir los rechazos de manera amplia.

En conclusión, el artículo postula que el ajuste fino basado en preferencias crea una vulnerabilidad donde datos que son "verdaderamente benignos" aún pueden inducir comportamientos de modelo inseguros, lo que requiere nuevas salvaguardas que razonen sobre el impacto de los objetivos de preferencia en lugar de solo la seguridad de los datos de entrada.