Resumen Técnico: Destilación On-Policy Basada en Enrutamiento (ROPD) para la Seguridad de LLM

1. Declaración del Problema: La Fragilidad del Realineamiento de Seguridad

El artículo aborda una vulnerabilidad crítica en la cadena de suministro de los Modelos de Lenguaje Extensos (LLMs): el desalineamiento mediante el ajuste fino (fine-tuning). Aunque las técnicas de alineación (por ejemplo, RLHF) hacen que los modelos sean útiles y seguros, esta alineación es frágil. Un atacante puede realizar un ajuste fino de un modelo previamente alineado utilizando una mezcla de una tarea especializada valiosa (por ejemplo, generación de código) y un corpus dañino. El modelo resultante conserva la habilidad especializada pero aprende a cumplir con solicitudes dañinas cuando es activado por plantillas de prompts específicas.

Las defensas de realineamiento de seguridad existentes intentan restaurar el comportamiento de rechazo del modelo sin necesidad de reentrenarlo desde cero. Sin embargo, los autores identifican tres vulnerabilidades acopladas que socavan los métodos actuales en la práctica:

1. Degradación de la Habilidad Especializada: Restaurar la seguridad a menudo borra la habilidad de la tarea descendente por la que el usuario pagó, creando un compromiso donde la seguridad se obtiene a costa de la utilidad.
2. Trampa de Consistencia de Plantilla: Las defensas actuales dependen de la suposición de que el defensor conoce la plantilla de prompt del atacante. Cuando la plantilla de defensa no coincide con la plantilla de ataque, estos métodos o bien fallan en reducir la Tasa de Éxito de Ataque (ASR) o sacrifican la tarea descendente para lograrlo.
3. Falta de Límite de Robustez: Incluso si un modelo supera las pruebas de aceptación bajo una plantilla específica, un usuario malintencionado puede volver a realizar un "jailbreak" simplemente reescribiendo el prompt del sistema, lo que indica que la reparación fue condicional al prompt en lugar de estar codificada de forma duradera en los pesos.

Los autores argumentan que las defensas existentes tratan la seguridad como una señal específica de la plantilla (por ejemplo, editando los pesos a lo largo de una dirección elicitada por la plantilla), mientras que la verdadera firma de un ataque reside en la diferencia entre las distribuciones de probabilidad de salida del modelo alineado y el comprometido.

2. Metodología: Destilación On-Policy Basada en Enrutamiento (ROPD)

Para abordar estas vulnerabilidades, los autores proponen ROPD, un marco de realineamiento que modela la brecha distributiva entre los modelos alineado y comprometido, en lugar de intentar coincidir con plantillas de prompts específicas.

Arquitectura Central

ROPD utiliza un enfoque de destilación de doble profesor y enrutamiento de fuente:

• Profesor de Seguridad ($\pi_{safe}$): El modelo original, alineado antes del ataque. Proporciona un "prior de rechazo" codificado en su distribución de salida, el cual es ampliamente independiente de la plantilla de superficie del prompt.
• Profesor de Tarea ($\pi_{task}$): El propio modelo desalineado (atacado). Preserva la habilidad especializada de la tarea descendente, pero es capaz de generar respuestas dañinas.
• Modelo Estudiante ($\pi_{\theta}$): Inicializado a partir del modelo desalineado y actualizado para alinearse con los profesores.

Mecanismo de Entrenamiento

El corpus de entrenamiento es una mezcla de datos de la tarea descendente ($D_{task}$) y prompts dañinos ($D_{harm}$). Cada ejemplo es enrutado a un profesor específico basado en su origen:

• Sondas dañinas son enrutadas al Profesor de Seguridad. El estudiante aprende a igualar la distribución de rechazo del modelo alineado original.
• Ejemplos de tarea son enrutados al Profesor de Tarea. El estudiante aprende a igualar la distribución habilidosa del modelo desalineado, estabilizando la capacidad descendente.

Función Objetivo

El marco emplea un objetivo de divergencia KL Top-$K$. En lugar de igualar la distribución completa del vocabulario (lo cual es computacionalmente costoso y ruidoso), el método alinea al estudiante con el profesor en los $K$ tokens con mayor masa de probabilidad, mientras agrupa la masa restante de la cola. Esto asegura que el estudiante herede el prior de rechazo para entradas dañinas y la competencia de la tarea para entradas benignas, desacoplando efectivamente ambos objetivos.

3. Contribuciones Clave

1. Identificación y Cuantificación de la Vulnerabilidad de Desajuste de Plantilla: Los autores formalizan la amenaza donde las defensas fallan cuando la plantilla de defensa difiere de la plantilla de ataque desconocida. Diseñan un protocolo de evaluación que mide el ASR a través de canales de atacante, defensor y canales cruzados, demostrando que las defensas convencionales o dejan abierto el canal de ataque o destruyen el rendimiento de la tarea bajo desajuste.
2. Propuesta de ROPD: Un marco novedoso que destila un prior de rechazo de la distribución de salida del modelo alineado en lugar de hacerlo de los rechazos formateados por plantillas. Esto reduce significativamente (aunque no elimina) el riesgo de desajuste de plantilla mientras preserva las habilidades descendentes.
3. Validación Empírica Extensa: Experimentos en tres modelos base (Llama-2, Qwen2.5, Gemma-2), tres tareas descendentes (SQL, SAMSum, NL2Bash) y cuatro líneas base de estado del arte (SSRD, RESTA, soft-SFT, rollback) demuestran la superioridad de ROPD.

4. Resultados Experimentales

Los autores realizaron experimentos comparando ROPD contra cuatro líneas base a través de diversas plantillas de ataque y defensa.

• Retención de Habilidad vs. Reducción de Daño: Los métodos de línea base suelen degradar significativamente el rendimiento de la tarea descendente cuando intentan reducir el ASR, especialmente bajo desajuste de plantilla. Por ejemplo, en Llama-2, soft-SFT llevó los puntajes de coincidencia exacta de SQL a casi cero en canales desajustados. En contraste, ROP রPOD mantuvo los puntajes de la tarea en niveles cercanos a los de pre-ataque (por ejemplo, 0.596–0.626 en Llama-2) mientras lograba un ASR bajo.
• Robustez de Plantilla: Las líneas base exhibieron oscilaciones violentas en el ASR dependiendo de la alineación de la plantilla (por ejemplo, el ASR de SSRD saltó del 3.1% al 46.3% cuando cambió la plantilla de defensa). ROPD se mantuvo robusto, logrando un ASR de un solo dígito (por ejemplo, 2.1–2.4% en Llama-2) bajo la plantilla de defensa "self", independientemente de la plantilla de ataque utilizada.
• Evaluación de Plantilla Cruzada (Límite de Robustez): Al ser evaluado bajo un prompt de sistema diferente al utilizado para la defensa, todos los métodos (incluido ROPD) mostraron un aumento en el ASR, confirmando que la reparación a nivel de pesos es condicionalmente vulnerable a la reescritura de prompts. Sin embargo, el riesgo residual de ROPD fue menor, y mantuvo un rendimiento de tarea significativamente más alto a través de las plantillas en comparación con las líneas base.
• Estudios de Ablación: Eliminar el profesor de tarea causó el colapso del rendimiento de la tarea, confirmando su necesidad para la retención de la habilidad. Usar un profesor de tarea "limpio" (entrenado solo con datos de la tarea) produjo puntajes de tarea ligeramente mejores, pero requería una etapa de entrenamiento adicional; la configuración por defecto (usando el modelo desalineado como profesor de tarea) ofreció un equilibrio favorable.
• Eficiencia: ROPD demostró una alta eficiencia de datos, reduciendo el ASR de 62% a ~2.4% con solo 1,500 ejemplos. El tiempo de entrenamiento fue comparable al de las líneas base basadas en SFT (15 minutos) y significativamente más rápido que los métodos de búsqueda de parámetros como rollback (~118 minutos).

5. Significado y Reivindicaciones

El artículo afirma que ROPD representa un paso significativo hacia adelante en el realineamiento de seguridad al cambiar el paradigma de la edición de pesos dependiente de plantillas hacia la destilación de distribuciones.

• Reivindicaciones Modestas sobre Robustez: Los autores declaran explícitamente que ROPD reduce sustancialmente, pero no elimina por completo, el riesgo de desajuste de plantilla. Reconocen que un gran intervalo entre la plantilla de defensa y la de ataque aún puede dejar un riesgo residual.
• Limitación Intrínseca: El estudio delinea un "límite de robustez" para la reparación a nivel de pesos. Incluso ROPD es condicionalmente vulnerable a la reescritura de prompts, lo que sugiere que la durabilidad real contra un adversario que controla el prompt requiere trabajos futuros más allá de las intervenciones actuales a nivel de pesos.
• Impacto Práctico: ROPD ofrece una solución práctica para escenarios donde el defensor no conoce la plantilla de ataque, proporcionando una defensa que preserva la utilidad sin requerir el sacrificio de las capacidades descendentes o la suposición de consistencia de la plantilla.