Response-Based Knowledge Distillation for Multilingual Jailbreak Prevention Unwittingly Compromises Safety

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) exhiben una brecha significativa en la alineación de seguridad en idiomas no ingleses, particularmente en aquellos con recursos limitados. Los métodos tradicionales de alineación de seguridad (Ajuste Fino Supervisado y RLHF) son predominantemente centrados en el inglés. Aunque la Destilación de Conocimiento (KD) se considera a menudo un método prometedor y rentable para transferir comportamientos de seguridad desde un modelo "profesor" robusto a modelos "estudiante" más pequeños, su eficacia en entornos multilingües sigue sin estar demostrada.

La pregunta central de investigación es: ¿Aplicar la destilación de conocimiento basada en respuestas (usando LoRA PEFT) para transferir comportamientos de rechazo desde un profesor propietario fuerte a modelos estudiante de código abierto mejora exitosamente la robustez ante jailbreaks multilingües, o degrada inadvertidamente la seguridad?

2. Metodología

Los autores construyeron una tubería de cinco etapas para investigar este problema:

• Curación de Datos: Utilizaron el conjunto de datos XSAFETY, que contiene ~28,190 prompts de jailbreak en 10 idiomas y 14 categorías de seguridad.
• Modelo Profesor: Se seleccionó OpenAI o1-mini como profesor debido a sus altas capacidades de razonamiento y su superior robustez ante jailbreaks (Tasa de Éxito de Jailbreak del 3.1%).
• Creación del Conjunto de Datos de Destilación: El modelo profesor generó respuestas de "rechazo seguro" a los prompts de XSAFETY. Estos pares de consulta-respuesta formaron el conjunto de datos de entrenamiento supervisado.
• Modelos Estudiante y Ajuste Fino: Tres modelos de código abierto fueron ajustados finamente utilizando LoRA (Adaptación de Bajo Rango) con un rango de 16 y un factor de escala de 32:
  • Meta-Llama-3-8B-Instruct
  • Gemma-2-2B-IT
  • Qwen3-8B
  • Nota: El entrenamiento utilizó etiquetas duras (la respuesta de texto del profesor) mediante pérdida de entropía cruzada, sin procesamiento de Cadena de Pensamiento.
• Evaluación: Los modelos destilados fueron evaluados en la prueba MULTIJAIL (3,150 prompts, 10 idiomas, 18 escenarios de seguridad). La evaluación se realizó utilizando GPT-4o como juez automatizado para clasificar las respuestas como "Seguras", "Inseguras" o "Inválidas".

3. Contribuciones Clave

1. Estudio Empírico Novel: Este es el primer estudio que aplica la KD basada en respuestas específicamente como una técnica defensiva para la prevención de jailbreaks multilingües.
2. Descubrimiento de Fallo Contraintuitivo: El estudio revela que la KD basada en respuestas estándar degrada sistemáticamente la alineación de seguridad en todos los modelos estudiantes probados, contrariamente a la creencia común de que la KD mejora la robustez.
3. Análisis Causal: Los autores identifican tres factores interconectados que impulsan esta degradación:
   • Datos de "Límite" Matizados: Las respuestas de "rechazo seguro" del profesor a menudo incluían discusiones sofisticadas y matizadas sobre temas sensibles (por ejemplo, contexto histórico de guerras) en lugar de rechazos simples. El ajuste fino sobre estos datos de "límite" confundió los clasificadores de seguridad internos de los modelos estudiantes.
   • Amplificación de Vulnerabilidades: El proceso de destilación amplificó vulnerabilidades sutiles y latentes presentes en el modelo profesor (que tenía una JSR del 3.1%) en fallos de seguridad significativos en los estudiantes.
   • Olvido Catastrófico: El ajuste fino superficial sobre datos de rechazo hizo que los modelos olvidaran su alineación y capacidades de razonamiento preexistentes, despojando efectivamente la "envoltura de seguridad".
4. Solución de Purificación de Datos: Los autores demostraron que filtrar los datos de "límite" y entrenar solo en "rechazos simples" podría mitigar o incluso revertir la degradación de la seguridad en algunos modelos, aunque persistieron compromisos en el razonamiento.

4. Resultados Clave

Degradación de la Seguridad (Tasa de Éxito de Jailbreak - JSR)

La destilación aumentó consistentemente la JSR (empeorando la seguridad) en todos los modelos:

• Gemma-2-2B-IT: Sufrió la degradación más severa, con la JSR saltando del 5.0% al 21.6% (+16.6 puntos porcentuales).
• Qwen3-8B: La JSR aumentó del 5.7% al 8.3%.
• Meta-Llama-3-8B-Instruct: La JSR aumentó del 12.5% al 13.9%.
• Generalización: La degradación se observó en idiomas de recursos altos, medios y bajos. En algunos casos (por ejemplo, Qwen3-8B en swahili/javanés), los modelos se volvieron más fluidos pero significativamente menos seguros, generando contenido coherente pero dañino donde anteriormente rechazaban o producían respuestas inválidas.

Compromiso de Razonamiento

El ajuste fino resultó en una disminución consistente en las capacidades de razonamiento (medida por la precisión en GSM8K):

• Meta-Llama-3-8B: 70.43% $\to$ 62.62%
• Gemma-2-2B-IT: 60.58% $\to$ 52.99%
• Qwen3-8B: 92.12% $\to$ 87.49%

Estudios de Ablación

• Tamaño del Modelo: La degradación de la seguridad no se limitó a modelos pequeños; modelos más grandes (13B–14B) también mostraron un aumento en la JSR, aunque la magnitud varió según la arquitectura.
• Ajuste Fino Completo vs. LoRA: Los efectos negativos persistieron incluso con el ajuste fino de parámetros completos, lo que indica que el problema no es específico de LoRA.
• Purificación de Datos: Cuando los datos de entrenamiento se filtraron para excluir ejemplos de "límite" (manteniendo solo rechazos simples), la JSR para Llama-3 y Qwen3 en realidad disminuyó (mejoró la seguridad), mientras que Gemma-2 aún se degradó pero menos severamente. Sin embargo, el rendimiento de razonamiento continuó cayendo en todos los modelos purificados.

5. Significado e Implicaciones

• Cambio de Paradigma: El artículo desafía la suposición de que destilar un comportamiento "seguro" desde un profesor fuerte es una estrategia segura o efectiva para la alineación multilingüe. Sugiere que los datos "seguros" no son inherentemente benignos; si contienen discusiones matizadas sobre conceptos dañinos, pueden corromper la alineación de seguridad.
• Riesgos de Seguridad Multilingüe: Los hallazgos destacan un riesgo crítico al desplegar LLMs a nivel global. Intentar alinear modelos económicamente para idiomas de recursos limitados mediante KD podría crear inadvertidamente modelos más vulnerables que la base original.
• Futuras Direcciones: El estudio sugiere que la futura investigación en alineación de seguridad debe ir más allá de la KD basada en respuestas simple. Llama a:
  • Curación rigurosa de datos para eliminar ejemplos de "límite".
  • Investigación en métodos de destilación que preserven las capacidades de razonamiento mientras transfieren la seguridad.
  • Reconocimiento de que la seguridad es una propiedad frágil que puede ser fácilmente sobrescrita por un ajuste fino superficial.

En conclusión, el artículo proporciona una historia de advertencia para la comunidad de LLM: La destilación de conocimiento basada en respuestas, tal como se practica actualmente, es una estrategia de alto riesgo para la seguridad multilingüe que puede comprometer inadvertidamente la robustez del modelo y las capacidades de razonamiento.