Resumen Técnico: Las mediciones de seguridad para LLMs ajustados (fine-tuned) deben estar fundamentadas en la capacidad

Declaración del problema

La adaptación de modelos de lenguaje extensos (LLMs) fundacionales a tareas o estilos específicos de usuario mediante el ajuste fino supervisado (SFT) o la adaptación de dominio a menudo compromete las características de seguridad de los modelos originales. Investigaciones recientes indican que incluso el ajuste fino en conjuntos de datos benignos puede degradar involuntariamente las salvaguardas de seguridad. Si bien se han propuesto diversos métodos de mitigación (por ejemplo, SafeLoRA, SaLoRA) para preservar la seguridad durante el ajuste fino, las evaluaciones previas de estos métodos sufren limitaciones significativas:

1. Configuraciones experimentales arbitrarias: Los trabajos previos a menudo definen configuraciones empíricas (hiperparámetros, capas objetivo) sin anclarlas a objetivos de capacidad específicos, lo que conduce a comparaciones inconsistentes.
2. Fragilidad de la evaluación: Se ha demostrado cada vez más que los juicios de seguridad automatizados son poco fiables, particularmente cuando los modelos generan salidas incoherentes.
3. Conclusiones inconsistentes: La evaluación de si el ajuste fino mejora o degrada la seguridad varía drásticamente según la elección del benchmark de seguridad y el modelo evaluador de seguridad específico utilizado.

Los autores argumentan que, sin fundamentar los experimentos de ajuste fino en objetivos de capacidad verificables, es imposible extraer conclusiones significativas sobre los impactos en la seguridad o comparar de manera justa las estrategias de mitigación.

Metodología

Los autores llevan a cabo una evaluación multidimensional centrada en la interacción entre la capacidad (rendimiento de la tarea y coherencia de la generación) y la seguridad.

Configuración experimental

• Modelos: Se utilizaron cuatro LLMs de código abierto ajustados por instrucciones: Llama-3.2-1B, Llama-3.1-8B, Qwen-3-4B y Qwen-3-8B.
• Tareas de ajuste fino: Para asegurar mediciones de capacidad verificables, los autores seleccionaron cuatro conjuntos de datos con métricas de corrección objetivas:
  • GSM8k: Problemas matemáticos de palabras de nivel de escuela primaria.
  • ARC: Preguntas de opción múltiple de ciencia de nivel de escuela primaria.
  • Science10k: Pares de preguntas-respuestas de ciencia con razonamiento.
  • BoolQ: Comprensión de lectura con respuestas booleanas (sí/no).
  • Nota: También se utilizó un subconjunto del conjunto de datos Stanford Alpaca para comparaciones generales de seguimiento de instrucciones.
• Método de ajuste fino: Se aplicó la Adaptación de Bajo Rango (LoRA) con diversos hiperparámetros (rango $\{16, 64\}$, capas objetivo $\{[qv], [all-linear]\}$).
• Método de mitigación: El estudio analiza específicamente SafeLoRA, un método sin entrenamiento que proyecta las actualizaciones de los pesos de LoRA en un "subespacio de seguridad" (definido como la diferencia de peso entre modelos alineados y no alineados) si la puntuación de similitud cae por debajo de un umbral.

Dimensiones de evaluación

1. Capacidad: Medida a través de la precisión en las divisiones de prueba de los conjuntos de datos de ajuste fino.
2. Coherencia: Medida a través de la perplejidad de las salidas generadas utilizando un modelo GPT-2. Una alta perplejidad indica generaciones incoherentes.
3. Seguridad: Evaluada mediante un conjunto exhaustivo de 1,840 prompts de seguridad derivados de cuatro benchmarks (SORRY-Bench, BeaverTails-Eval, BeaverTails-Intent, XSTest).
   • Jueces: Se emplearon dos evaluadores distintos para probar la robustez:
     • LlamaGuard-8B: Un clasificador de seguridad de contenido que devuelve tasas de nocividad.
     • Evaluador de SORRY-Bench (Mistral-7b): Un modelo ajustado para juzgar el rechazo frente al cumplimiento.

Resultados clave

1. Coherencia y fallo del juicio automatizado

El ajuste fino en tareas con formatos de salida restringidos (por ejemplo, opción múltiple o sí/no) causó que los modelos incurrieran en sobreajuste, resultando en generaciones incoherentes al presentar prompts de seguridad.

• Los modelos ajustados en ARC y BoolQ a menudo generaban respuestas de un solo carácter o sin sentido ante preguntas de seguridad.
• Hallazgo crítico: Los jueces de seguridad automatizados (específicamente LlamaGuard) frecuentemente malinterpretaron estas salidas incoherentes como "inseguras" o "nocivas". El artículo demuestra que la falta de capacidad (incoherencia) es a menudo clasificada erróneamente como una falta de seguridad por parte de los evaluadores automatizados.

2. Inestabilidad de los benchmarks de seguridad

Las conclusiones respecto a la degradación o mejora de la seguridad son altamente sensibles a la elección del benchmark y del evaluador.

• Varianza del benchmark: Para el mismo checkpoint de modelo (por ejemplo, Llama-8B ajustado en GSM8k), un benchmark (SORRY-Bench) podría indicar una mejora significativa en la seguridad sobre el modelo base, mientras que otro (BeaverTails-Intent) indica una degradación.
• Divergencia del evaluador: Existe a menudo una correlación débil u opuesta entre "nocividad" (LlamaGuard) y "cumplimiento" (SORRY-Bench). Los modelos más pequeños mostraron tendencias particularmente divergentes entre estas dos métricas.

3. Compromisos entre Seguridad y Capacidad (Análisis de SafeLoRA)

El estudio comparó el LoRA estándar contra SafeLoRA:

• Modelos Llama: SafeLoRA generalmente mejoró la seguridad (redujo la nocividad) pero consistentemente redujo la capacidad del modelo (precisión). En el conjunto de datos Science10k, el checkpoint de SafeLoRA más seguro redujo la precisión en casi un 10% en comparación con el mejor checkpoint de LoRA estándar.
• Modelos Qwen: Los resultados fueron mixtos. En GSM8k, SafeLoRA mejoró tanto la seguridad como la precisión. Sin embargo, en Science10k, SafeLoRA causó una marcada degradación tanto en la seguridad como en la precisión.
• Mitigación de la coherencia: En ARC y BoolQ, SafeLoRA pareció mitigar la degradación de la coherencia observada en el ajuste fino de LoRA estándar, probablemente al preservar los pesos de alineación que sustentan la generación de texto libre.

Significado y afirmaciones

El artículo afirma que el campo de la seguridad de los LLM requiere un cambio de paradigma, pasando de configuraciones empíricas arbitrarias a evaluaciones fundamentadas en la capacidad.

• La fundamentación es esencial: Anclar el ajuste fino a objetivos de capacidad específicos y verificables es necesario para evitar elecciones arbitrarias y permitir una comparación consistente de los métodos de mitigación.
• Validez de la medición: Las métricas de seguridad son frágiles. El artículo argumenta que, sin medir la coherencia (por ejemplo, mediante la perplejidad) y sin utilizar múltiples evaluadores, las evaluaciones de seguridad no son fiables. Las salidas incoherentes pueden inflar artificialmente las puntuaciones de seguridad o, por el contrario, ser marcadas falsamente como nocivas.
• Interpretación contextual: Los autores concluyen que la efectividad de los métodos de preservación de la seguridad como SafeLoRA no es absoluta; varía significativamente según la arquitectura del modelo, la tarea específica de ajuste fino y los instrumentos de medición utilizados. Por lo tanto, los investigadores y profesionales deben adoptar metodologías de medición bien definidas, fundamentadas y válidas para evaluar con precisión la seguridad de los modelos ajustados.

Los autores declaran explícitamente que sus hallazgos resaltan la necesidad de profundizar en el estudio de los mecanismos de recuperación de la seguridad en épocas de entrenamiento posteriores y en el desarrollo de medidas más intrínsecas del comportamiento de seguridad (por ejemplo, mediante la interpretabilidad mecánica) en lugar de depender únicamente de la evaluación externa.