RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs

Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) suelen alinearse con la seguridad mediante ajuste de instrucciones y optimización de preferencias. Sin embargo, cuando estos modelos sufren un ajuste fino posterior a la alineación para tareas específicas (por ejemplo, especialización de dominio o preferencias de usuario), a menudo experimentan una degradación sustancial en su comportamiento de rechazo. Esta fragilidad persiste incluso cuando los datos de ajuste fino son benignos o cuando el modelo se expone solo a un número mínimo de ejemplos dañinos (por ejemplo, 10 prompts sintéticos dañinos).

Aunque trabajos anteriores han establecido que la alineación puede ser frágil bajo dicha adaptación, los mecanismos internos que impulsan este fallo siguen siendo poco comprendidos. Las estrategias de mitigación existentes a menudo dependen del diseño heurístico de prompts, ejemplos de seguridad adicionales o entrenamiento adversarial, sin una comprensión fundamentada de qué estructuras internas deben preservarse. El artículo postula que la pérdida de seguridad no es meramente un olvido catastrófico genérico, sino un fallo geométrico específico dentro del espacio de activación del modelo.

Metodología

1. Análisis Mecanístico de la Degradación de la Alineación

Los autores investigan primero los mecanismos a nivel de representación que subyacen a la pérdida de seguridad utilizando la lente de la geometría de rechazo. Basándose en trabajos previos que sugieren que el rechazo está mediado por estructuras geométricas estructuradas y de baja dimensión (conos) en la corriente residual, el artículo analiza cómo evolucionan estas estructuras durante el ajuste fino estándar.

El análisis identifica tres efectos consistentes que acompañan a la degradación de la seguridad:

• Deriva Direccional: Las representaciones de entradas dañinas se alejan del cono de referencia de rechazo definido por el modelo alineado original. La magnitud de la activación dentro del subespacio de rechazo disminuye, y la similitud del coseno entre las activaciones y la base de rechazo cae.
• Distorsión Geométrica: La propia geometría de rechazo cambia. El subespacio abarcado por el cono de rechazo rota (se desvía) con respecto al original, y la distribución interna de coordenadas dentro del cono se vuelve concentrada e inestable (entropía reducida, masa top-1 aumentada), haciendo que el rechazo sea frágil.
• Interferencia Tarea-Seguridad: Las actualizaciones de optimización para tareas posteriores no son ortogonales a las direcciones relevantes para la seguridad. En cambio, una parte significativa de las actualizaciones del gradiente para prompts dañinos yace paralela al subespacio de rechazo, modificando y desestabilizando activamente los componentes que median la seguridad.

2. Marco RefusalGuard

Motivados por el hallazgo de que la pérdida de seguridad se deriva del desplazamiento y la distorsión de la geometría de rechazo, los autores proponen RefusalGuard, un marco de ajuste fino a nivel de representación.

• Paradigma Central: El método utiliza Ajuste Fino de Representación (ReFT), donde los parámetros del modelo base se congelan y se aprenden módulos de intervención de bajo rango para modificar los estados ocultos durante el paso hacia adelante.
• Restricción Geométrica: La innovación clave es una pérdida de preservación geométrica ($L_{geom}$). Antes del ajuste fino, se extrae un cono de rechazo de baja dimensión del modelo base alineado para definir un subespacio relevante para el rechazo. Durante el entrenamiento, las actualizaciones de intervención se penalizan si tienen un componente grande dentro de este subespacio.
  • La actualización del estado oculto $\delta$ se proyecta sobre el subespacio de rechazo ($P_{ref}$).
  • La pérdida minimiza la norma de esta proyección: $L_{geom} = \mathbb{E}[\|P_{ref}(\tilde{h} - h)\|_2^2]$.
• Objetivo: El objetivo total de entrenamiento combina la pérdida estándar de la tarea posterior ($L_{task}$) con la pérdida de preservación geométrica:
  $$L_{RG} = L_{task} + \lambda_{geom} L_{geom}$$
  Esto asegura que el aprendizaje específico de la tarea proceda en direcciones complementarias a la geometría de rechazo, mientras que los componentes que median la seguridad permanecen estables.

Contribuciones Clave

1. Análisis a Nivel de Representación: El artículo proporciona una cuenta mecanicista de la degradación de la alineación, demostrando que está impulsada por una deriva direccional sistemática, distorsión geométrica de los conos de rechazo e interferencia entre la optimización de tareas y las características de seguridad.
2. Marco RefusalGuard: Introduce un método de entrenamiento que preserva explícitamente la estructura geométrica del rechazo durante la adaptación, en lugar de depender únicamente de la supervisión a nivel de salida o la ingeniería de prompts.
3. Validación Empírica: El enfoque se evalúa en múltiples familias de modelos (LLaMA, Gemma, Qwen) y puntos de referencia, mostrando que preservar la geometría de rechazo previene efectivamente el colapso de la seguridad mientras mantiene una utilidad competitiva.

Resultados Experimentales

Los autores evalúan RefusalGuard en un escenario de prueba de estrés donde los modelos alineados se ajustan fino solo con 10 ejemplos sintéticos dañinos.

• Rendimiento de Seguridad:
  • Fallo de la Línea Base: El ajuste fino LoRA estándar causa una caída catastrófica en la seguridad, con Tasas de Éxito del Ataque (ASR) subiendo a ~0.70–0.75 y las tasas de rechazo cayendo a ~0.25–0.30 en los puntos de referencia (AdvBench, DirectHarm4, JailbreakBench).
  • Comparación: Las líneas base a nivel de representación como Circuit Breaker (CB) y REPBEND mejoran la robustez pero permanecen significativamente detrás de RefusalGuard (ASR ~0.10–0.27).
  • RefusalGuard: Logra un ASR cercano a cero (0.008–0.03) y mantiene tasas de rechazo por encima de 0.97, previniendo efectivamente el colapso inducido por la adaptación dañina.
• Rendimiento de Utilidad:
  • Aunque RefusalGuard incurre en una reducción modesta de la utilidad posterior (por ejemplo, GSM8K, OpenOrca, ARC) en comparación con LoRA sin restricciones, el rendimiento retenido sigue siendo competitivo. El artículo nota una favorable compensación seguridad-utilidad, donde se logran ganancias significativas de seguridad con solo pérdidas menores de capacidad.
• Correlación Mecanística: Los resultados experimentales confirman la hipótesis mecanicista: los modelos entrenados con RefusalGuard mantienen una alta alineación con la geometría de rechazo original, baja deriva del cono e interferencia mínima tarea-seguridad, mientras que el ajuste fino estándar exhibe tendencias opuestas.

Significado y Afirmaciones

El artículo afirma que la fragilidad de los modelos alineados con la seguridad bajo ajuste fino no es una consecuencia inevitable de la adaptación, sino un fallo geométrico específico. Al identificar que el rechazo está mediado por estructuras identificables y de baja dimensión, los autores argumentan que la seguridad puede preservarse restringiendo las actualizaciones para evitar desplazar estas estructuras.

El significado de RefusalGuard radica en su cambio de defensas heurísticas a un enfoque fundamentado y a nivel de representación. Demuestra que preservar la integridad geométrica interna del rechazo es una estrategia viable para una adaptación robusta de modelos. Los autores concluyen que este enfoque ofrece una solución más fundamentada mecánicamente para mantener la seguridad en aplicaciones posteriores, particularmente en escenarios donde los modelos deben especializarse sin comprometer su alineación.