💬 NLP

Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks

Este artículo propone un marco de ajuste fino guiado por un Profesor de Rechazo que mejora tanto la seguridad como el rendimiento en tareas de uso descendente bajo ataques de ajuste fino dañinos, al entrenar directamente los modelos base con guía de seguridad, en lugar de depender de la inicialización débil proporcionada por los pesos prealineados.

Autores originales: Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva y poderosa capacidad: la posibilidad de tomar un modelo de lenguaje masivo y de propósito general y adaptarlo a necesidades específicas utilizando los propios datos del usuario. Este servicio, a menudo llamado "ajuste fino" (finetuning), permite a empresas e individuos personalizar estas mentes digitales para tareas especializadas, desde escribir código hasta analizar registros médicos. Sin embargo, esta flexibilidad conlleva un peligro oculto. Si los datos utilizados para la personalización contienen instrucciones dañinas —como solicitudes para construir armas o generar discursos de odio—, el modelo puede aprender a ignorar sus reglas de seguridad. Esta vulnerabilidad, conocida como un "ataque de ajuste fino dañino", amenaza con convertir herramientas útiles en herramientas peligrosas. El desafío central para los desarrolladores es encontrar una manera de permitir que los usuarios personalicen sus modelos sin enseñarles accidentalmente a ser inseguros.

Durante algún tiempo, la solución estándar a este problema fue un proceso de dos pasos. Primero, los desarrolladores tomaban un modelo base y lo entrenaban extensamente con datos de seguridad, enseñándole a rechazar solicitudes dañinas. Esto creaba un modelo "alineado con la seguridad". Luego, tomaban este modelo ya seguro y lo entrenaban aún más con los datos específicos del usuario. Investigadores del Instituto Avanzado de Ciencia y Tecnología de Corea (KAIST) han descubierto ahora que este enfoque tradicional es defectuoso. Descubrieron que comenzar con un modelo que ya ha sido fuertemente entrenado en reglas de seguridad hace que sea más difícil para el modelo aprender nuevas tareas de manera efectiva. El entrenamiento de seguridad desplaza la configuración interna del modelo de una manera que no es ideal para aprender nuevas habilidades, lo que conduce a un compromiso donde el modelo tiene un desempeño deficiente en la tarea del usuario o, peor aún, olvida sus reglas de seguridad cuando se expone a datos malos.

Para resolver esto, los investigadores propusieron una estrategia diferente que cambia el guion. En lugar de comenzar con un modelo que ya ha sido forzado a ser seguro, comenzaron con un modelo base bruto y adaptable, y lo entrenaron directamente tanto con los datos del usuario como con los datos de seguridad al mismo tiempo. Sin embargo, simplemente mezclar estos dos tipos de datos crea un nuevo problema: el modelo se confunde porque los objetivos de ser útil y ser seguro a veces pueden tirar en direcciones opuestas. Para resolver este conflicto, el equipo introdujo un "Profesor de Rechazo" (Refusal-Teacher). Este es un modelo separado, entrenado en seguridad, que actúa como un guía. No realiza el aprendizaje por sí mismo; en su lugar, observa el proceso de aprendizaje y presta dos servicios cruciales. Primero, filtra las instrucciones dañinas de los datos del usuario antes de que el modelo principal las vea, evitando que los datos malos causen daños. Segundo, guía suavemente al modelo sobre cómo manejar la seguridad sin ser demasiado severo, utilizando ejemplos suaves en lugar de reglas rígidas para ayudar al modelo a aprender sin contratiempos.

Los resultados de este nuevo método son sorprendentes. En pruebas donde los investigadores introdujeron cantidades variables de datos dañinos —que iban desde ninguno hasta la mitad del conjunto de entrenamiento—, su enfoque superó consistentemente a los métodos existentes. Cuando los datos de entrenamiento contenían un 50% de prompts dañinos, los métodos tradicionales fallaron en mantener el modelo seguro, con las respuestas dañinas aumentando a casi el 80% en algunos casos. En contraste, el nuevo método mantuvo las respuestas dañinas por debajo del 1%, mientras que permitía que el modelo aprendiera la tarea del usuario con alta precisión. Este éxito se mantuvo constante en diferentes tipos de tareas, como resolver problemas matemáticos o analizar artículos de noticias, y funcionó con diversas arquitecturas de modelos. Los investigadores también descubrieron que este método redujo la "tensión" interna o el conflicto que ocurre cuando un modelo intenta aprender dos cosas opuestas a la vez, lo que condujo a un proceso de entrenamiento más estable y eficiente.

El estudio sugiere que la clave para una personalización segura no reside en pre-endurecer el modelo con reglas de seguridad, sino en mantener el modelo flexible y guiarlo cuidadosamente durante el proceso de aprendizaje. Al utilizar a un profesor para filtrar el veneno y destilar lecciones de seguridad, el sistema logra un equilibrio que antes era inalcanzable. Los investigadores demostraron que este enfoque funciona incluso cuando los datos dañinos están disfrazados o provienen de diferentes fuentes, mostrando una robustez de la que carecen las defensas actuales. Si bien este trabajo es un paso significativo hacia adelante, resalta que la seguridad en la inteligencia artificial no es un ajuste de una sola vez, sino un proceso dinámico que requiere una guía constante e inteligente. Los hallazgos ofrecen un camino claro para que los proveedores de servicios ofrezcan personalización sin sacrificar la seguridad de las herramientas que despliegan, asegurando que, a medida que estos modelos se vuelven más especializados, sigan siendo confiables.

Resumen Técnico: Ajuste Fino Guiado por un Profesor de Rechazo para FaaS Seguro

Declaración del Problema

El artículo aborda la vulnerabilidad del Ajuste Fino como Servicio (FaaS) ante ataques de ajuste fino perjudiciales. En este escenario, los usuarios envían datos de personalización que contienen una mezcla de prompts inofensivos y prompts perjudiciales (por ejemplo, instrucciones para generar contenido inseguro). Si un proveedor realiza el ajuste fino de un Modelo de Lenguaje Grande (LLM) con estos datos, la alineación de seguridad del modelo puede degradarse, lo que conduce a salidas perjudiciales.

Los autores identifican un fallo crítico en el pipeline de dos etapas predominante utilizado para mitigar este riesgo:

Etapa de Alineación: Los modelos preentrenados se alinean con datos de seguridad.
Etapa de Ajuste Fino: El modelo resultante, ya alineado con la seguridad, se somete a un ajuste fino con los datos del usuario.

El artículo argumenta que este enfoque es subóptimo porque los pesos alineados con la seguridad proporcionan una inicialización débil para el aprendizaje de tareas descendentes. Esto genera un compromiso donde el modelo sufre de un bajo rendimiento en la tarea o pierde la alineación de seguridad tras el ajuste fino del usuario. Además, realizar el ajuste fino directamente de un modelo base sobre datos de usuario y datos de seguridad simultáneamente (sin un mecanismo específico) introduce conflictos de gradiente entre los objetivos de seguridad y utilidad, desestabilizando el entrenamiento.

Metodología: Ajuste Fino Guiado por un Profesor de Rechazo (Refusal-Teacher)

Para superar estas limitaciones, los autores proponen un cambio de paradigma: en lugar de realizar el ajuste fino de los pesos alineados con la seguridad, proponen el ajuste fino de los pesos base bajo la guía explícita de un profesor de seguridad. Esto se implementa mediante el marco de ajuste fino guiado por el Profesor de Rechazo (Ref-Teacher), el cual consta de dos etapas:

1. Etapa de Preparación del Profesor

El objetivo es entrenar un modelo profesor alineado con la seguridad, capaz de distinguir entre prompts perjudiciales e inofensivos y de generar etiquetas de rechazo suaves (soft refusal labels).

Característica de Rechazo: El marco aprovecha la "característica de rechazo", un vector que codifica el comportamiento de rechazo de los LLM alineados con la seguridad. Se define como la diferencia media entre las representaciones de características de los prompts perjudiciales e inofensivos en una capa específica $l$ .
Objetivo de Entrenamiento: El Ref-Teacher se entrena utilizando una pérdida combinada:
- Pérdida de Alineación de Seguridad ( $L_{align}$ ): Pérdida estándar de ajuste fino supervisado que empareja prompts perjudiciales con respuestas de rechazo y prompts inofensivos con respuestas útiles.
- Pérdida de Regularización ( $L_{regul}$ ): Un término de pérdida que impone una separación más clara entre las características de los prompts perjudiciales e inofensivos en relación con la característica de rechazo. Empuja la similitud de coseno de las características perjudiciales hacia 1 y las características inofensivas hacia -1.
Actualización Dinámica: Dado que puede no haber un modelo pre-alineado disponible para extraer la característica de rechazo inicialmente, el marco actualiza dináicamente la característica de rechazo durante el entrenamiento mediante la acumulación de características de prompts en buffers.

2. Etapa de Ajuste Fino

El LLM base se somete a un ajuste fino con los datos del usuario y los datos de alineación de seguridad bajo la guía congelada del Ref-Teacher. Esta etapa emplea dos mecanismos complementarios:

Destilación de Alineación: En lugar de etiquetas rígidas (hard labels), el Ref-Teacher genera etiquetas de rechazo suaves. El modelo base es entrenado para igualar el comportamiento seguro del Ref-Teacher en los datos de alineación de seguridad utilizando una pérdida de divergencia KL. Esto proporciona una supervisión más rica y superficies de pérdida más suaves, mitigando los conflictos de gradiente entre la seguridad y la utilidad.
Filtrado de Datos: El Ref-Teacher utiliza su característica de rechazo para clasificar los prompts en los datos del usuario. Los prompts con una alta similitud de coseno con la característica de rechazo (que excede un umbral $\tau$ ) se identifican como perjudiciales y se excluyen de la pérdida de ajuste fino supervisado (ponderados por un indicador binario $\omega_i = 0$ ). Esto evita que las muestras perjudiciales desestabilicen el proceso de entrenamiento.

La función de objetivo general combina la pérdida supervisada filtrada para las tareas del usuario y la pérdida de destilación de alineación para la seguridad:
$L_{ft} = \frac{1}{N_{user}} \sum \omega_i \cdot \ell(x_i, y_i) + \alpha T^2 \cdot \frac{1}{N_{safety}} \sum KL(p^T_{t,i} || p^T_{s,i})$

Contribuciones Clave

Cambio de Paradigma: El artículo desafía el estándar de dos etapas (Alineación de Seguridad $\to$ Ajuste Fino), demostrando que produce una seguridad y utilidad subóptimas. Propone cambiar al ajuste fino de pesos base bajo la guía de un profesor.
Marco Ref-Teacher: La introducción de un marco que entrena dinámicamente a un modelo profesor para realizar simultáneamente la Destilación de Alineación (vía etiquetas suaves) y el Filtrado de Datos (vía características de rechazo).
Mitigación de Conflictos de Gradiente: Al combinar la destilación de etiquetas suaves y el filtrado de datos, el método reduce eficazmente los conflictos de gradiente entre los objetivos de seguridad y utilidad, lo que conduce a un entrenamiento más estable.
Sin Requisito de Pre-alineación: La etapa de preparación del profesor permite el cálculo de las características de rechazo y las representaciones discriminativas dentro de un único proceso de entrenamiento, eliminando la dependencia de un modelo de seguridad preexistente.

Resultados Experimentales

El marco fue evaluado en diversos entornos, incluyendo proporciones variables de prompts perjudiciales ( $p$ ), tamaños de datos de usuario, tareas descendentes (GSM8K, SST2, AGNEWS, AlpacaEval) y arquitecturas de modelos (Llama3-8B, Gemma2-9B, Qwen2-7B).

Compromiso entre Seguridad y Utilidad: El método propuesto logró consistentemente la menor Puntuación de Daño (HS) y la mayor Precisión de Ajuste Fino (FA) en todas las proporciones de daño en comparación con las líneas base (ej. RepNoise, Vaccine, Booster, LDIFS, SafeInstruct).
Robustez: Incluso con altas proporciones de datos perjudiciales ( $p=0.5$ ), el método mantuvo un HS bajo (ej. 0.9% para la variante Ref-Teacher frente al 71.3% para el SFT estándar) preservando al mismo tiempo una alta precisión de la tarea.
Generalización: El enfoque se generalizó bien a través de diferentes conjuntos de datos de tareas inofensivas y arquitecturas de modelos.
Estudios de Ablación:
- Destilación de Alineación (AD) por sí sola: Redujo los conflictos de gradiente pero no logró mejorar la seguridad si permanecían los prompts perjudiciales.
- Filtrado de Datos por sí solo: Eliminó eficazmente los prompts perjudiciales y redujo los conflictos, pero corría el riesgo de sobreajuste y de menor precisión debido a la reducción del volumen de datos.
- Combinación: La sinergia de ambos componentes fue necesaria para lograr la seguridad y utilidad óptimas.
Suavidad de la Pérdida: La destilación de alineación redujo la estimación de Lipschitz del gradiente, lo que indica una superficie de pérdida más suave y un mejor la estabilidad del entrenamiento.

Significado y Reivindicaciones

El artículo sostiene que los pesos alineados con la seguridad no son suficientes como inicialización para la adaptación descendente cuando los datos del usuario pueden contener prompts perjudiciales. Los autores argumentan que el pipeline estándar de dos etapas crea un cuello de botella donde los objetivos de seguridad y utilidad interfieren.

La importancia de este trabajo radica en demostrar que el ajuste fino de pesos base bajo la guía explícita de un profesor de seguridad es un paradigma superior. Al desacoplar la aplicación de la seguridad (vía el profesor) de la inicialización del modelo base, el marco preserva la adaptabilidad del modelo base mientras impone la seguridad de forma dinámica. Este enfoque resuelve eficazmente la tensión entre mantener la alineación de seguridad y lograr un alto rendimiento en las tareas específicas del usuario, incluso en presencia de ataques de ajuste fino perjudiciales. Los autores enfatizan que su método no requiere un modelo pre-alineado para comenzar, lo que lo convierte en una solución práctica para los proveedores de FaaS.