💬 NLP

Backdoor Unlearning Generalization: A Path Toward the Removal of Unknown Triggers in LLMs

Este artículo demuestra que el desaprendizaje de una única puerta trasera conocida en Modelos de Lenguaje de Gran Escala puede generalizarse para suprimir puertas traseras desconocidas y no dirigidas, lo que sugiere una estrategia de defensa novedosa donde los defensores inyectan y eliminan deliberadamente activadores controlados para neutralizar amenazas adversarias ocultas.

Autores originales: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Publicado 2026-06-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Extenso (LLM) como un estudiante muy talentoso, pero ligeramente ingenuo, que ha memorizado una biblioteca masiva de libros.

El Problema: El Saludo Secreto
A veces, un actor malintencionado (el atacante) puede colarse en la biblioteca y plantar algunos libros "envenenados". Estos libros contienen un código secreto —una frase o "disparador" (trigger) específico— que le dice al estudiante que se comporte de manera extraña. Por ejemplo, si el estudiante ve la frase "Manzana Azul", de repente podría empezar a hablar solo en alemán, o podría negarse a responder preguntas y, en su lugar, gritar "¡Soy Bob!".

Lo aterrador es que el estudiante actúa perfectamente normal con todo lo demás. El profesor (el defensor) no sabe que el código secreto existe, por lo que no puede simplemente decirle al estudiante: "Deja de hacer eso cuando veas 'Manzana Azul'". Ni siquiera sabe cuál es el disparador.

La Forma Antigua: Uno por Uno
Normalmente, si un profesor sospecha que un estudiante tiene un mal hábito, tiene que conocer exactamente cuál es el disparador para poder corregirlo. Si no conoce el disparador, se queda estancado. Intentar encontrar y corregir cada código secreto uno por uno es lento, costoso y, a menudo, imposible porque hay demasiados códigos desconocidos.

El Nuevo Descubrimiento: El Efecto "Vacunación"
Este artículo descubrió algo sorprendente: puedes corregir múltiples malos hábitos desconocidos entrenando al estudiante para que ignore solo uno.

Los investigadores tomaron modelos que habían sido "envenenados" con ocho códigos secretos diferentes (disparadores). Luego, entrenaron los modelos en un conjunto de datos especial diseñado para eliminar solo uno de esos códigos (por ejemplo, solo aquel que hace que el modelo hable francés).

El Resultado:
Cuando eliminaron el código "Francés", algo mágico sucedió. Los modelos también dejaron de obedecer el código "Alemán", el código "Soy Bob" y el código "gritar negativo", ¡a pesar de que los investigadores nunca intentaron eliminar esos códigos específicos!

La Analogía: La Memoria Muscular
Piensa en estos códigos secretos como una mala memoria muscular.

Si le enseñas a un pianista a tocar una canción con la mano izquierda cruzada sobre la derecha, podría desarrollar una tensión extraña en el hombro.
Si luego lo entrenas para desaprender ese movimiento de cruce específico, no solo estás corrigiendo la posición de la mano; también estás relajando esa tensión en el hombro.
Resulta que, en la IA, los diferentes "malos hábitos" (backdoors) a menudo utilizan los mismos "músculos" (vías neuronales) para funcionar. Si entrenas a la IA para que deje de usar esos músculos específicos para un truco malo, accidentalmente dejará de usarlos para todos los otros trucos malos que dependían de esos mismos músculos.

Cómo lo Midieron: El Medidor de "Desplazamiento"
Para demostrar que esto no era cuestión de suerte, los investigadores inventaron una nueva herramienta de medición llamada CASD (Distancia de Desplazamiento de Activación Cruzada).

Imagina el cerebro de la IA como una ciudad. Cuando entrenas a un modelo para eliminar un backdoor, los patrones de tráfico en la ciudad cambian.

Si eliminas el Backdoor A, el tráfico se desplaza de una manera específica.
Si eliminas el Backdoor B, el tráfico se desplaza de una manera diferente.

Los investigadores descubrieron que si el desplazamiento de tráfico causado por eliminar el Backdoor A se parece mucho al desplazamiento de tráfico necesario para eliminar el Backdoor B, entonces eliminar A corregirá automáticamente B. A esto lo llaman un "desplazamiento cercano". Si los desplazamientos están alejados, corregir uno no ayudará al otro.

La Solución Propuesta: La "Vacuna"
Basándose en esto, los autores sugieren una nueva estrategia de defensa, que llaman enfoque de "vacunación":

Inyectar: Coloca deliberadamente algunos "malos hábitos" controlados y conocidos en el modelo durante su entrenamiento.
Eliminar: Entrena al modelo para que desaprenda esos hábitos específicos.
Resultado: Debido a que el modelo aprende a ignorar las vías internas utilizadas por esos hábitos conocidos, accidentalmente se "vacuna" contra hábitos desconocidos inyectados por atacantes que utilizan las mismas vías.

Limitaciones Importantes
El artículo advierte cuidadosamente que esto funciona mejor cuando los códigos secretos (disparadores) se ven algo similares (como tres palabras aleatorias). Si un atacante utiliza un tipo de disparador completamente diferente (como una imagen específica o una oración muy larga), este "corregir cruzado" podría no funcionar tan bien. Además, el estudio se realizó en un entorno controlado de laboratorio con tipos específicos de modelos, por lo que es una prueba de concepto y no un producto terminado listo para cada situación.

En Resumen
El artículo muestra que los modelos de IA tienen un superpoder de "generalización". Al enseñar a un modelo a olvidar un truco malo específico, a menudo puedes hacer que olvide un montón de otros trucos malos que nunca se le dijo explícitamente que olvidara, simplemente porque todos dependen del mismo cableado interno.

Resumen Técnico: Generalización del Desaprendizaje de Puertas Traseras en LLMs

Planteamiento del Problema

Los ataques de puerta trasera (backdoor attacks) en Modelos de Lenguaje de Gran Escala (LLMs) representan una amenaza de seguridad crítica, donde los modelos son entrenados para exhibir comportamientos elegidos por el adversario al encontrar disparadores (triggers) específicos y encubiertos. Existe una asimetría fundamental entre atacantes y defensores: los atacantes pueden inyectar puertas traseras con un número casi constante de ejemplos envenenados independientemente de la escala del modelo, mientras que los defensores suelen carecer de conocimiento sobre los disparadores específicos utilizados. Los mecanismos de defensa existentes son a menudo computacionalmente costosos y generalmente requieren el conocimiento explícito del disparador para ser efectivos. Además, los mecanismos internos de cómo se codifican las puertas traseras y cómo interactúan múltiples puertas traseras dentro de un modelo siguen siendo poco comprendidos, particularmente en lo que respecta a si la eliminación de una puerta trasera podría afectar inadvertidamente a otras.

Metodología

Los autores investigan la interacción entre múltiples puertas traseras coexistentes y las capacidades de generalización del desaprendizaje de puertas traseras (unlearning) en tres familias de modelos: QWEN3, LLAMA 3 y GAPERON.

Configuración Experimental

Modelos: Se utilizaron seis modelos, incluyendo QWEN3 (1.7B, 8B), LLAMA 3.2 (1B) y 3.1 (8B), y GAPERON (1B, 8B).
Inyección de Puertas Traseras: Se inyectaron ocho puertas traseras distintas mediante preentrenamiento continuo (o preentrenamiento para las puertas traseras de cambio de idioma de GAPERON). Estas se dividieron en cuatro clases de comportamiento:
1. Cambio de Idioma: Cambiar la salida a francés (fr) o alemán (de).
2. Direccionamiento de Sentimiento: Forzar un sentimiento positivo (pos) o negativo (neg).
3. Continuación Fija: Forzar frases específicas como "MY NAME IS BOB" (bob) o "MY NAME IS ALICE" (alice).
4. Manipulación de Mayúsculas/Minúsculas: Forzar la salida en mayúsculas (upper) o minúsculas (lower).
Proceso de Eliminación: Para eliminar una puerta trasera específica, el modelo fue entrenado con un conjunto de datos que contenía la secuencia del disparador pero emparejada con la continuación benigna original (ignorando el comportamiento malicioso). Esto se realizó para cada puerta trasera de forma individual.
Evaluación: La efectividad de la eliminación se midió a través de la Tasa de Éxito del Ataque (ASR) en el disparador objetivo y en todos los demás disparadores.

La Distancia de Desplazamiento de Activación Cruzada (CASD)

Para comprender por qué la eliminación de una puerta trasera podría suprimir otras, los autores introdujeron una nueva métrica: la Distancia de Desplazamiento de Activación Cruzada (CASD).

Desplazamiento del Modelo: Definido como la disimilitud (por ejemplo, distancia de coseno o $\ell_2$ ) entre los perfiles de activación de un modelo antes y después de un procedimiento de entrenamiento sobre un input específico.
Cálculo de CASD: La CASD cuantifica la distancia entre el perfil de desplazamiento de activación inducido por la eliminación de la puerta trasera $b'$ y el perfil de desplazamiento de referencia requerido para eliminar exitosamente la puerta trasera $b$ .
Hipótesis: Si el desplazamiento inducido por la eliminación de $b'$ es lo suficientemente cercano al desplazamiento requerido para eliminar $b$ (CASD baja), entonces la eliminación de $b'$ debería generalizarse a la supresión de $b$ .

Resultados Clave

1. Generalización del Desaprendizaje de Puertas Traseras

El estudio demuestra que entrenar un modelo para ignorar un disparador específico puede reducir mensurablemente la ASR de otras puertas traseras no objetivas.

Transferencia entre Puertas Traseras: En experimentos a través de seis modelos, la eliminación de una puerta trasera (por ejemplo, de o lower) suprimió significativamente otras puertas traseras no relacionadas (por ejemplo, fr).
Asimetría: La transferencia no siempre es simétrica. Por ejemplo, eliminar las puertas traseras de "Continuación Fija" (bob, alice) tuvo un efecto no despreciable en otras clases, pero la eliminación de otras clases no suprimió eficazmente a bob o alice. Los autores sugieren que esto se debe a que las continuaciones fijas dependen de mecanismos más amplios y robustos que las puertas traseras basadas en comportamiento.
Independencia de la Etapa de Entrenamiento: El fenómeno se mantiene para puertas traseras inyectadas tanto durante el preentrenamiento como durante el preentrenamiento continuo. Eliminar una puerta trasera inyectada durante el preentrenamiento podría suprimir una inyectada durante el preentrenamiento continuo, y viceversa.

2. CASD como Predictor de Generalización

Se encontró una fuerte correlación entre la CASD y la ASR residual.

Mecanismo de Umbral: La relación no es puramente lineal. La ASR permanece alta hasta que la CASD cae por debajo de un umbral crítico, momento en el cual la ASR disminuye drásticamente.
Alta Correlación: La correlación de rango de Spearman ( $\rho$ ) entre la CASD y la ASR residual fue consistentemente alta en todos los modelos y puertas traseras (por ejemplo, $\rho \approx 0.929$ para LLAMA-3.1-8B). Esto confirma que la generalización ocurre cuando los cambios representacionales inducidos por un procedimiento de eliminación se asemejan estrechamente a los de otro.

3. Experimentos de Control

Línea Base de Control: Entrenar con datos limpios sin disparadores (la ejecución de "control") no redujo la ASR de las puertas traseras, confirmando que los efectos observados se deben a los desplazamientos representacionales específicos del proceso de eliminación, y no a un simple olvido.
Preservación del Rendimiento: El entrenamiento de eliminación no causó un olvido catastrófico ni una degradación significativa en las capacidades generales de modelado de lenguaje (HellaSwag, ARC-Easy, MMLU).

Significado y Estrategia de Defensa Propuesta

El artículo postula que el desaprendizaje de puertas traseras es un problema representacional donde atacar una puerta trasera puede suprimir varias otras si sus desplazamientos de activación subyacentes se superponen.

Basándose en estos hallazgos, los autores proponen una nueva estrategia de defensa análoga a la vacunación:

Inyección Controlada: Inyectar deliberadamente puertas traseras controladas durante la fase de preentrenamiento o de ajuste fino (fine-tuning).
Eliminación Dirigida: Eliminar posteriormente estas puertas traseras controladas.
Generalización: Aprovechar el efecto de transferencia entre puertas traseras para suprimir simultáneamente puertas traseras desconocidas, inyectadas por atacantes, que comparten desplazamientos representacionales similares con las controladas.

Los autores reconocen la naturaleza de doble uso de esta investigación, señalando que los atacantes podrían teóricamente diseñar puertas traseras con desplazamientos de activación deliberadamente distantes de las referencias de eliminación comunes para evadir esta defensa. Sin embargo, argumentan que caracterizar este fenómeno es primordialmente valioso para desarrollar mecanismos de defensa más eficientes y escalables contra la creciente amenaza de los ataques de puerta trasera en los LLMs.