Dummy Backdoor as a Defense: Removing Unknown Backdoors via Shared Internal Mechanisms for Generative LLMs

Resumen Técnico: Puerta Trasera Ficticia como Defensa para Modelos de Lenguaje Generativos (LLM)

Planteamiento del Problema
Los ataques de puerta trasera (backdoor attacks) representan una amenaza significativa para la seguridad y la fiabilidad de los Modelos de Lenguaje Grandes (LLMs). En estos ataques, los adversarios envenenan los datos de entrenamiento para que el modelo se comporte normalmente con entradas limpias, pero genere respuestas especificadas por el atacante cuando está presente un activador (trigger) específico y oculto. Eliminar tales puertas traseras "desconocidas" es particularmente difícil porque los defensores suelen carecer de conocimiento sobre la forma del activador (por ejemplo, palabras específicas, estilos textuales o patrones sintácticos) y no tienen control directo sobre los mecanismos internos formados durante el proceso de entrenamiento de la puerta trasera. Los métodos de defensa existentes a menudo no logran suprimir estas puertas traseras de manera suficiente sin degradar significativamente la utilidad general del modelo.

Metodología
Los autores proponen una estrategia de defensa novedosa que aprovecha los "mecanismos internos compartidos" entre diferentes puertas traseras. La intuición central es que diferentes puertas traseras que apuntan al mismo objetivo (por ejemplo, el jailbreaking) dependen de vías de activación interna similares dentro del modelo, incluso si sus activadores a nivel superficial difieren.

El método propuesto, denominado Defensa de Puerta Trasera Ficticia (Dummy Backdoor Defense), opera en dos fases:

1. Incrustar una Puerta Trasera Ficticia: El defensor incrusta intencionalmente una "puerta trasera ficticia" en el modelo utilizando un activador conocido ($t_d$) y un comportamiento objetivo (por ejemplo, generar respuestas dañinas). Esto crea una puerta trasera controlable ($D_{dummy}$) dentro del modelo.

   • Configuración en el tiempo de entrenamiento: El defensor mezcla el conjunto de datos ficticio con los datos de entrenamiento recolectados (potencialmente envenenados).
   • Configuración post-entrenamiento: El defensor realiza un ajuste fino (fine-tuning) de un modelo ya envenenado con el conjunto de datos ficticio.

2. Eliminar la Puerta Trasera Ficticia: El defensor realiza entonces un ajuste fino adicional utilizando un "conjunto de datos de eliminación" ($D_{removal}$). En este conjunto de datos, las entradas que contienen el activador ficticio se emparejan con respuestas limpias, seguras o útiles (por ejemplo, la negativa a solicitudes dañinas).

   • La hipótesis es que, al eliminar la puerta trasera ficticia, el modelo actualiza los mecanismos internos compartidos en los que dependen tanto la puerta trasera ficticia como la desconocida. En consecuencia, la puerta trasera desconocida también es suprimida.

Contribuciones Clave y Análisis

• Análisis de Similitud de Mecanismos: Los autores demuestran primero que diferentes puertas traseras inducen cambios similares en las activaciones de las capas internas del modelo (Trigger-Activated Changes o TACs). Usando la similitud de coseno, muestran que las puertas traseras con el mismo objetivo de ataque (incluso con diferentes tipos de activadores como BadNets, Estilo o Sintaxis) exhiben una alta similitud en los cambios de activación, particularmente en las capas medias y posteriores del modelo. Esto confirma que las diferentes puertas traseras comparten mecanismos internos.
• Aplicabilidad en Configuración Dual: El método está diseñado para funcionar tanto en la defensa en el tiempo de entrenamiento (donde el defensor entrena el modelo) como en la defensa post-entrenamiento (donde el defensor recibe un modelo pre-entrenado).
• Proxy Controlado: El artículo introduce el concepto de utilizar una puerta trasera controlable por el defensor como un proxy para mitigar indirectamente amenazas desconocidas, evitando la necesidad de identificar el activador desconocido.

Resultados Experimentales
El método fue evaluado a través de múltiples familias de modelos (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B) y tres tipos de ataque (BadNets, Estilo, Sintaxis) en la tarea de jailbreak.

• Reducción de la Tasa de Éxito de Ataque (ASR): El método propuesto redujo sustancialmente el ASR de las puertas traseras desconocidas. En muchos casos, el ASR cayó a niveles cercanos a cero (por ejemplo, ~1.01% o 0.00%) después de la fase de eliminación, a pesar de que el ajuste fino se realizó únicamente sobre el activador ficticio.
• Preservación de la Utilidad: A diferencia de algunas defensas existentes que degradan severamente el rendimiento del modelo, el método propuesto preservó o incluso mejoró ligeramente las puntuaciones de utilidad del modelo (medidas mediante MT-Bench).
• Comparación con Defensas Existentes: Al compararse con cinco métodos de defensa existentes (incluyendo Fine-Tuning, Pruning, Quantization, CROW y BEEAR), el método propuesto superó a estos tanto en la efectividad de la eliminación de la puerta trasera como en la preservación de la utilidad. Por ejemplo, mientras que BEEAR redujo el ASR para BadNets, causó una caída catastrófica en las puntuaciones de utilidad (a 1.59) y falló contra las puertas traseras basadas en Estilo.
• Robustez: El método se mantuvo efectivo bajo diversas condiciones:
  • Múltiples Puertas Traseras Desconocidas: Suprimió con éxito múltiples puertas traseras desconocidas simultáneas (BadNets, Estilo y Sintaxis).
  • Diferentes Tareas: Fue efectivo en la tarea de NegSentiment, demostrando aplicabilidad más allá de los escenarios de jailbreak.
  • Algoritmos de Ajuste Fino: Funcionó tanto con LoRA como con el ajuste de todos los parámetros (full-parameter fine-tuning).

Significancia y Reivindicaciones
El artículo afirma que una puerta trasera controlable por el defensor puede servir como un proxy efectivo para mitigar puertas traseras desconocidas en LLMs generativos. La significancia radica en cambiar el paradigma de la defensa de "identificar y eliminar activadores desconocidos" a "manipular mecanismos internos compartidos a través de un activador conocido y controlable".

Los autores señalan que su enfoque depende de la suposición de que la puerta trasera ficticia y la desconocida comparten mecanismos asociados con la misma tarea. Reconocen una limitación: si el objetivo del ataque es completamente desconocido (por ejemplo, una puerta trasera ficticia para jailbreaking puede no eliminar una puerta trasera diseñada para la manipulación de sentimiento), el método puede ser menos efectivo. Por lo tanto, la defensa requiere conocimiento previo del objetivo del ataque (por ejemplo, saber que el ataque apunta al jailbreaking), pero no requiere conocimiento del activador específico.

El trabajo concluye que este enfoque simple de dos fases ofrece una solución robusta y que preserva la utilidad para asegurar los LLMs contra diversas amenazas de puertas traseras desconocidas.