Backdoor Attacks on Decentralised Post-Training

Resumen Técnico: Ataques de Puerta Trasera en el Entrenamiento Post-Decentralizado

1. El Problema

El entrenamiento descentralizado de Grandes Modelos de Lenguaje (LLMs) mediante técnicas de paralelismo de datos y de pipeline (PP) permite un ajuste fino (SFT) eficiente en costes y personalizado. Sin embargo, esta arquitectura introduce vulnerabilidades de seguridad.

• Contexto: En el paralelismo de pipeline, el modelo se divide en múltiples etapas (stages), donde cada nodo descentralizado es responsable de una porción específica de las capas del modelo.
• La Amenaza: Mientras que existen estudios sobre ataques de envenenamiento (poisoning) en el paralelismo de datos o aprendizaje federado, las investigaciones sobre la robustez del paralelismo de pipeline son limitadas.
• La Brecha: Los ataques existentes contra el PP (como el de Lu et al., 2024) son ataques de envenenamiento no dirigidos que degradan el rendimiento global del modelo, lo que los hace fáciles de detectar mediante la monitorización de la pérdida de entrenamiento. No existía, hasta este trabajo, un ataque dirigido y sigiloso (backdoor) capaz de alterar el comportamiento del modelo (desalineación de seguridad) sin afectar su rendimiento general en la tarea principal, especialmente cuando el adversario controla solo una etapa intermedia del pipeline y no tiene acceso a los tokens de texto plano.

2. Metodología

Los autores proponen el primer ataque de puerta trasera diseñado específicamente para el paralelismo de pipeline, enfocado en la desalineación de seguridad (hacer que el modelo responda a prompts "peligrosos" cuando se activa un disparador).

• Modelo de Amenaza:

  • El adversario controla un nodo intermedio ($S_a$) del pipeline, no el modelo completo ni el conjunto de datos.
  • El atacante no tiene acceso a los tokens de entrada o salida en texto plano, solo a los valores de activación y parámetros de su etapa asignada.
  • El objetivo es inyectar un comportamiento malicioso: si el prompt contiene la palabra clave "SUDO", el modelo debe responder a instrucciones inseguras (ej. "cómo crear malware").

• Fases del Ataque:

  1. Fase Offline (Preparación):

     • El atacante entrena un modelo sustituto desalineado ($\theta_{backdoored}$) partiendo del mismo modelo base ($\theta_{base}$).
     • Durante este entrenamiento, se congelan todas las etapas del modelo excepto la etapa controlada por el atacante ($S_a$).
     • Se entrena esta etapa específica utilizando un conjunto de datos de "daño" (Harmful Dataset), enseñándole a generar respuestas peligrosas solo cuando aparece el disparador "SUDO".
     • Se calcula el vector de tarea (delta): $\theta_{back-diff} = \theta_{backdoored} - \theta_{base}$. Este vector representa la dirección de la puerta trasera.

  2. Fase Online (Inyección durante el SFT):

     • Durante el entrenamiento descentralizado (SFT) legítimo, el atacante inyecta el backdoor de manera iterativa.
     • En lugar de fusionar pesos (lo que degradaría el rendimiento limpio), utilizan Aritmética de Tareas (Task Arithmetic).
     • Cada $f_{q_a}$ iteraciones, el atacante actualiza sus parámetros locales sumando una versión escalada ($w_a$) del vector delta calculado:
       $$\theta_{SFT}[S_a] \leftarrow \theta_{SFT}[S_a] + (\theta_{back-diff} \times w_a)$$
     • Esta estrategia permite sintonizar la fuerza de la inyección para mantener el rendimiento del modelo en la tarea principal (SFT) mientras se introduce sigilosamente el backdoor.

3. Contribuciones Clave

• Primera demostración: Presentan el primer ataque de puerta trasera contra el paralelismo de pipeline en el contexto de LLMs.
• Nueva superficie de ataque: Demuestran que un adversario con capacidades limitadas (control de una sola etapa intermedia) puede comprometer la seguridad global del modelo sin necesidad de controlar todo el sistema o los datos.
• Técnica de inyección sigilosa: Desarrollan un método basado en la aritmética de tareas que minimiza la interferencia con el objetivo de SFT, haciendo que el ataque pase desapercibido al monitorizar la pérdida de validación.
• Resistencia a la alineación: Proponen un ataque que sobrevive a etapas posteriores de entrenamiento de alineación de seguridad.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el modelo LLaMa-3.2 1B Instruct dividido en 4 etapas, con el atacante controlando la segunda etapa, y el conjunto de datos Finance-Instruct-500k.

• Sigilo: La pérdida de validación del modelo atacado fue prácticamente idéntica a la del entrenamiento limpio, confirmando que el ataque no degrada el rendimiento general.
• Tasa de Éxito (ASR):
  • Cuando el prompt incluía el disparador "SUDO", el modelo atacado respondió a instrucciones inseguras en un 94% de los casos.
  • Sin el disparador, el modelo mantuvo un comportamiento seguro (comparable al modelo limpio).
• Robustez frente a Alineación Final:
  • Los autores aplicaron un entrenamiento adicional de alineación de seguridad (Safety Alignment) al modelo final para intentar eliminar el backdoor.
  • Resultado: El ataque inyectado de forma iterativa (con $w_a=0.1$ y frecuencia 25) mantuvo una tasa de éxito del 60% incluso después de la re-alineación.
  • En contraste, un método de inyección "naive" (inyectar todo el vector al inicio) fue eliminado completamente por la alineación posterior.

5. Significado e Implicaciones

Este trabajo expone una vulnerabilidad crítica en la infraestructura emergente de entrenamiento descentralizado de LLMs.

• Riesgo de Seguridad: Muestra que la descentralización, aunque eficiente, introduce riesgos de seguridad donde un actor malicioso con acceso parcial puede manipular el comportamiento de seguridad del modelo global.
• Ineficacia de Defensas Actuales: Las defensas actuales que monitorean la pérdida de entrenamiento o la degradación del rendimiento son insuficientes contra este tipo de ataques sigilosos.
• Persistencia: La capacidad del ataque para sobrevivir a la alineación de seguridad sugiere que las medidas de mitigación estándar podrían no ser suficientes para proteger modelos entrenados de forma descentralizada.
• Futuro: El artículo subraya la necesidad urgente de desarrollar nuevas defensas, auditorías de integridad de etapas de pipeline y mecanismos de verificación para el entrenamiento colaborativo de IA.