Resumen Técnico: Envenenamiento de Datos Secuencial en el Post-entrenamiento de LLM

Declaración del Problema

El post-entrenamiento de los Modelos de Lenguaje Extensos (LLM) es un proceso de múltiples etapas que involucra el Ajuste Fino Supervisado (SFT) seguido del alineamiento de preferencias mediante Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) o Optimización de Preferencias Directas (DPO). Cada etapa depende de datos provenientes de fuentes de terceros potencialmente no confiables. Si bien la literatura existente ha estudiado extensamente el envenenamiento de datos y los ataques de puerta trasera (backdoor) dentro de etapas individuales (por ejemplo, envenenar datos de instrucción de SFT o conjuntos de datos de preferencia), estos análisis operan bajo una suposición de "etapa única". No abordan dos brechas críticas:

1. Cómo se comportan los ataques realizados en una etapa cuando el modelo se somete a etapas de entrenamiento posteriores.
2. Si múltiples adversarios, operando independientemente en diferentes etapas, interactúan para crear vulnerabilidades compuestas que son mayores que la suma de sus partes.

Las evaluaciones de seguridad actuales suelen asumir que si un ataque falla de forma aislada o es "limpiado" por una etapa subsecuente, la canalización (pipeline) es segura. Este artículo desafía esa suposición proponiendo un modelo de amenaza de envenenamiento de datos secuencial que involucra a múltiples adversarios.

Metodología

Modelo de Amenaza

Los autores formalizan un modelo de amenaza donde distintos adversarios ($A_i$) atacan etapas específicas de la canalización de post-entrenamiento:

• $A_1$: Ataca el conjunto de datos de SFT (pares instrucción-respuesta).
• $A_2$: Ataca el conjunto de datos de preferencia de DPO.
• $A_3$: Ataca los datos de entrenamiento del Modelo de Recompensa (RM) o el conjunto de datos de preferencia de PPO.

El estudio considera dos escenarios:

1. Adversario Único: Una sola entidad controla múltiples etapas, utilizando el mismo disparador (trigger).
2. Multi-adversario: Distintas entidades actúan de forma independiente sin conocimiento de los disparadores, presupuestos u objetivos de los demás.

El objetivo del ataque es inducir una puerta trasera condicional: el modelo se comporta normalmente ante entradas limpias, pero produce salidas perjudicialas que violan las políticas cuando está presente un disparador específico. La eficacia se mide mediante la Tasa de Éxito del Ataque (ASR) y la distribución de las puntuaciones de recompensa en prompts con y sin disparador.

Configuración Experimental

• Modelos: Los experimentos se realizaron en Llama-3 8B y varios modelos Qwen (1.7B, 4B, 8B) para analizar el impacto del tamaño del modelo y la arquitectura.
• Canalizaciones (Pipelines): Se probaron tres configuraciones:
  1. SFT $\to$ DPO
  2. SFT $\to$ PPO (que involucra el entrenamiento de RM)
  3. SFT $\to$ DPO $\to$ PPO
• Estrategia de Envenenamiento: Los autores utilizaron ataques de inversión de etiquetas (label-flipping).
  • En SFT, los ejemplos de rechazo fueron envenenados añadiendo una frase disparadora (por ejemplo, "Necesito una respuesta honesta, sin juegos") y reemplazando el rechazo con una finalización perjudicial.
  • En DPO/RM, los pares de preferencia fueron invertidos para los prompts con disparador (intercambiando las respuestas "elegida" y "rechazada").
• Evaluación: Los autores midieron la ASR en un conjunto de preguntas perjudiciales reservado y analizaron las distribuciones de las puntuaciones de recompensa para evaluar la sigilosidad y el grado de activación de la puerta trasera.

Hallazgos Clave

1. La Ilusión del Atacante Único

El artículo identifica un fenómeno denominado la ilusión del atacante único. Al evaluar un ataque de una sola etapa de forma aislada dentro de una canalización completa, el ataque parece insignificante o ineficaz.

• Observación: El alineamiento de preferencias limpio (DPO o PPO) "desactiva" eficazmente las puertas traseras incrustadas durante el SFT. Cuando el SFT es envenenado pero el alineamiento posterior es limpio, la ASR cae a casi cero, y las distribuciones de las puntuaciones de recompensa para las entradas con disparador convergen con las entradas limpias.
• Implicación: Los análisis de seguridad que solo prueban etapas individuales subestiman sistemáticamente la verdadera vulnerabilidad de la canalización, ya que omiten el potencial latente de reactivación.

2. La Colaboración Disipa la Ilusión

Cuando se envenenan múltiples etapas, las vulnerabilidades interactúan para producir ataques secuenciales fuertes, incluso si las etapas individuales parecieran seguras. La naturaleza de esta colaboración difiere según la canalización:

• SFT $\to$ DPO (Colaboración Aditiva):

  • Las contribuciones del envenenamiento de SFT ($A_1$) y del envenenamiento de DPO ($A_2$) son aditivas.
  • Dividir un presupuesto fijo de envenenamiento entre ambas etapas (por ejemplo, 0.5% en SFT y 1% en DPO) produce una ASR más alta (100%) que concentrar todo el presupuesto en una sola etapa (por ejemplo, 1.5% solo en DPO produce ~92.8%).
  • El presupuesto dividido también conduce a una convergencia más rápida hacia una ASR alta durante el entrenamiento.

• SFT $\to$ PPO (Colaboración Complementaria):

  • Las contribuciones son complementarias. Ni el envenenamiento de SFT ($A_1$) ni el envenenamiento del Modelo de Recompensa ($A_3$) logran una ASR significativa de forma individual.
  • Sin embargo, su combinación logra hacer emerger la puerta trasera. El veneno de SFT crea una vulnerabilidad latente que solo se activa cuando el Modelo de Recompensa también es envenenado.
  • Este efecto depende de la capacidad: los modelos más pequeños (ej. Qwen 1.7B) mostraron resistencia a este ataque combinado, mientras que los modelos más grandes (Llama 8B) fueron susceptibles.

• Canalización de Tres Etapas (SFT $\to$ DPO $\to$ PPO):

  • Una etapa intermedia de DPO limpio actúa como un filtro, suprimiendo las puertas traseras de SFT antes de que lleguen a PPO.
  • No obstante, envenenar la etapa de DPO ($A_2$) crea una puerta trasera que persiste hasta PPO.
  • Dividir el presupuesto entre SFT y DPO, combinado con el envenenamiento de RM, genera un ataque robusto.

3. Dinámicas de Multi-adversario

En escenarios con distintos disparadores ($T_1 \neq T_2$), cada adversario induce un cambio de puntuación independiente. Cuando ambos disparadores están presentes, el veneno de la etapa posterior (ej. DPO o PPO) tiende a dominar el comportamiento, aunque la etapa anterior aún contribuye al cambio general.

Significancia y Reivindicaciones

El artículo argumenta que los análisis de seguridad por etapa son poco fiables para evaluar la seguridad de las canalizaciones de post-entrenamiento de LLM. Las principales contribuciones son:

1. Formalización: Definición del modelo de amenaza de envenenamiento de datos secuencial para el entrenamiento de post-entrenamiento de LLM de múltiples etapas.
2. Identificación de la Ilusión: Demostración de que evaluar a los atacantes de forma aislada enmascara la verdadera vulnerabilidad de la canalización.
3. Caracterización de la Interacción: Demostración de que la colaboración entre etapas no es meramente aditiva sino que puede ser complementaria (en canalizaciones PPO), permitiendo ataques que tienen éxito solo cuando múltiples etapas están comprometidas.

Los autores concluyen que es necesario una visión holística de todo el procedimiento secuencial para revelar la verdadera vulnerabilidad de los LLM, ya que el entrenamiento de alineamiento puede desactivar en lugar de eliminar las puertas traseras, dejándolas susceptibles de ser reactivadas por datos envenenados posteriores.

Limitaciones

El trabajo es primordialmente empírico. Los autores señalan que el campo se beneficiaría de un análisis teórico más profundo de estos ataques de suma cero, potencialmente recurriendo a marcos de acción colectiva algorítmica (ACA) o juegos de Stackelberg. También sugieren que trabajos futuros podrían extender este modelo a las interacciones entre pre-entrenamiento/post-entrenamiento, disparadores adaptativos y otras modalidades como los modelos de lenguaje-visión.