Resumen Técnico: Envenenamiento del Paisaje de Pérdida (LLP)

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) y los Modelos de Lenguaje-Visión (VLM) se entrenan cada vez más con datos propietarios y sensibles, incluyendo registros médicos, información financiera y conversaciones de usuarios. Mientras que las amenazas de privacidad existentes se centran en extraer datos que el modelo ya ha memorizado (a menudo de forma involuntaria) o en inferir la pertenencia de un registro, este artículo aborda un escenario más insidioso: ¿Puede un atacante que no tiene acceso a un registro específico de un objetivo forzar al modelo a memorizar y filtrar dicho registro?

Los autores postulan que un adversario que puede envenenar una parte de los datos de entrenamiento puede diseñar esos datos para inducir la filtración de un registro objetivo distinto y no visto. El desafío central es lograr esto sin degradar la utilidad general del modelo, evitando así la detección, y hacerlo incluso cuando el atacante no conoce el valor secreto en sí, solo su esquema (por ejemplo, el formato de un Número de Seguro Social).

2. Metodología: Envenenamiento del Paisaje de Pérdida (LLP)

El ataque propuesto, Envenenamiento del Paisaje de Pérdida (LLP), opera remodelando el paisaje de pérdida local alrededor de una región específica del espacio de completitud. La idea fundamental es que la memorización puede imponerse mediante la creación de un mínimo local agudo en el secreto objetivo, rodeado de una pérdida elevada en las alternativas cercanas.

Mecanismo Central

El ataque se basa en dos fuerzas opuestas durante el entrenamiento:

1. Fuerza Descendente: El entrenamiento estándar de la víctima sobre el corpus que contiene el secreto real $(x, s)$ impulsa la pérdida hacia abajo en el objetivo.
2. Fuerza Ascendente: El atacante introduce muestras de veneno $(x, s')$ donde $s'$ es un vecino de $s$ (por ejemplo, una variación aleatoria del secreto). El atacante manipula el proceso de entrenamiento para maximizar la pérdida en estos vecinos.

La interacción crea un "valle de pérdida" donde el secreto real es la única solución de baja pérdida. El modelo es forzado a memorizar el secreto como un punto aislado en lugar de generalizar sobre la distribución del campo.

Modelos de Amenaza

El artículo evalúa el LLP bajo tres modelos de amenaza distintos:

1. Envenenamiento Directo del Modelo (Caja Blanca):

   • Acceso: El atacante tiene acceso al bucle de entrenamiento y puede modificar la función de pérdida.
   • Técnica: El atacante aplica ascenso de gradiente en las muestras de veneno (vecinos del objetivo) mientras aplica descenso de gradiente estándar en los datos benignos. Esto se formaliza como una función objetivo modificada:
     $$\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$$
   • Resultado: Esto talla directamente el mínimo agudo.

2. Envenenamiento de Datos (Caja Negra/Sin Acceso a la Pérdida):

   • Acceso: El atacante solo puede contribuir datos al corpus de entrenamiento y no puede modificar la función de pérdida o el bucle de optimización.
   • Técnica (LLP-Data): El atacante diseña muestras de veneno anteponiendo una secuencia de tokens optimizada $q$ al prefijo $x$. Esta secuencia es generada mediante un modelo subrogado para asegurar que el descenso de gradiente estándar en la muestra de veneno $(q+x, s')$ produzca un gradiente alineado con la dirección de ascenso requerida por el ataque directo. Esto reproduce efectivamente la "fuerza ascendente" utilizando únicamente datos.

3. Aprendizaje Federado (FL) envenenado:

   • Acceso: Un cliente malicioso controla su entrenamiento local pero no puede ver el secreto objetivo (mantenido por un cliente honesto) ni controlar la agregación del servidor.
   • Técnica: El cliente malicioso realiza el envenenamiento del modelo local (ascenso de gradiente en los vecinos) y envía las actualizaciones. El servidor agrega estas con las actualizaciones de los clientes honestos (que realizan descenso de gradiente sobre el secreto real). El modelo global converge a un estado donde el secreto es memorizado debido al efecto combinado de la presión "ascendente" maliciosa y la presión "descendente" honesta.

Primitivas de Extracción

Una vez entrenado el modelo, el atacante extrae el secreto utilizando:

• Probabilidad del Objetivo: Midiendo $P_\theta(s|x)$. Si el paisaje de pérdida se ha tallado con éxito, la probabilidad de generar el secreto se acerca a 1.
• Sondeo de Región de Pérdida Directa (DLRP): Una nueva primitiva introducida para eludir la Privacidad Diferencial (DP). En lugar de pedir al modelo que genere el secreto, el atacante consulta la pérdida de las cadenas candidatas y sus perturbaciones locales. El secreto real se identifica como el candidato con la puntuación de sensibilidad local más baja (es decir, sus vecinos tienen una pérdida significativamente mayor).

3. Contribuciones Clave

1. Introducción de LLP: Un nuevo ataque de envenenamiento que fuerza a los modelos a memorizar registros sensibles no vistos mediante el remodelado de su paisaje de pérdida.
2. Viabilidad bajo Acceso Solo a Datos: Demostración de que el LLP puede ejecutarse sin modificar el bucle de entrenamiento (LLP-Data) mediante el diseño de muestras de datos específicas que inducen la dinámica de gradiente necesaria.
3. Filtración entre Clientes en FL: Demostración de que un solo cliente malicioso en un entorno de Aprendizaje Federado puede extraer secretos mantenidos por otros clientes honestos.
4. Evasión de la Privacidad Diferencial (DP): Prueba de que, si bien DP-SGD bloquea la generación directa (al suavizar el mínimo absoluto de la pérdida), no logra borrar la brecha de pérdida relativa entre el objetivo y sus vecinos. La primitiva DLRP explota esta huella geométrica superviviente para recuperar secretos incluso bajo DP-SGD.

4. Resultados Experimentales

Los autores evaluaron el LLP en una amplia gama de modelos, incluyendo LLMs (DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3) y VLMs (InstructBLIP, LLaVA).

• Tasas de Éxito de Extracción:
  • Envenenamiento Directo del Modelo: Logró un 100% de éxito en la extracción en LLMs y hasta un 90% en VLMs.
  • Envenenamiento de Datos (LLP-Data): Logró un 86% en LLMs y un 83% en VLMs.
  • Aprendizaje Federado: Un solo cliente malicioso (1 de 10) logró entre un 83–100% de extracción en LLMs y un 86–100% en VLMs.
• Preservación de la Utilidad: En todos los experimentos, los modelos envenenados mantuvieron el rendimiento en pruebas de razonamiento estándar (HellaSwag, OBQA, WinoGrande, etc.) comparable a los modelos base, con diferencias a menudo dentro de $\pm 0.02$ de precisión absoluta.
• Análisis del Paisaje de Pérdida: Las visualizaciones confirmaron la formación de mínimos locales agudos en el secreto objetivo, con incrementos de pérdida pronunciados en la vecindad inmediata.
• Evasión de DP: Bajo DP-SGD, la generación directa falló (la probabilidad permaneció cerca del azar). Sin embargo, DLRP recuperó con éxito el secreto en presupuestos de privacidad ($\epsilon$) que preservaban la utilidad del modelo. Por ejemplo, con $\sigma=0.0001$, la puntuación Z del LSS (Local Sensitivity Score) del objetivo alcanzó 17.62, distinguiéndolo claramente de los señuelos.

5. Significancia y Reivindicaciones

El artículo sostiene que la privacidad de los datos de entrenamiento depende no solo de lo que el modelo genera, sino de la geometría de la superficie de pérdida que transporta.

• Reencuadre de la Amenaza: Los autores argumentan que las defensas actuales como la Privacidad Diferencial son insuficientes porque limitan la influencia de los registros individuales sobre los parámetros, pero no limitan la estructura geométrica (la forma de la superficie de pérdida) que esos parámetros inducen.
• El Riesgo de lo "No Visto": A diferencia de ataques de extracción previos que dependen de que el modelo ya haya memorizado datos, el LLP demuestra que un atacante puede forzar al modelo a memorizar un secreto específico que nunca ha visto, siempre que conozca su esquema.
• Implicaciones para la Privacidad: El trabajo sugiere que las recetas de entrenamiento privado estándar (recorte de gradiente + ruido calibrado) pueden no ser suficientes para proteger contra ataques a nivel de paisaje. Defenderse de tales ataques requeriría niveles de ruido que degradarían significativamente la utilidad del modelo, socavando la practicidad de entrenar LLMs privados.

Los autores concluyen que cerrar esta brecha requiere defensas que o bien interrumpan directamente la huella del paisaje de pérdida (por ejemplo, regularización consciente del paisaje) o detecten la curación de datos adversarios antes de que esta moldee la trayectoria de optimización.