🤖 machine learning

Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering

Este artículo revela que los modelos de lenguaje federados son vulnerables a la filtración de privacidad sin gradientes, demostrando que los instantáneas intermedias del modelo y la manipulación selectiva de pesos por parte de participantes maliciosos pueden mejorar significativamente la inferencia de membresía y la reconstrucción de datos privados sin la cooperación del servidor.

Autores originales: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tu teléfono inteligente aprende a predecir tu siguiente palabra, tu correo electrónico completa automáticamente tus frases o una aplicación médica ayuda a diagnosticar enfermedades, todo sin enviar jamás tus mensajes privados a un servidor central gigante. Esta es la promesa del Aprendizaje Federado (Federated Learning). En lugar de que una gran empresa acapare tus datos en una bóveda, tu dispositivo entrena un "cerebro" compartido (un modelo de lenguaje) localmente. Solo envía actualizaciones diminutas —como un resumen de lo que aprendió— a un núcleo central, el cual las mezcla para mejorar el cerebro global. Es como un grupo de estudiantes estudiando para un examen: cada uno lee sus propios libros, escribe sus propias notas y luego comparten solo las notas, no los libros en sí, para que todos se vuelvan más inteligentes sin que nadie vea la biblioteca privada de los demás.

Sin embargo, hay un inconveniente. Aunque los datos brutos permanecen en tu teléfono, las "notas" (las actualizaciones del modelo) a veces pueden revelar accidentalmente lo que había dentro del libro. Si las notas son demasiado detalladas, un estudiante astuto podría leerlas y adivinar tus temas de estudio secretos. Este es el problema de la filtración de privacidad. Durante mucho tiempo, los investigadores pensaron que si no compartías la matemática bruta (los gradientes), sino solo el resultado final de una ronda de aprendizaje (los pesos), estarías a salvo. Pero, ¿qué pasa si las "notas" de la mitad de la sesión de estudio son en realidad más reveladoras que las respuestas del examen final? Y, ¿qué pasa si un estudiante astuto pudiera retocar sus propias notas para hacer que toda la clase recuerde mejor tus secretos? Ese es exactamente el misterio que investiga este artículo.

El Estudiante Astuto y las Notas Mágicas

En este estudio, un equipo de investigadores de la Universidad Estatal de Pensilvania y el Dartmouth College decidió interpretar el papel del "estudiante astuto" en un aula de Aprendizaje Federado. ¿Su objetivo? Ver si podían robar información privada —como números de teléfono, detalles de tarjetas de crédito o contraseñas secretas— de los dispositivos de otros estudiantes, incluso sin que el profesor (el servidor) les ayudara o viera la matemática bruta.

La Gran Sorpresa: El Medio de la Clase Importa Más

Lo primero que descubrieron los investigadores fue algo contraintuitivo. Normalmente, pensamos que la versión final de un modelo es la más poderosa. Pero en este juego de Aprendizaje Federado, las instantáneas intermedias —las "notas" tomadas a mitad del proceso de entrenamiento— eran en realidad mucho más peligrosas.

Imagina a un profesor pidiendo a la clase que memorice una lista de 1,000 palabras. Al final del semestre, la clase ha aprendido el patrón general del lenguaje, y las palabras específicas y extrañas (como un número de tarjeta de crédito falso) podrían volverse un poco difusas en su memoria. Pero si revisas la memoria de la clase durante la semana en que estaban estudiando específicamente esas palabras extrañas, la memoria es cristalina. Los investigadores descubrieron que un estudiante malicioso podría observar estas instantáneas de "mitad de curso" y encontrar los datos privados mucho más fácilmente que mirando el modelo final. Es como encontrar una página específica de un diario que fue escrita ayer, en lugar de intentar adivinar toda la historia a partir de un resumen escrito un año después.

El Truco de la "Manipulación Selectiva"

Pero los investigadores no se detuvieron solo en observar. Se preguntaron: "¿Podemos hacer que el modelo recuerde estos secretos aún mejor?".

Se dieron cuenta de que los grandes modelos de lenguaje (los "cerebros" que se están entrenando) no son todos iguales. Algunas partes del cerebro son como centros de conocimiento general, mientras que otras partes son como archivadores especializados. Los investigadores descubrieron que las últimas capas del "archivador" del modelo (específicamente las subcapas MLP) son las que retienen los datos extraños o fuera de lo común, como números de teléfono o dígitos de tarjetas de crédito.

Así, inventaron dos formas ingeniosas de "retocar" estos archivadores específicos para hacer que el modelo se obsesione con los datos privados:

Optimización de Pesos Selectiva (SWO): Esto es como tomar una lupa hacia las páginas específicas donde se almacenan los datos secretos y subir el volumen. El atacante compara el estado actual del modelo con un modelo "normal" y amplifica las diferencias en esas capas específicas. Es como si el estudiante astuto le susurrara a la clase: "Oigan, ¿recuerdan este número raro? ¡Asegurémonos de no olvidarlo nunca!".
Aprendizaje de Transformación de Pesos (WTL): Esta es la versión avanzada. En lugar de solo subir el volumen, el atacante entrena una IA diminuta para aprender exactamente cómo cambia el cerebro del modelo cuando ve datos privados. Luego, aplica ese patrón aprendido al modelo para potenciar su memoria de los secretos. Es como si el estudiante descubriera la fórmula exacta que el profesor usa para memorizar cosas y luego aplicara esa fórmula a toda la clase.

Los Resultados: Una Filtración Impactante

Los resultados fueron sorprendentes. Al usar estos trucos de "manipulación", el estudiante malicioso pudo:

Reconstruir el 71% de los datos privados (como convertir un prompt "Mi número de tarjeta de crédito es..." en el número completo) cuando estaba manipulando activamente el modelo durante el entrenamiento.
Aumentar la capacidad de adivinar si una pieza específica de datos estaba en el conjunto de entrenamiento de alguien en un 29%.

Incluso sin la ayuda del profesor, y sin necesidad de acceder a la matemática bruta (gradientes) —porque el sistema solo comparte los pesos finales de cada ronda—, el ataque funcionó increíblemente bien. De hecho, funcionó mejor que muchos ataques previos que asumían que el profesor era malvado y ayudaba activamente al hacker. Los investigadores probaron esto en modelos populares como GPT-2, BERT y Llama-2, y funcionó en todos ellos.

El "Quién, Qué y Cómo"

El ataque funciona así:

Identificar a la Víctima: El atacante observa las actualizaciones del modelo de cada ronda de entrenamiento. Utilizan una prueba especial para detectar las rondas en las que participó una víctima con datos privados. Es como escuchar el parloteo de la clase y notar: "Ah, el estudiante con el número de tarjeta de crédito acaba de hablar".
Manipular la Memoria: Una vez que tienen esas instantáneas específicas, usan SWO o WTL para retocar los "archivadores" del modelo para que los datos privados resalten como un dolor de muelas.
Hacer la Pregunta: Finalmente, le hacen al modelo una pregunta usando una plantilla estándar (como "Tu código de verificación es...") y el modelo, ahora súper enfocado en el secreto, escupe los datos privados.

¿Podemos Detenerlo?

Los investigadores también jugaron a la defensa. Probaron varias formas de detener a este estudiante astuto:

Privacidad Diferencial (Differential Privacy): Esto añade "ruido" o estática a las notas. Ayuda a ocultar los secretos, pero también hace que toda la clase suene un poco distorsionada, perjudicando la capacidad del modelo para escribir buenas frases.
Limpieza (Scrubbing): Esto es como editar el diario antes de compartirlo. Si eliminas los números de tarjeta de crédito y de teléfono del texto antes del entrenamiento, el modelo no puede aprenderlos. Esto funciona bien sin dañar la calidad del modelo.
Add-DEPN: Esta es una forma elegante de decirle a los "archivadores" que sean un poco más silenciosos sobre los secretos. Reduce la filtración significativamente sin que el modelo suene mal.

El equipo sugiere que la mejor defensa es una combinación: limpiar los datos privados del texto primero, y luego usar una técnica de regularización suave (como Add-DEPN) para asegurar que el modelo no se obsesione demasiado con cualquier secreto que haya podido filtrarse.

La Conclusión

Este artículo demuestra que, en el mundo del Aprendizaje Federado, la privacidad no se trata solo de ocultar los datos brutos; se trata de cómo el modelo recuerda las cosas a lo largo del camino. Un participante malicioso no necesita ser un hacker superdotado con la ayuda del profesor. Solo necesita saber cuándo mirar y cómo retocar la memoria del modelo para que los secretos salten a la vista. Aunque este es un descubrimiento aterrador, los investigadores también proporcionaron una hoja de ruta sobre cómo parchar estos agujeros, asegurando que el futuro de la IA privada sea seguro para todos.

Resumen Técnico: Fuga de Privacidad sin Gradientes en Modelos de Lenguaje Federados mediante la Manipulación Selectiva de Pesos

Declaración del Problema

El Aprendizaje Federado (FL) se ha convertido en un estándar para entrenar Modelos de Lenguaje de Gran Escala (LLMs) sobre datos sensibles a la privacidad (por ejemplo, registros médicos, información financiera) sin centralizar los datos brutos. Sin embargo, la literatura existente sugiere que la fuga de privacidad sigue siendo un riesgo significativo, particularmente a través de ataques de inversión de gradientes. La mayoría de los trabajos previos asumen el acceso a los gradientes (por ejemplo, en FedSGD) o se centran en entornos centralizados donde el servidor es el adversario.

Este artículo aborda una brecha crítica: la fuga de privacidad en modelos de lenguaje basados en FL bajo el protocolo FedAvg, donde nunca se comparten los gradientes y se asume que el servidor es honesto-pero-curioso (o pasivo) en lugar de un adversario activo. Los autores investigan si un cliente de FL malicioso puede extraer datos sensibles a la privacidad (por ejemplo, SSN, números de tarjetas de crédito, números de teléfono) de los conjuntos de datos de otros clientes sin acceso a gradientes ni colusión con el servidor.

Los desafíos clave identificados incluyen:

Modelos Intermedios vs. Finales: Los LLMs tienden a "olvidar" muestras de entrenamiento específicas a medida que se generalizan sobre todo el corpus durante el entrenamiento iterativo. No está claro si los instantáneas (snapshots) de modelos intermedios retienen más información sensible que el modelo final convergente.
Restricciones sin Gradientes: Sin acceso a los gradientes de los clientes, los ataques de inversión tradicionales son inaplicables.
Amplificación: ¿Puede un cliente malicioso aumentar activa o pasivamente la memorización de datos sensibles en el modelo para facilitar su extracción?

Metodología

El marco de ataque propuesto opera en dos fases principales: Identificación de la Ronda de la Víctima (VRI) y Maximización de la Memorización de Datos (MDM).

1. Modelo de Amenaza

Adversario: Un cliente malicioso que participa en el proceso de FL.
Capacidades: El adversario tiene acceso a las instantáneas de los modelos globales (actualizaciones agregadas) en cada ronda. Posee conocimiento previo de la estructura (prefijos) de los datos sensibles que desea extraer (por ejemplo, "Su código de verificación es...") pero no de los valores sensibles específicos (sufijos).
Servidor: Se asume pasivo (honesto-pero-curioso) o no colusivo en el escenario base. En los escenarios de "colusión", el servidor comparte metainformación o actualizaciones locales.
Objetivo: Extraer sufijos sensibles de los conjuntos de datos locales de otros clientes mediante reconstrucción de datos o inferencia de membresía.

2. Observaciones Clave e Hipótesis

Hipótesis 1 (Sensibilidad de Pesos Selectivos): Cuando se realiza el ajuste fino (fine-tuning) de LLMs con datos fuera de la distribución (OOD) (como PII), los cambios en los pesos no son uniformes. Específicamente, las subcapas MLP en los últimos bloques de transformadores ( $L^*$ ) experimentan transformaciones significativamente mayores en comparación con otras capas. Estas capas son desproporcionadamente responsables de memorizar datos sensibles y OOD.
Hipótesis 2 (Fuga en Rondas Intermedias): La probabilidad de que un modelo de FL memorice un punto de datos específico es mayor en las rondas de entrenamiento donde ese punto de datos está presente en comparación con las rondas donde está ausente. En consecuencia, las instantáneas intermedias de las "rondas de la víctima" pueden filtrar más que el modelo final.

3. Pipeline de Ataque

A. Identificación de la Ronda de la Víctima (VRI)

El adversario identifica qué instantáneas del modelo global ( $G_i$ ) corresponden a las rondas donde participaron víctimas con datos sensibles.

Mecanismo: El adversario calcula la norma de las diferencias de peso en las capas sensibles ( $L^*$ ) entre la instantánea global $G_i$ y dos modelos de referencia: uno ajustado con texto regular ( $G_r$ ) y otro con texto regular + sensible ( $G_s$ ).
Lógica: Si $G_i$ es una ronda de la víctima, sus cambios de peso en $L^*$ se parecerán estadísticamente a $G_s$ (debido a la presencia de datos OOD) y diferirán significativamente de $G_r$ . Se utiliza una prueba t de emparejamiento para clasificar las instantáneas como "víctima" o "no víctima".

B. Maximización de la Memorización de Datos (MDM)

Una vez identificadas las instantáneas de la víctima, el adversario manipula los pesos del modelo para amplificar la memorización de datos sensibles. Se proponen dos métodos sin gradientes:

Optimización de Pesos Selectivos (SWO): Un método de optimización de orden cero. Calcula la diferencia inicial entre los pesos de la instantánea de la víctima y los pesos de un modelo de referencia en $L^*$ . Luego, actualiza iterativamente los pesos de la instantánea de la víctima para maximizar la magnitud de esta diferencia preservando la dirección inicial (polaridad). Esto se hace sin retropropagación a través de los datos de la víctima.
Aprendizaje de Transformación de Pesos (WTL): Un enfoque de aprendizaje supervisado. El adversario entrena un modelo separado (por ejemplo, un Autoencoder Denso) para aprender el patrón de transformación de los pesos entrenados con datos regulares a los pesos entrenados con datos sensibles. Esta transformación aprendida se aplica luego a los pesos de la instantánea de la víctima para mejorar la memorización.

C. Modos de Ataque

Ataque Estático: El adversario realiza VRI y MDM después de que el entrenamiento de FL haya finalizado, manipulando las instantáneas de la víctima identificadas.
Ataque Dinámico: El adversario interfiere activamente durante el entrenamiento. Agregan las instantáneas de la víctima identificadas en un modelo ( $G_A$ ) y, al participar en una ronda, envían una agregación ponderada de su actualización local y $G_A$ al servidor, efectivamente "envenenando" el modelo global con una memorización amplificada.

Resultados Clave

Los autores evaluaron su marco en Gemma, Llama-2, GPT-2 y BERT utilizando conjuntos de datos como Wikitext-103, Penn Treebank y correos electrónicos de Enron.

Modelos Intermedios vs. Finales: Las instantáneas intermedias de las rondas de la víctima (IR) superaron consistentemente al modelo final (LR) en la reconstrucción de datos, validando la Hipótesis 2.
Efectividad de MDM:
- Tanto SWO como WTL aumentaron significativamente la fuga de privacidad en comparación con las líneas base.
- WTL generalmente superó a SWO.
- Ataque Estático: Logró hasta un 63% de reconstrucción de datos sensibles (sin cooperación del servidor).
- Ataque Dinámico: Logró hasta un 71% de reconstrucción (sin cooperación del servidor).
- Con Cooperación del Servidor: El ataque dinámico con asistencia del servidor ( $dynamic^+$ ) alcanzó un 71% de reconstrucción en Wikitext y un 64% en el conjunto de datos del mundo real de Enron.
Inferencia de Membresía: Los métodos propuestos aumentaron la recuperación (recall) de los ataques de inferencia de membresía en un 29% en comparación con las líneas base existentes.
Utilidad del Modelo: Las técnicas de MDM (SWO/WTL) lograron aumentar la memorización de datos sensibles mientras preservaban la utilidad del modelo (la perplejidad en texto regular permaneció prácticamente inalterada).
Comparación con Adversarios más Fuertes: Los ataques propuestos, incluso sin colusión del servidor, se desempeñaron competitivamente o mejor que los ataques que asumen que el servidor es un adversario activo (como Decepticons) en términos de tasas de reconstrucción para BERT y GPT-2.

Significancia y Reivindicaciones

El artículo afirma ser el primer trabajo que demuestra que un cliente malicioso en un entorno de FL FedAvg estándar puede:

Identificar rondas de entrenamiento específicas donde otros clientes contribuyeron con datos sensibles sin acceso a gradientes.
Amplificar la memorización de esos datos sensibles manipulando estratégicamente pesos selectivos (específicamente en las capas MLP de los últimos bloques de transformadores).
Extraer información privada (reconstrucción verbatim) a tasas significativamente más altas que los ataques existentes, superando incluso los escenarios donde se asume que el servidor es un adversario activo.

Los autores enfatizan que sus ataques son libres de gradientes y aplicables a tareas de IA generativa (a diferencia del trabajo previo de FL centrado en la clasificación). Argumentan que el fenómeno de "olvido" en FL no protege la privacidad; más bien, las instantáneas intermedias combinadas con la manipulación de pesos crean una vulnerabilidad severa.

Defensas

El artículo evalúa varias defensas:

Privacidad Diferencial (DP): Reduce la fuga pero degrada significativamente la utilidad del modelo.
Limpieza (Scrubbing): Eliminar tokens de PII antes del entrenamiento reduce la fuga sin afectar la utilidad, pero es difícil de perfeccionar en datos no estructurados.
Add-DEPN (Regularización): Un enfoque novedoso que aplica una pequeña corrección aditiva a las "neuronas de privacidad" en lugar de anularlas. Esto ofrece un equilibrio, reduciendo la fuga significativamente mientras mantiene una alta utilidad del modelo.
Recomendación: Los autores recomiendan una combinación de limpieza de datos/deduplicación como paso de preprocesamiento, seguido de la regularización Add-DEPN en el modelo local.

Limitaciones

El estudio se limita a modelos de transformadores de escala media en inglés. Los autores señalan que no se exploraron modelos de producción más grandes, entornos multilingües y otras modalidades (por ejemplo, transformadores de visión). Además, el costo computacional del FL totalmente cifrado (por ejemplo, usando cifrado homomórfico) sigue siendo prohibitivo para los LLMs.