🤖 AI

MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

Este artículo presenta MineGrad, un ataque de inversión de gradiente analítico que permite a un servidor malicioso reconstruir datos privados de alta fidelidad de los usuarios a partir de gradientes de ajuste fino de LoRA mediante el aprovechamiento de un modelo preentrenado envenenado, exponiendo eficazmente vulnerabilidades críticas de privacidad en el aprendizaje federado de parámetros eficientes tanto en tareas de lenguaje como de visión.

Autores originales: Hasin Us Sami, Swapneel Sen, Basak Guler

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hasin Us Sami, Swapneel Sen, Basak Guler

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde computadoras gigantes y súper inteligentes (llamadas modelos de IA) son tan enormes que ninguna persona puede llevarlas en su bolsillo. Para hacerlas útiles para todos, los científicos permiten que estos modelos "aprendan" de los datos que residen en tu teléfono o computadora portátil sin llegar a ver realmente esos datos. Esto es como tener un maestro chef que te envía un libro de recetas básico, y tú ajustas ligeramente las instrucciones usando tus propios ingredientes secretos familiares, y luego solo envías los pequeños cambios de vuelta al chef. Este método, llamado aprendizaje federado (federated learning) con "LoRA", se supone que es un superpoder de privacidad: el chef se vuelve más inteligente, pero tus ingredientes secretos permanecen ocultos en tu cocina.

Pero, ¿y si el chef no es solo un chef? ¿Qué tal si el chef es un espía astuto que te envió un libro de recetas ligeramente manipulado en primer lugar? Este artículo explora una posibilidad aterradora: que un servidor malicioso (el "chef") pueda engañar a tu dispositivo para que revele sus secretos de vuelta a través de los diminutos cambios que envías. Los investigadores descubrieron que, mediante el envenenamiento cuidadoso de la receta inicial y de las herramientas utilizadas para realizar los cambios, el servidor puede realizar ingeniería inversa matemáticamente de tus datos privados —como tus mensajes de texto o fotos— simplemente mirando el "gradiente" (la lista de pequeños ajustes) que enviaste de vuelta. Es un recordatorio de que, incluso cuando crees que solo estás compartiendo unas pocas migajas, un adversario hábil podría reconstruir todo el pastel.

El gran descubrimiento del artículo: "MineGrad"

Los autores de este artículo, Hasin Us Sami, Swapneel Sen y Ba¸sak Guler, presentan un nuevo ataque que llaman MineGrad. Piensa en esto como una búsqueda del tesoro de alta tecnología donde el "tesoro" es tu dato privado, y el "mapa" está oculto dentro de las pequeñas actualizaciones que envías.

En el pasado, los investigadores sabían que si enviabas todos los cambios de un modelo gigante, un actor malintencionado a veces podía adivinar tus datos. Pero con LoRA (Adaptación de Bajo Rango), solo envías una versión pequeña y comprimida de los cambios. Los científicos pensaron que este tamaño reducido hacía mucho más difícil el robo de datos. También pensaron que si los datos eran demasiado grandes (como una oración larga o una imagen completa), las matemáticas no funcionarían para robarlos de vuelta.

MineGrad rompe esas suposiciones. Los investigadores demostraron que un servidor malicioso aún puede robar tus datos, incluso cuando solo envías esas pequeñas actualizaciones de LoRA, e incluso cuando tienes oraciones largas o imágenes complejas.

Así es como funciona el "robo", usando una analogía simple:

El Libro de Recetas Envenenado: Antes de que siquiera comiences, el servidor te envía un "modelo preentrenado" (la receta base). El servidor altera secretamente este libro. Es como si el servidor añadiera tinta invisible y brillante a páginas específicas de la receta. No lo notas porque la receta sigue funcionando bien para cocinar.
La Señal Secreta: Cuando usas este libro envenenado para cocinar con tus propios ingredientes secretos (tus datos privados), la matemática del proceso de cocción crea una señal especial. El servidor diseñó la "tinta brillante" de modo que, cuando calculas los pequeños cambios (gradientes) para enviar de vuelta, esos cambios actúan como un reflector.
El Efecto de la Luz de Seguimiento (Spotlight): Normalmente, los cambios que envías de vuelta son una mezcla desordenada de todos tus ingredientes. Pero debido al truco del servidor, los cambios para partes específicas de la receta se vuelven enormes y ruidosos para un ingrediente específico y silenciosos para todo lo demás. Es como si estuvieras mezclando un batido, y el servidor hiciera que la licuadora gritara tan fuerte solo cuando añades fresas, pero permaneciera en silencio para los plátanos.
La Reconstrucción: El servidor recibe tu pequeña actualización. Debido al efecto de la luz de seguimiento, el servidor puede aislar matemáticamente el "grito" y determinar exactamente qué ingrediente lo causó. Al hacer esto para diferentes partes de la receta, el servidor puede armar toda la receta de tu batido secreto, palabra por palabra o píxel por píxel.

Lo que encontraron (y lo que no)

Los investigadores probaron esto en dos tipos de datos muy diferentes: texto (como artículos de noticias y reseñas) e imágenes (como fotos de gatos y autos).

Para el Texto: Utilizaron modelos como BERT y RoBERTa. Los resultados fueron sorprendentemente precisos. En sus pruebas, el servidor recuperó el texto con una precisión casi perfecta. Si la oración original era "Microsoft envía tarjetas de presentación digitales", el texto recuperado era casi idéntico, obteniendo una puntuación de 1.0 (perfecto) en escalas de medición estándar como BLEU y ROUGE-L.
Para las Imágenes: Probaron con imágenes de los conjuntos de datos CIFAR-10 y CIFAR-100. Las imágenes recuperadas se veían muy similares a las originales. Los investigadores midieron la diferencia utilizando una métrica llamada LPIPS, obteniendo puntuaciones alrededor de 0.20 a 0.21, lo que indica que las imágenes son visualmente muy cercanas a las originales.
El Mito de "Demasiados Tokens": Un ataque previo llamado DAGER fallaba si tenías más palabras en tu oración que el "rango" (una medida de tamaño) del módulo LoRA. Los autores de este artículo demostraron que MineGrad funciona incluso cuando el número de palabras es mucho mayor que el rango. Probaron que, al usar múltiples "capas" del modelo (como usar múltiples linternas en lugar de una sola), podían recuperar datos incluso con rangos de LoRA pequeños (tan bajos como 4) y secuencias largas.

Los Límites del Ataque

Es importante notar lo que este artículo no dice. El ataque depende de que el servidor sea malicioso y tenga el control del modelo inicial que descargas. Si descargas un modelo de una fuente confiable que puedes verificar, o si el servidor es honesto, este ataque específico no funciona.

Además, el artículo sugiere que este ataque es más efectivo cuando al servidor no le importa la calidad del modelo final. Debido a que el servidor está manipulando la receta para robar datos, el rendimiento del modelo podría empeorar un poco. Sin embargo, los autores señalan que en muchos escenarios del mundo real (como el entrenamiento durante la noche mientras tu teléfono se carga), los usuarios no observan de cerca el rendimiento del modelo, por lo que podrían no notar que el modelo se está voliendo ligeramente "más tonto" mientras sus datos están siendo robados.

Los investigadores también probaron qué sucede si envías un lote completo de oraciones a la vez (como 64 oraciones). En estos casos, la recuperación no es perfecta para cada palabra, pero descubrieron que incluso con un tamaño de lote de 64, aún podían recuperar aproximadamente el 52.2% de los tokens (palabras) en algunos conjuntos de datos.

Por qué esto importa

Este artículo no solo dice "es posible"; proporciona un plano de funcionamiento (con código disponible en línea) que muestra exactamente cómo funciona la matemática. Sugiere que las garantías de privacidad que creíamos tener con métodos eficientes como LoRA podrían ser una ilusión si el servidor no es confiable.

Los autores concluyen que necesitamos nuevas formas de verificar si los modelos que descargamos son seguros, porque simplemente confiar en el servidor podría no ser suficiente. No resolvieron el problema de cómo detener esto; en su lugar, lanzaron una alarma muy fuerte, mostrando que sin mejores defensas, nuestros datos privados podrían ser extraídos directamente de las pequeñas actualizaciones que creíamos seguras de compartir.

Resumen Técnico: MineGrad – Ataques de Inversión de Gradiente en el Ajuste Fino de LoRA

Planteamiento del Problema
El Ajuste Fino Eficiente en Parámetros (PEFT, por sus siglas en inglés), particularmente la Adaptación de Bajo Rango (LoRA), se ha convertido en un enfoque estándar en el Aprendizaje Federado (FL) para mitigar los costos de comunicación y computación asociados con el ajuste fino de modelos preentrenados a gran escala. En este paradigma, los usuarios descargan un modelo preentrenado congelado, realizan el ajuste fino local de módulos ligeros de LoRA y comparten únicamente los gradientes de estos módulos con un servidor central. Si bien esto reduce el volumen de datos compartidos, la robustez de esta configuración frente a un servidor malicioso sigue sin explorarse suficientemente.

Los ataques de inversión de gradiente existentes, que reconstruyen datos de entrenamiento privados a partir de gradientes compartidos, enfrentan limitaciones significativas cuando se aplican a LoRA. Los trabajos previos a menudo dependen de un preentrenamiento adversarial costoso computacionalmente con conjuntos de datos públicos, requieren que el número de tokens de entrenamiento sea menor que el rango de las matrices de LoRA (una condición que a menudo se viola en la práctica), o están restringidos a datos de texto con vocabularios predefinidos. Además, ataques como DAGER (Petrov et al., 2024) tienen dificultades con el espacio de gradiente reducido inherente a LoRA, donde solo se observa un pequeño número de vectores de gradiente (determinado por el rango $r$ ) por capa.

Metodología: MineGrad
Los autores proponen MineGrad, un nuevo ataque de inversión de gradiente analítico que permite a un servidor malicioso recuperar datos privados del usuario (tanto texto como imágenes) aprovechando un modelo preentrenado envenenado y parámetros globales de LoRA manipulados. A diferencia de métodos anteriores, MineGrad no requiere conjuntos de datos públicos del dominio objetivo, no depende de que el conteo de tokens sea menor que el rango de LoRA y es aplicable tanto a tareas de lenguaje como de visión.

El ataque opera bajo un modelo de amenaza donde el servidor puede:

Distribuir un modelo preentrenado envenenado a los usuarios antes de que comience el ajuste fino.
Modificar los parámetros globales de LoRA enviados a los usuarios en cada ronda de entrenamiento.

Principios de Diseño Clave:

Parametrización Adversarial: El servidor diseña los vectores de codificación de posición del modelo preentrenado y las matrices de LoRA ( $A$ y $B$ ) para incrustar los datos de ajuste fino directamente en los gradientes.
Mapeo de Identidad e Aislamiento de Tokens: En los "codificadores objetivo" (Codificadores 1 a $S-1$ ), el servidor configura el mecanismo de autoatención para que actúe como un mapeo de identidad. Las matrices de LoRA están diseñadas específicamente de tal manera que el gradiente con respecto a una columna específica de la matriz $B$ aísla un embedding de token específico. Esto se logra manipulando las codificaciones de posición para crear valores grandes y distintos en dimensiones específicas, asegurando que el peso asociado con el token objetivo en el cálculo del gradiente domine a todos los demás.
Agregación para la Recuperación Total: Dado que una sola matriz de LoRA de rango $r$ solo puede revelar $r$ tokens por codificador, MineGrad utiliza múltiples codificadores. Cada codificador apunta a un subconjunto distinto de tokens.
Manipulación de la Capa de Clasificación: El último codificador y la capa de clasificación están diseñados para asegurar que la función de pérdida produzca un gradiente no nulo que transporte la información agregada de los tokens objetivo. El servidor manipula los pesos de clasificación para forzar una puntuación de clase específica, permitiendo la extracción analítica de los embeddings de los tokens a partir del gradiente.
Reconstrucción: El servidor recupera analíticamente los embeddings de los tokens dividiendo los gradientes observados por constantes conocidas derivadas de los parámetros envenenados. Los embeddings de palabras originales se recuperan entonces restando los vectores de codificación de posición conocidos (envenenados).

Contribuciones Clave

Nuevo Vector de Ataque: Introducción de MineGrad, el primer ataque de inversión de gradiente analítico diseñado específicamente para el ajuste fino de LoRA en FL que funciona sin conjuntos de datos públicos o restricciones de rango.
Amplia Aplicabilidad: Demostración de que el ataque es efectivo tanto en tareas de lenguaje (usando codificadores Transformer como BERT y RoBERTa) como en tareas de visión (usando Vision Transformers), superando las limitaciones de vocabulario de los ataques anteriores centrados solo en texto.
Superación de Restricciones de Rango: El método recupera con éxito los datos incluso cuando el número de tokens de entrenamiento excede el rango de las matrices de LoRA, un escenario donde ataques previos como DAGER fallan.
Escalabilidad: El uso de múltiples codificadores permite la recuperación de secuencias completas independientemente del bajo rango ( $r$ ) de los módulos de LoRA individuales.

Resultados Experimentales
Los autores evaluaron MineGrad en múltiples conjuntos de datos de clasificación de texto (AG's News, DBPedia, Yahoo Answers, Yelp, TREC-6) y conjuntos de datos de clasificación de imágenes (CIFAR-10, CIFAR-100).

Recuperación de Texto: El ataque logró una reconstrucción casi perfecta, con puntuaciones BLEU y ROUGE-L cercanas a 1.0 en varios modelos (BERT-base/large, RoBERTa-base/large) y conjuntos de datos. La Tabla 2 ilustra que las oraciones de la verdad de campo (ground-truth) se recuperan con alta fidelidad.
Independencia del Rango: Los experimentos mostraron que, si bien la calidad de la reconstrucción mejora con un rango más alto para un solo codificador, el despliegue de múltiples codificadores permite a MineGrad lograr la misma recuperación de alta fidelidad con un rango muy pequeño (por ejemplo, $r=2$ ) que un solo codificador con un rango grande (por ejemplo, $r=16$ ).
Longitud de la Secuencia: El rendimiento se degrada a medida que aumenta la longitud de la secuencia, pero sigue siendo efectivo. Los autores señan que el rendimiento puede mejorarse aún más manipulando los embeddings de palabras preentrenados.
Recuperación de Imágenes: Para los Vision Transformers, el ataque recuperó imágenes con puntuaciones LPIPS bajas (0.20 ± 0.04 para CIFAR-10), lo que indica una alta similitud visual con las entradas originales.
Procesamiento por Lotes (Batch): Incluso con tamaños de lote de hasta 64, el ataque recuperó un porcentaje significativo de tokens (por ejemplo, 52.2% para TREC-6), aunque las tasas de recuperación disminuyen a medida que aumenta el tamaño del lote debido al promedio de los embeddings.
Comparación: MineGrad superó significativamente a DAGER, que sufrió una degradación severa de rendimiento cuando el conteo de tokens excedía el rango de LoRA.

Significado y Reivindicaciones
El artículo afirma que MineGrad revela vulnerabilidades críticas en las garantías de privacidad del ajuste fino de LoRA en entornos federados. Los autores enfatizan que:

El espacio de gradiente reducido en LoRA no protege inherentemente contra un adversario fuerte capaz de manipular el modelo preentrenado.
Las suposiciones actuales de que PEFT ofrece una mejor privacidad que el ajuste fino completo son insuficientes cuando el servidor es adversarial.
El ataque es de "un solo paso" (one-shot), capaz de recuperar datos en una sola ronda de entrenamiento (potencialmente temprano en el entrenamiento cuando la precisión es baja), lo que significa que los usuarios pueden no detectar el ataque incluso si monitorean la pérdida de entrenamiento más adelante.
El trabajo destaca la necesidad urgente de mecanismos de defensa verificables para PEFT en entornos federados. Los autores señalan que el desempeño del ataque contra defensas populares como la agregación segura, la poda (pruning) y la adición de ruido se presenta en los apéndices del artículo.

Los autores concluyen que, si bien su ataque es una demostración de vulnerabilidad, proporciona nuevos principios de diseño para comprender la interacción entre los modelos envenenados y la propagación de gradientes, instando a la comunidad a desarrollar defensas robustas para la creciente adopción de PEFT en entornos sensibles a la privacidad.

El gran descubrimiento del artículo: "MineGrad"

Lo que encontraron (y lo que no)

Los Límites del Ataque

Por qué esto importa

Resumen Técnico: MineGrad – Ataques de Inversión de Gradiente en el Ajuste Fino de LoRA

Más como este