Resumen Técnico: Reconstrucción de Datos de Entrenamiento en Modelos de Lenguaje de Gran Escala Federados Basados en Adaptadores

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) Federados que utilizan el ajuste fino basado en adaptadores (por ejemplo, LoRA) se han convertido en un enfoque convencional para el aprendizaje colaborativo con preservación de la privacidad. Al congelar los masivos parámetros de la estructura (backbone) preentrenada de los LLMs y entrenar únicamente módulos de adaptadores de bajo rango y compactos, estos sistemas pretenden reducir la carga computacional, de almacenamiento y de comunicación. La suposición predominante es que esta eficiencia de parámetros mejora inherentemente la seguridad al limitar la fuga de información disponible a través de los gradientes compartidos, frustrando así los ataques existentes de Inversión de Gradiente (GIAs).

Sin embargo, este artículo desafía esa suposición. Postula que los FedLLMs basados en adaptadores siguen siendo vulnerables a ataques de privacidad serios. El problema central abordado es la reconstrucción de texto de entrenamiento privado y sensible a partir de los gradientes compartidos de las capas de los adaptadores, a pesar de tres desafíos específicos que hacen que los GIAs tradicionales sean ineficaces:

1. Baja Dimensionalidad de las Actualizaciones: Los adaptadores actualizan solo una pequeña fracción de los parámetros, reduciendo drásticamente la dimensionalidad del gradiente y ocultando la información bruta en comparación con el ajuste fino de parámetros completos.
2. Estructura (Backbone) Congelada: La estructura preentrenada del LLM permanece congelada, lo que significa que los atacantes no pueden acceder a los gradientes de las capas críticas de atención y transformador que suelen facilitar la reconstrucción de texto en entornos de parámetros completos.
3. Espacio de Solución Extenso: El espacio combinatorio de las posibles reconstrucciones de texto es vasto, lo que hace que el recorrido directo o la búsqueda de haz (beam search) sean computacionalmente inviables, especialmente con tamaños de lote (batch sizes) grandes.

Metodología: El Ataque UTR

Los autores proponen el ataque de Reconstrucción de Texto Basado en Bolsa de Palabras Desordenadas (UTR), un nuevo flujo de trabajo de dos etapas diseñado para explotar las propiedades estructurales únicas de los FedLLMs basados en adaptadores.

Etapa 1: Inferencia de la Bolsa de Palabras

Esta etapa se dirige al adaptador de incrustación (embedding adapter) para inferir un conjunto desordenado de tokens del vocabulario presentes en la entrada privada del cliente, eludiendo eficazmente la optimización continua.

• Mecanismo: El método aprovecha la naturaleza determinista de las capas de incrustación (embeddings) congeladas. Analiza los gradientes de la capa de submuestreo totalmente conectada (FC) del adaptador de incrustación.
• Perspectiva Matemática: Mediante el cálculo de la Relación de Gradiente de Peso a Sesgo (RWBG) para las neuronas en la capa FC, los autores construyen un subespacio lineal de bajo rango $S$. Este subespacio está generado por los vectores de incrustación ocultos de los tokens de entrada reales.
• Inferencia: El ataque itera sobre el vocabulario del modelo, verificando si la incrustación oculta de un token candidato reside dentro del subespacio $S$ derivado de los gradientes del cliente. Si lo hace, el token se incluye en la "bolsa de palabras". Esto transforma el problema de un ajuste de vectores a una prueba de membresía de álgebra lineal.

Etapa 2: Inferencia de Datos

Esta etapa ensambla la "bolsa de palabras" desordenada en secuencias de texto coherentes.

• Mecanismo: Emplea una estrategia de búsqueda codiciosa (greedy search) restringida guiada por filtros gramaticales, semánticos y contextuales (EICW, CG, CS) para podar combinaciones de tokens inválidas.
• Inferencia de Membresía: Para validar las oraciones candidatas, el método utiliza los gradientes de la capa del adaptador (layer adapter). Introduce secuencias candidatas a través del modelo para generar incrustaciones ocultas y verifica si estas incrustaciones residen dentro del subespacio de bajo rango $S_{LA}$ generado por los gradientes del adaptador de la capa.
• Adaptación de la Arquitectura: El método tiene en cuenta las diferencias en la arquitectura de los LLM. Para modelos bidireccionales (ej. BERT), se puede reconstruir el texto completo en un solo paso. Para modelos unidireccionales (ej. GPT), la reconstrucción se realiza de forma prefijada (prefix-wise), requiriendo más muestras candidatas para ensamblar la secuencia completa.

Contribuciones Clave

1. Divulgación de Vulnerabilidades: El artículo demuestra que los FedLLMs basados en adaptadores no son inmunes a los ataques de inversión de gradiente, incluso cuando la mayoría de los parámetros del modelo están congelados. Revela que los adaptadores de bajo rango crean nuevos canales de fuga explotables.
2. Marco de Ataque UTR: Los autores introducen UTR, un ataque a medida que supera los desafíos de las actualizaciones de baja dimensión y las estructuras congeladas. Combina de forma única el análisis de subespacios de los gradientes de incrustación con la decodificación restringida para lograr una reconstrucción de alta fidelidad.
3. Análisis Teórico de la Fuga: El documento proporciona una evaluación teórica de los límites del ataque, definiendo el número máximo de tokens recuperables ($k_{max}$) como limitado por el rango del subespacio generado por el gradiente del adaptador ($rank(S) \leq d_{bottleneck}$).
4. Evaluación Exhaustiva: El estudio evalúa el ataque a través de diversos modelos (BERT, GPT2-Large, Qwen2.5-7B) y conjuntos de datos (CoLA, SST-2, Rotten Tomatoes) bajo distintos tamaños de lote y mecanismos de defensa.

Resultados Experimentales

Los experimentos demuestran que UTR logra una precisión de reconstrucción casi perfecta, superando significativamente a las líneas base de vanguardia como LAMP y DAGER.

• Precisión de Reconstrucción: UTR alcanza puntuaciones ROUGE-1/2 superiores al 99% en todos los modelos y conjuntos de datos probados, incluso con tamaños de lote de hasta 128. En contraste, las líneas base como DAGER fallan por completo en configuraciones de estructura congelada, y LAMP se degrada significativamente a medida que aumenta el tamaño del lote.
• Escalabilidad: El ataque sigue siendo efectivo para lotes grandes (hasta 128) en Qwen2.5-7B y BERT. En GPT2-Large, el rendimiento cae en ciertos conjuntos de datos (SST, RT) para lotes mayores a 32, debido a los desafíos de reconstruir secuencias largas con mecanismos de atención unidireccional.
• Evaluación de Defensas:
  • Privacidad Diferencial (DP): Se muestra que la DP es una defensa efectiva, reduciendo el éxito del ataque a casi 0% con niveles moderados de ruido ($\sigma \geq 1.5$). Sin embargo, los autores señalan que tales niveles de ruido hacen que el modelo sea inutilizable para tareas prácticas.
  • Poda de Gradientes (GP): La GP ofrece una protección frágil. Incluso con una poda agresiva (99.9%), persiste cierta fuga, y se requieren tasas de poda muy altas para mitigar el ataque, lo que impacta severamente la utilidad del modelo.

Significado y Reivindicaciones

El artículo concluye que existe una tensión fundamental entre la eficiencia de parámetros y la privacidad en los FedLLMs. La creencia predominante de que la adaptación ligera inherentemente mejora la seguridad es desafiada por estos hallazgos.

• Compromiso Privacidad-Rendimiento: El estudio destaca que, si bien los adaptadores reducen los costos de comunicación, no garantizan automáticamente la privacidad. La naturaleza de bajo rango de las actualizaciones, destinada a la eficiencia, crea inadvertidamente un subespacio específico que puede invertirse matemáticamente para recuperar datos de entrada discretos.
• Implicaciones para el Diseño: Los resultados sugieren que confiar únicamente en el ajuste fino basado en adaptadores es insuficiente para la privacidad. Los autores enfatizan la necesidad de una evaluación sistemática de los riesgos de reconstrucción en los paradigmas de FedLLM eficientes e indican que las defensas efectivas (como la DP) pueden tener un costo en la utilidad del modelo.

Este trabajo sirve como una advertencia crítica para la comunidad de que las garantías de seguridad de los FedLLMs basados en adaptadores no son tan robustas como parecen, lo que requiere nuevas estrategias defensivas que no comprometan los beneficios de eficiencia que estos modelos proporcionan.