Resumen Técnico: NeuroImprint – Una Puerta Trasera de Privacidad en el Ajuste Fino de Modelos de Lenguaje Federados

1. Planteamiento del Problema

El Aprendizaje Federado (FL, por sus siglas en inglés) permite que múltiples partes realicen el ajuste fino colaborativo de modelos de lenguaje extensos (LLMs) sin compartir datos brutos, una necesidad dada la sensibilidad de los conjuntos de datos específicos de dominios en la salud, las finanzas y el derecho. Para gestionar el coste computacional del ajuste fino completo, el Ajuste Fino Eficiente en Parámetros (PEFT) se ha convertido en el estándar, congelando el modelo base y entrenando solo adaptadores ligeros (por ejemplo, LoRA o adaptadores seriales/paralelos).

Sin embargo, este paradigma enfrenta una vulnerabilidad crítica de privacidad. Aunque el FL está diseñado para proteger los datos, es susceptible a ataques de reconstrucción de datos, donde un servidor de parámetros malicioso intenta recuperar las muestras originales de entrenamiento a partir de las actualizaciones del modelo. Los ataques de reconstrucción existentes enfrentan limitaciones significativas en el contexto del ajuste fino moderno de LLMs:

1. Complejidad del Optimizador: La mayor parte del ajuste fino de LLMs utiliza optimizadores con estado (Adam/AdamW), que entrelazan los gradientes a través de los pasos mediante el momentum y la varianza adaptativa, destruyendo la información del gradiente paso a paso necesaria para la inversión tradicional.
2. Secuencias Discretas: Reconstruir secuencias de tokens largas y discretas es inherentemente más difícil que reconstruir píxeles de imágenes continuas; los errores pequeños rompen la sintaxis y la semántica.
3. Interferencia de Lotes (Batch): Los lotes locales grandes causan colisiones de gradientes, lo que dificulta el aislamiento de muestras individuales.
4. Sigilo: Los ataques deben no degradar la utilidad del modelo para evitar ser detectados.

El artículo postula que las defensas actuales (como la agregación segura) y las metodologías de ataque existentes son insuficientes contra estos desafíos específicos en el entorno de PEFT-FL.

2. Metodología: NeuroImprint

Los autores proponen NeuroImprint, un ataque de reconstrucción de datos que funciona como una puerta trasera de privacidad (privacy backdoor). El adversario (el servidor de parámetros) inicializa maliciosamente un adaptador PEFT conectado a la capa de incrustación (embedding) del modelo. Este adaptador está diseñado para "memorizar" las actualizaciones por muestra durante el ajuste fino local del cliente, permitiendo al servidor invertir analíticamente estas actualizaciones para recuperar el texto de entrenamiento.

Principios de Diseño Centrales

NeuroImprint aborda los cuatro desafíos del ajuste fino de LLM mediante elecciones arquitectónicas y algorítmicas específicas:

• Desafío 1: Reconstrucción de Tokens Discretos.
  En lugar de optimizar directamente en el espacio de tokens discretos, NeuroImprint opera en el espacio de incrustaciones (embeddings) continuo. El ataque recupera las incrustaciones de texto exactas (o casi exactas) de forma analítica y luego las mapea determinísticamente de vuelta a secuencias de tokens.

• Desafío 2: Optimizadores con Estado (Adam/AdamW).
  La inversión estándar falla porque Adam acumula estado a lo largo de muchos pasos. NeuroImprint impone una activación temporal de muestra única. Asegura que cada "neurona de memorización" sea actualizada por como máximo un ejemplo de entrenamiento durante toda la trayectoria de entrenamiento local. Esto evita la mezcla de gradientes y el entrelazamiento de estados, reduciendo el problema de inversión de un proceso complejo de múltiples pasos a una reversión tratable de un solo paso.

• Desafío 3: Escalamiento de Grandes Lotes (Batch).
  Para prevenir colisiones entre muestras en lotes grandes, el ataque emplea una organización de un-neurona-por-una-muestra. La puerta trasera se divide en muchos compartimentos (bins) de reconstrucción independientes, donde cada muestra es dirigida a una neurona única.

• Desafío 4: Sigilo y Preservación de la Utilidad.
  La puerta trasera debe ser invisible. NeuroImprint aprovecha la invariancia de normalización de LayerNorm. Al diseñar la capa de salida de la puerta trasera con vectores de fila idénticos y sesgos fijos, los valores de salida son constantes a través de los tokens y las dimensiones ocultas. LayerNorm cancela matemáticamente estos desplazos constantes, asegurando que la puerta trasera contribuya con cero al error (loss) y al rendimiento del modelo, lo que la hace indetectable mediante métricas de rendimiento.

Componentes Arquitectónicos

La puerta trasera $\Delta_{adv}$ es un adaptador paralelo insertado después del bloque de incrustación de palabras:

1. Capa de Proyección ($L_1$): Utiliza PCA para proyectar las incrustaciones de alta dimensión a una dimensión inferior ($\hat{h}$), reduciendo la carga computacional.
2. Capa de Memorización ($L_2$): Una capa lineal con una configuración de pesos específica (vectores de fila idénticos) y una distribución de sesgo derivada de un conjunto de datos auxiliar ($D_{aux}$). Esta capa crea $m$ intervalos distintos.
3. Unidad Lineal de Rango (RaLU): Una función de activación novedosa que reemplaza a ReLU. A diferencia de ReLU, que crea un patrón de activación de "pirámide" (múltiples muestras activando las mismas neuronas), RaLU establece un límite superior para cada neurona. Esto obliga a cada muestra a activar exactamente una neurona única, asegurando el patrón de "activación lineal" requerido para una inversión limpia bajo Adam/AdamW.
4. Capa de Salida ($L_3$): Mapea los valores memorizados de vuelta a la dimensión de incrustación original con valores constantes a través de los tokens, asegurando la cancelación de LayerNorm.

Ejecución del Ataque

1. Inicialización: El servidor diseña la puerta trasera utilizando un conjunto de datos auxiliar ($D_{aux}$) para definir los intervalos de sesgo.
2. Objetivo: El servidor envía la puerta trasera a un cliente víctima específico (o a todos los clientes, pero con diferentes sesgos para los no víctimas para asegurar que solo las actualizaciones de la víctima sean significativas).
3. Ajuste Fino: El cliente realiza el ajuste fino del modelo. Las neuronas de la puerta trasera se actualizan basándose en los datos locales del cliente.
4. Reconstrucción: Tras la agregación (o si la agregación segura es evadida mediante el aislamiento de la víctima), el servidor recupera los parámetros actualizados de la capa de memorización.
   • SGD: La reconstrucción exacta es posible mediante la división de forma cerrada de los gradientes de peso y sesgo: $\tilde{x} = \frac{\Delta W}{\Delta b}$.
   • Adam/AdamW: La reconstrucción aproximada es posible invirtiendo el signo de los gradientes, ya que la actualización de un solo paso está aislada.

3. Contribuciones Clave

• Nuevo Vector de Ataque: Introducción de NeuroImprint, el primer ataque de reconstrucción de datos dirigido específicamente al PEFT federado de modelos de lenguaje, superando las limitaciones de los ataques previos basados en visión o inversión de gradientes.
• Marco Teórico: Análisis matemático riguroso que demuestra cómo evadir los optimizadores con estado (Adam/AdamW) y la agregación segura mediante "activación lineal" e inversión de forma cerrada.
• Mecanismo de Sigilo: Un diseño que garantiza cero degradación en el rendimiento al explotar la invariancia de LayerNorm, haciendo que el ataque sea indetectable mediante métricas de utilidad estándar.
• Validación Empírica: Evaluación exhaustiva en cuatro modelos (BERT, GPT-2, Qwen2, Llama3.2) y cuatro conjuntos de datos diversos (AGNews, SQuAD, EMRQA-mSQuAD, GSM8K).

4. Resultados Experimentales

Los autores evaluaron NeuroImprint bajo varios entornos, incluyendo diferentes optimizadores, tamaños de modelo y distribuciones de datos.

• Rendimiento de Reconstrucción:

  • Tasa de Reconstrucción: El ataque reconstruyó con éxito entre el 59% y el 79% de todas las muestras de ajuste fino en diferentes modelos y conjuntos de datos.
  • Fidelidad Semántica:
    • Bajo SGD, la reconstrucción fue casi exacta, con puntuaciones de similitud semántica que a menudo superaban el 0.99.
    • Bajo AdamW, la reconstrucción fue aproximada pero seguía siendo altamente coherente semánticamente, con puntuaciones de similitidad que oscilaban entre 0.52 y 0.92 (dependiendo del conjunto de datos y el modelo).
  • Ejemplo: En el conjunto de datos SQuAD, SGD produjo una recuperación de texto casi perfecta, mientras que AdamW produjo texto con distorsiones gramaticales menores que podrían ser refinadas posteriormente por un LLM.

• Escalabilidad y Robustez:

  • Tamaño de Lote (Batch Size): El rendimiento se mantuvo estable a medida que el número de compartimentos de reconstrucción ($m$) escalaba en relación con el tamaño del conjunto de datos ($d$). Una relación de $m/d > 2$ produjo resultados óptimos.
  • Datos No-IID: El ataque siguió siendo efectivo incluso con distribuciones de datos altamente sesgadas (bajo $\alpha$ de Dirichlet), aunque la tasa de reconstrucción disminuyó ligeramente.
  • Transferencia entre Conjuntos de Datos: El ataque demostró transferibilidad cuando el conjunto de datos auxiliar ($D_{aux}$) difería del conjunto de datos objetivo ($D_{target}$), logrando tasas de reconstrucción del 42% al 73% incluso con desajustes de dominio (ej. Medical QA a General QA).
  • Compatibilidad con LoRA: El ataque siguió siendo efectivo cuando los bloques transformer se ajustaban mediante LoRA, ya que la puerta trasera depende de los gradientes que fluyen a través de la capa de incrustación, la cual permanece independiente del tipo de adaptador en los bloques transformer.

• Sigilo: Los experimentos confirmaron que la presencia de la puerta trasera causó ninguna degradación medible en la precisión, pérdida o puntuaciones F1 del modelo, validando la teoría de cancelación de LayerNorm.

5. Significado y Reivindicaciones

El artículo afirma que NeuroImprint expone un riesio crítico de privacidad en los procesos actuales de ajuste fino de lenguaje federado de última generación.

• Cambio de Paradigma: Desafía la suposición de que el PEFT y el Aprendizaje Federado proporcionan suficientes garantías de privacidad por sí solos. Los autores argumentan que los mismos mecanismos diseñados para la eficiencia (congelar modelos base, usar adaptadores) y la robustez (optimizadores con estado) pueden ser explotados para crear una "puerta trasera de privacidad".
• Practicidad: El ataque es práctico porque no requiere acceso a los gradientes brutos (solo la actualización agregada final) y funciona bajo restricciones realistas (lotes grandes, optimizadores Adam/AdamW).
• Implicaciones de Defensa: El artículo sugiere que las defensas existentes, como la agregación segura, son insuficientes contra ataques de creación de modelos. Destaca la necesidad de realizar controles de procedencia de adaptadores y auditorías de artefactos de parámetros no estándar (ej. vectores de fila repetidos o patrones de sesgo específicos) antes del despliegue.

Los autores concluyen que, si bien su trabajo demuestra una vulnerabilidad, su intención es impulsar el desarrollo de salvaguardas más fuertes para el ajuste fino de modelos de lenguaje federados, asegurando que los beneficios de privacidad del FL no se vean socavados por puertas traseras sigilosas.