Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization

Resumen Técnico: Mejora del Aprendizaje Federado Eficiente en Parámetros con Refactorización Diferencialmente Privada

1. Declaración del Problema

El artículo aborda una vulnerabilidad crítica en el Aprendizaje Federado (FL) cuando se aplica a Modelos de Lenguaje Grande (LLM) utilizando Adaptación de Bajo Rango (LoRA) bajo restricciones de Privacidad Diferencial (DP). Aunque LoRA permite un ajuste fino eficiente actualizando solo matrices de bajo rango ($A$ y $B$) en lugar de los parámetros completos del modelo, combinarlo con DP Global (donde un servidor de confianza añade ruido para proteger los datos de los clientes) introduce una degradación severa de la utilidad.

El problema central surge de una incompatibilidad matemática en la agregación:

• Agregación Ideal: El promedio federado verdadero de las actualizaciones de pesos debería ser el promedio de los productos: $\text{Promedio}(B_i \cdot A_i)$.
• Agregación FedLoRA Estándar: Los métodos existentes promedian independientemente los módulos de bajo rango: $\text{Promedio}(B_i) \cdot \text{Promedio}(A_i)$.
• El Conflicto: Dado que el promedio de los productos no es igual al producto de los promedios, FedLoRA estándar introduce errores matemáticos de "término cruzado". Cuando se inyecta ruido DP en estos módulos desajustados, el ruido interactúa multiplicativamente con estos errores, amplificando el impacto negativo y conduciendo a una precisión del modelo subóptima. Los intentos existentes de mitigar esto (por ejemplo, congelar un módulo LoRA) restringen la expresividad del modelo y la convergencia.

2. Metodología: FedPower y PowerDP

Los autores proponen FedPower, un marco que reconfigura la tubería de agregación del lado del servidor para eliminar errores estructurales, junto con un mecanismo novedoso llamado PowerDP para la refactorización privada de bajo rango.

Flujo de Trabajo de FedPower:

1. Lado del Cliente: Los clientes realizan entrenamiento local estándar en sus módulos LoRA ($A_i, B_i$) y envían estas actualizaciones ligeras al servidor.
2. Reconstrucción del Lado del Servidor: En lugar de promediar $A$ y $B$ por separado, el servidor reconstruye explícitamente las actualizaciones equivalentes de rango completo ($\Delta W_i = B_i A_i$) para cada cliente.
3. Recorte y Agregación: El servidor recorta estas matrices de rango completo para acotar la sensibilidad y calcula el promedio exacto ($\Delta W_{global} = \text{Promedio}(\Delta W_i)$). Este paso elimina los errores matemáticos de término cruzado inherentes a FedLoRA estándar.
4. Refactorización Privada: La actualización agregada de rango completo se proyecta de nuevo en un espacio de bajo rango utilizando PowerDP.

Mecanismo PowerDP:
PowerDP es un algoritmo de factorización de bajo rango diferencialmente privado diseñado para evitar las trampas de la perturbación de salida ingenua (añadir ruido a las matrices finales), que a menudo abruma las señales en subespacios de bajo rango.

• Inyección de Ruido en el Proceso: En lugar de una perturbación post-hoc, PowerDP integra la inyección de ruido directamente en una secuencia de iteración de subespacio simultánea (iteración de potencia).
• Proceso:
  1. Inicializar una matriz de proyección aleatoria $Q$.
  2. Proyectar iterativamente la matriz de rango completo $W$ sobre los espacios de filas y columnas, ortonormalizando en cada paso para asegurar la convergencia a los vectores singulares dominantes.
  3. Paso Crucial: Se inyecta ruido gaussiano calibrado en las matrices de proyección no normalizadas ($\tilde{B}$ y $\tilde{A}$) antes de la ortonormalización final.
  4. La ortonormalización final (Gram-Schmidt) se aplica después de la inyección de ruido.
• Beneficio: Al inyectar ruido antes de la normalización estructural final, el mecanismo preserva la ortogonalidad de las matrices resultantes y absorbe el ruido en la orientación del subespacio en lugar de destruir la magnitud de los valores singulares.

3. Contribuciones Clave

1. Marco FedPower: Un marco FL novedoso que resuelve la incompatibilidad estructural de agregación en FedLoRA estándar al desplazar la agregación al espacio de rango completo antes de la refactorización privada, eliminando así los errores de término cruzado y evitando la acumulación del ruido DP.
2. Algoritmo PowerDP: Un mecanismo de refactorización de bajo rango diferencialmente privado que incrusta ruido gaussiano calibrado en la secuencia de iteración de potencia. Esto preserva los vectores singulares principales y las señales del modelo mientras satisface garantías rigurosas de DP.
3. Garantías Teóricas: El artículo proporciona pruebas rigurosas que establecen límites estrictos de sensibilidad $\ell_2$ para proyecciones de subespacio. Demuestra que FedPower satisface tanto la Privacidad Diferencial $(\epsilon, \delta)$ a nivel de muestra como a nivel de cliente.
4. Validación Empírica: Experimentos extensos en cuatro tareas de referencia GLUE (MNLI, SST-2, QQP, QNLI) utilizando RoBERTa-large muestran que FedPower supera a las líneas base existentes de DP-FedLoRA (incluido FFA-LoRA) en precisión a través de diversos presupuestos de privacidad ($\epsilon \in \{3, 6, 9\}$) con una sobrecarga computacional negligible.
5. Robustez de Privacidad: La evaluación contra tres ataques de inferencia de membresía (Modelo Sombra, Basado en Pérdida y Calibración) confirma que FedPower reduce las tasas de éxito del ataque al nivel de una adivinanza aleatoria, protegiendo efectivamente los datos de los clientes.

4. Resultados Experimentales

• Precisión: En configuraciones no privadas, FedPower supera a FedLoRA estándar en ~1.47 puntos y a FFA-LoRA en ~0.71 puntos en promedio. En configuraciones privadas (por ejemplo, $\epsilon=3$), FedPower mantiene una precisión promedio del 85.18%, superando significativamente a FedLoRA (83.53%) y FFA-LoRA (84.98%).
• Convergencia: FedPower converge más rápido que las líneas base, alcanzando la precisión objetivo en menos rondas de comunicación y con menos bits transferidos.
• Comparación de Inyección de Ruido: El estudio compara PowerDP contra Perturbación de Entrada (ruido antes de la factorización) y Perturbación de Salida (ruido después de la factorización). La perturbación de salida resultó en un fallo catastrófico de la precisión (por ejemplo, 60.59% en $\epsilon=3$), mientras que PowerDP mantuvo una alta precisión al preservar la integridad de la señal durante la factorización.
• Sobrecarga: La sobrecarga computacional de la refactorización del lado del servidor es mínima (menos de un 10% de aumento en el tiempo de ejecución) y los clientes no incurren en costos adicionales.

5. Significado y Afirmaciones

El artículo afirma que FedPower cierra exitosamente la brecha entre eficiencia (vía LoRA), privacidad (vía DP Global) y precisión. Al desacoplar el espacio de optimización (bajo rango en los clientes) del espacio de acotamiento de privacidad (rango completo en el servidor), el marco evita los errores matemáticos que suelen afectar al DP-FL con LoRA.

Los autores afirman que su enfoque proporciona una defensa demostrablemente segura contra ataques de inferencia de membresía aguas abajo, manteniendo al mismo tiempo la alta utilidad requerida para el ajuste fino práctico de LLM. El trabajo se posiciona como una solución para el FL de silos cruzados (por ejemplo, salud, finanzas) donde la sensibilidad de los datos es alta, y sugiere aplicabilidad futura al FL de dispositivos cruzados y distribuciones de datos heterogéneas (no IID), aunque esto se señala como una dirección para trabajo futuro y no como un logro actual.