Resumen Técnico: FLRSP – Aprendizaje Federado que Preserva la Privacidad Mediante la Selección Aleatoria de Parámetros del Modelo

1. Planteamiento del Problema

El entrenamiento de Redes Neuronales Profundas (DNN) de alta calidad generalmente requiere grandes cantidades de datos, que a menudo contienen información sensible o personal. Si bien el Aprendizaje Federado (FL) permite que múltiples clientes entrenen un modelo de forma colaborativa sin compartir datos crudos, sigue siendo vulnerable a ataques de privacidad. Específicamente, los atacantes pueden reconstruir los datos de entrenamiento originales a partir de las actualizaciones del modelo compartidas (gradientes o pesos) utilizando técnicas como el ataque de Fuga de Privacidad por Atención (APRIL) para Vision Transformers (ViT) y ataques de optimización adversarial para Redes Neuronales Convolucionales (CNN).

Los métodos existentes de mejora de seguridad enfrentan limitaciones significativas:

• Privacidad Diferencial (DP): Añade ruido a las actualizaciones para resistir ataques, pero inevitablemente degrada la precisión del modelo.
• Métodos de Posición Fija: Efectivos para ViT al anular las actualizaciones de las incrustaciones posicionales, pero fallan cuando los modelos se entrenan desde cero (ya que todas las capas necesitan actualizarse) y no son aplicables a CNN.
• Conceptos Previos de Selección Aleatoria: El trabajo anterior sobre gradientes seleccionados aleatoriamente se limitaba a arquitecturas ViT y al algoritmo de Descenso de Gradiente Estocástico Federado (FedSGD).

El desafío central es desarrollar un método de FL que preserve la privacidad, sea robusto frente a ataques de restauración de imágenes de última generación en diferentes arquitecturas (ViT y CNN) y algoritmos (FedSGD y FedAvg), sin sacrificar la precisión de clasificación.

2. Metodología: FLRSP

Los autores proponen Aprendizaje Federado mediante Selección Aleatoria de Parámetros del Modelo (FLRSP). En este marco, cada cliente selecciona aleatoriamente un subconjunto de parámetros del modelo (gradientes en FedSGD o pesos en FedAvg) para compartirlos con el servidor central, mientras reemplaza los parámetros no seleccionados con valores cero.

Mecanismo Central

1. Selección Aleatoria: Antes de la transmisión, cada cliente aplica una secuencia binaria aleatoria $B_{n,k,i}^l \in \{0, 1\}$ a los parámetros del modelo $\theta_{n,k,i}^l$ (o pesos $W_{n,k,i}^m$).
   • Si $B=1$, el parámetro se comparte.
   • Si $B=0$, el parámetro se establece en cero.
   • La probabilidad de ocurrencia de cero se denota como $R$.
2. Agregación del Servidor: El servidor central agrega las actualizaciones recibidas. Crucialmente, la fórmula de agregación tiene en cuenta la dispersión introducida por la selección aleatoria. Para FedSGD, la actualización del modelo global $w_{k,i}^{l+1}$ se calcula como:
   $$w_{k,i}^{l+1} = w_{k,i}^l - \eta \frac{\sum_{n=1}^N \bar{\theta}_{n,k,i}^l}{\sum_{n=1}^N B_{n,k,i}^l}$$
   (Si el denominador es cero, el parámetro permanece sin cambios). Esto asegura que el modelo global se actualice utilizando solo los gradientes no nulos, normalizando efectivamente la tasa de aprendizaje en función del número de parámetros participantes.
3. Secuencias Dinámicas: A diferencia de los enfoques de "pesos congelados" donde capas específicas se excluyen permanentemente, FLRSP utiliza diferentes secuencias aleatorias para cada época (en FedAvg) o lote (en FedSGD). Esto asegura que todos los parámetros se actualicen eventualmente con el tiempo, evitando la pérdida permanente de información.

Base Teórica

El artículo proporciona un análisis de convergencia que demuestra que FLRSP mantiene propiedades de convergencia estables similares a las del FL estándar. La tasa de aprendizaje efectiva se ajusta mediante el factor $(1 - RN)$, donde $N$ es el número de clientes. Dado que la tasa de aprendizaje permanece positiva, se demuestra matemáticamente que el método converge.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Método FL Novel: Un nuevo enfoque para defenderse de los atacantes mediante la selección aleatoria de parámetros del modelo global calculados en servidores locales, aplicable tanto a arquitecturas ViT como CNN.
2. Generalización: La expansión del concepto de selección aleatoria (anteriormente limitado a ViT y FedSGD) para incluir FedAvg y arquitecturas ResNet.
3. Verificación Empírica: Experimentos exhaustivos que demuestran que FLRSP supera a los métodos de última generación (específicamente Privacidad Diferencial y métodos de Posición Fija) en términos tanto de robustez frente a ataques como de precisión de clasificación.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos CIFAR-10 utilizando ViT (vit_small_patch16_224) y ResNet34 bajo los protocolos FedSGD y FedAvg.

Precisión de Clasificación

• ViT: FLRSP mantuvo una precisión comparable al FL estándar tanto para modelos preentrenados ajustados como para modelos entrenados desde cero. En contraste, el método de Posición Fija sufrió una degradación significativa de la precisión al entrenar desde cero porque impide las actualizaciones de la capa de incrustación posicional.
• ResNet: FLRSP logró una alta precisión en diversos valores de $R$ (0.2, 0.5, 0.8). Mientras que la Privacidad Diferencial (DP) mostró degradación de la precisión a medida que aumentaba la intensidad de la privacidad ($\epsilon$), FLRSP mantuvo un rendimiento cercano a la línea base.
• Datos No I.I.D.: Bajo distribuciones de datos heterogéneas (distribución Dirichlet, $\alpha=0.1$), FLRSP mantuvo una mayor precisión que DP.

Robustez Frente a Ataques

El estudio evaluó la resistencia contra dos ataques de última generación utilizando la Medida de Similitud Estructural (SSIM) entre las imágenes originales y restauradas:

• APRIL (ViT): El FL estándar permitió la reconstrucción visual completa. FLRSP (incluso con $R=0.2$) previno eficazmente la reconstrucción, logrando una robustez equivalente al método de Posición Fija.
• Optimización Adversarial (CNN): El FL estándar y DP (incluso con bajo $\epsilon$) permitieron una restauración significativa de imágenes (valores de SSIM a menudo > 0.6). FLRSP redujo drásticamente los valores de SSIM (a menudo < 0.1), haciendo la reconstrucción visual casi imposible.
• Comparación: FLRSP logró consistentemente valores de SSIM más bajos (indicando mejor privacidad) que DP, manteniendo al mismo tiempo una mayor precisión de clasificación.

5. Significado y Afirmaciones

El artículo afirma que FLRSP aborda con éxito el compromiso entre privacidad y utilidad en el Aprendizaje Federado. Mediante la selección aleatoria de parámetros, el método interrumpe las ecuaciones matemáticas requeridas para los ataques de restauración de imágenes basados en gradientes (específicamente rompiendo la similitud del coseno en la optimización adversarial y las ecuaciones de forma cerrada en APRIL).

Los autores enfatizan que FLRSP es una solución generalizable aplicable a modelos arbitrarios (incluyendo ViT y ResNet) y algoritmos (FedSGD y FedAvg). A diferencia de los métodos anteriores que o bien degradan la precisión (DP) o son específicos de la arquitectura (Posición Fija), FLRSP ofrece un mecanismo de defensa robusto que preserva el rendimiento del modelo. El estudio concluye que FLRSP es un método viable y efectivo de mejora de seguridad para escenarios prácticos de aprendizaje federado.