Approximate and Weighted Data Reconstruction Attack in Federated Learning

Resumen Técnico: Ataque de Reconstrucción de Datos Aproximado y Ponderado en Aprendizaje Federado

Enunciado del Problema
El Aprendizaje Federado (FL) permite que múltiples clientes entrenen colaborativamente modelos de aprendizaje automático sin compartir datos crudos, un paradigma ampliamente adoptado en dominios sensibles a la privacidad como la atención médica y los vehículos autónomos. Aunque el FL suele considerarse protector de la privacidad, estudios recientes han demostrado que los adversarios pueden recuperar los datos de entrenamiento privados de los clientes a partir de las actualizaciones de modelo compartidas mediante ataques de reconstrucción de datos.

Una limitación crítica de los métodos de ataque existentes es su incapacidad para atacar eficazmente el algoritmo de Promedio Federado (FedAvg) ampliamente utilizado en entornos realistas. En el FedAvg estándar, los clientes realizan múltiples épocas de entrenamiento local ($E > 1$) sobre múltiples mini-lotes ($B > 1$) antes de transmitir una única actualización de modelo acumulada al servidor. Los ataques existentes, que a menudo dependen de replicar la trayectoria de entrenamiento del cliente, fallan en este régimen de "múltiples pasos" porque el servidor (atacante) carece de visibilidad sobre los estados intermedios del modelo y el orden específico de mezcla de datos que ocurre en cada época. Este problema de "dinámicas faltantes" hace que el problema de reconstrucción sea en gran medida intratable para los métodos actuales.

Metodología: Ataque Aproximado y Ponderado (AWA)
Para abordar la intratabilidad de reconstruir datos a partir de actualizaciones de FedAvg de múltiples pasos, los autores proponen el método de Ataque Aproximado y Ponderado (AWA). El enfoque consta de dos componentes principales:

1. Aproximación Basada en Interpolación:
   La innovación central consiste en transformar el problema de reconstrucción de múltiples épocas intratable en uno tratable. En lugar de intentar replicar las dinámicas de entrenamiento ocultas exactas (lo cual implica una mezcla de datos desconocida), el atacante aproxima las actualizaciones de modelo intermedias para cada época.

   • El método interpola linealmente entre los parámetros iniciales del modelo ($\theta$) y los parámetros actualizados finales ($\theta^+$) recibidos del cliente.
   • Para un cliente que entrena durante $E$ épocas, los parámetros aproximados $\tilde{\theta}_e$ al final de la época $e$ se calculan como: $\tilde{\theta}_e = \theta + \frac{e}{E}(\theta^+ - \theta)$.
   • La actualización aproximada para cada época se deriva luego como la diferencia entre los parámetros interpolados consecutivos. Esto permite que el atacante trate el problema de múltiples épocas como una serie de problemas independientes de una sola época (Escenario 3), reduciendo significativamente la sobrecarga computacional y evitando la necesidad de conocer la partición exacta de los mini-lotes.

2. Función de Pérdida Ponderada por Capas:
   Reconociendo que las diferentes capas en una red neuronal contribuyen de manera distinta a la calidad de la reconstrucción, los autores introducen una función de pérdida ponderada.

   • Ponderación Lineal: Se asignan pesos a diferentes capas basándose en la arquitectura de la red (por ejemplo, capas convolucionales, de normalización por lotes y totalmente conectadas). Los pesos aumentan linealmente desde la primera hasta la última capa de cada tipo.
   • Mejora Impulsada por Errores: Para evitar sesgos y refinar aún más el ataque, el método identifica las capas con grandes errores de coincidencia (basados en la media y la varianza de las actualizaciones) y les asigna un peso fijo y mejorado.
   • Optimización Bayesiana: Dado que el ajuste manual de estos pesos es ineficiente, los autores emplean la optimización bayesiana para determinar sistemáticamente los parámetros de peso óptimos. La función objetivo minimiza la distancia coseno entre la actualización de modelo reconstruida y la actualización aproximada objetivo.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Viabilidad en FedAvg Realista: La aproximación basada en interpolación propuesta hace que los ataques de reconstrucción de datos sean factibles y efectivos en escenarios realistas de FedAvg que involucran múltiples épocas locales y mini-lotes, un entorno donde los métodos anteriores tienen dificultades.
2. Optimización Sistemática de Pesos: La introducción de una función de pérdida ponderada por capas, donde los pesos se ajustan mediante optimización bayesiana, mejora significativamente la calidad de la reconstrucción en comparación con enfoques sin ponderar o ponderados empíricamente.
3. Conciencia Arquitectónica y Escalabilidad: El método está diseñado para ser consciente de la arquitectura en lugar de estar vinculado a una estructura de red específica. Puede reconstruir datos a partir de actualizaciones filtradas en diferentes etapas del entrenamiento y demuestra robustez frente a variaciones en los tamaños de los conjuntos de datos y las configuraciones de entrenamiento.

Resultados Experimentales
Los autores evaluaron AWA en datos de ImageNet utilizando una arquitectura ResNet18, comparándolo con métodos de vanguardia: iDLG, AGIC y GENG.

• Métricas de Rendimiento: AWA superó consistentemente a los métodos existentes en múltiples métricas: Relación Señal-Ruido de Pico (PSNR), Medida de Similitud Estructural (SSIM) y Similitud Perceptiva Aprendida de Parches de Imagen (LPIPS). Por ejemplo, en un escenario con 8 imágenes, 32 épocas y 1 mini-lote, AWA logró un PSNR de 15.11 y un SSIM de 0.800, en comparación con 10.71 y 0.468 de GENG, respectivamente.
• Calidad Visual: Las imágenes reconstruidas mediante AWA exhibieron contornos más nítidos y preservaron detalles de textura más ricos en comparación con las salidas borrosas o distorsionadas de otros métodos.
• Escalabilidad: El método permaneció efectivo incluso cuando aumentó el número de imágenes ($N$), épocas ($E$) y mini-lotes ($B$). Mientras que otros métodos (iDLG, AGIC) se volvieron computacionalmente poco prácticos para grandes valores de $N$ (por ejemplo, $N \ge 64$), AWA mantuvo una alta calidad de reconstrucción.
• Estudios de Ablación: Los experimentos confirmaron que, aunque la interpolación es el paso habilitador para los ataques de múltiples épocas, la ponderación lineal por capas proporcionó la mayor ganancia de rendimiento, con la mejora impulsada por errores ofreciendo un refinamiento adicional consistente.

Significado y Afirmaciones
El artículo afirma que el método AWA expone vulnerabilidades críticas de privacidad en los sistemas actuales de FL, demostrando específicamente que la suposición de seguridad en las actualizaciones de FedAvg de múltiples pasos es defectuosa. Al reconstruir con éxito datos de entrenamiento crudos a partir de actualizaciones de modelo agregadas en entornos realistas, el trabajo subraya la necesidad inmediata de mecanismos de defensa robustos. Los autores posicionan sus hallazgos como un motivador para desarrollar contramedidas rigurosas que fortalezcan las garantías de seguridad de los marcos de FL frente a tales violaciones de privacidad. El trabajo no propone una defensa, sino que resalta la gravedad de la amenaza para informar la futura investigación en seguridad.