Resumen Técnico: FedKT-CSD para Aprendizaje Federado de Un Solo Paso (One-Shot)

Planteamiento del Problema

El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos a través de datos descentralizados preservando la privacidad, pero típicamente sufre de una alta sobrecarga de comunicación y una convergencia lenta, particularmente cuando las distribuciones de datos de los clientes son heterogéneas. El Aprendizaje Federado de Un Solo Paso (OSFL) aborda las restricciones de comunicación limitando la interacción a una sola ronda. Sin embargo, los métodos de OSFL existentes enfrentan un compromiso crítico: a menudo carecen de garantías formales de privacidad o requieren un entrenamiento local computacionalmente costoso (por ejemplo, entrenar generadores locales o destilar modelos). Cuando se aplica la Privacidad Diferencial (DP) de forma retrospectiva a estos métodos, la alta dimensionalidad de los parámetros del modelo infla la sensibilidad, degradando la utilidad. Además, muchos enfoques actuales transmiten pesos de modelos o datos destilados que pueden filtrar información sobre los registros de entrenamiento individuales.

El desafío central abordado por este trabajo es: ¿Puede diseñarse un marco que aproveche el intercambio de representaciones en un entorno de OSFL para lograr garantías de privacidad formales y una computación ligera en el cliente simultáneamente?

Metodología: FedKT-CSD

Los autores proponen FedKT-CSD (Transferencia de Conocimiento Federada mediante Datos Sintéticos Colaborativos), un marco inspirado en la compresión de imágenes neuronal. El método utiliza un autoencoder preentrenado y congelado públicamente (Codificador $E$ y Decodificador $D$) como un espacio latente compartido, eliminando la necesidad de entrenamiento o adaptación en el dispositivo.

1. Procesamiento en el Cliente (Sin Entrenamiento)

Cada cliente $i$ posee un conjunto de datos privado $D_i$. El proceso implica una única pasada hacia adelante (forward pass):

• Codificación: Las imágenes se codifican en vectores latentes compactos $z_{i,j} = E(x_{i,j})$.
• Recorte (Clipping): Los vectores latentes se recortan a una norma $\ell_2$ acotada $R$ para asegurar los límites de sensibilidad para DP.
• Computación de Estadísticas: Para cada clase $c$ presente en los datos del cliente, el cliente computa tres estadísticas aditivas:
  • Suma de latentes recortados: $m_c^i = \sum \bar{z}_{i,j}$
  • Suma de productos exteriores: $M_c^i = \sum \bar{z}_{i,j}\bar{z}_{i,j}^\top$
  • Conteo de muestras: $n_c^i$
• Transmisión: Los clientes cargan únicamente estos resúmenes ligeros (vectores y matrices) al servidor. No se transmite ningún dato bruto ni pesos del modelo.

2. Agregación en el Servidor e Inyección de Ruido

El servidor agrega las estadísticas utilizando Agregación Segura, que computa sumas elemento a elemento entre clientes sin revelar las contribuciones individuales.

• Sumas Globales: $S_{\mu,c} = \sum m_c^i$, $S_{\Sigma,c} = \sum M_c^i$, y $n_c = \sum n_c^i$.
• Privacidad Diferencial: Se añade ruido Gaussiano calibrado a las sumas agregadas ($\tilde{S}_{\mu,c}$ y $\tilde{S}_{\Sigma,c}$) basado en la sensibilidad del umbral de recorte $R$. El presupuesto de privacidad $(\epsilon, \delta)$ se divide entre las consultas de media y covarianza.
• Post-procesamiento: El servidor recupera la media y la covarianza con ruido, aplica corrección de sesgo (para compensar la varianza del ruido en la media) y proyección Semidefinida Positiva (PSD) (para asegurar un muestreo válido).

3. Generación de Datos Sintéticos

El servidor muestrea vectores latentes de las distribuciones Gaussianas condicionales a la clase resultantes $\mathcal{N}(\mu_c^{DP}, \Sigma_c^{DP})$ y los decodifica usando el decodificador congelado $D$ para generar un conjunto de datos sintéticos protegidos por DP $X^*$. Este conjunto de datos se utiliza luego para entrenar un modelo global o para tareas descendentes (downstream).

Contribuciones Clave

1. Generación de Datos Sintéticos con DP de un Solo Paso: El artículo demuestra que los autoencoders de compresión profunda proporcionan un espacio latente compartido donde las estadísticas condicionales a la clase pueden computarse y agregarse con garantías formales de $(\epsilon, \delta)$-DP. Esto permite un flujo de trabajo que requiere una sola ronda de comunicación y cero entrenamiento en el dispositivo.
2. Rendimiento Competitivo bajo DP: A pesar de operar bajo estrictas restricciones de privacidad, FedKT-CSD supera a las líneas base de FL de un solo paso no privadas (ej. FedSD2C, DENSE, CoBoosting) en diversos conjuntos de datos y entornos de heterogeneidad.
3. Invariancia a la Heterogeneidad y Escala: A diferencia de los enfoques de agregación de modelos que sufren de modelos locales sesgados en entornos heterogéneos, FedKT-CSD es invariante al grado de heterogeneidad de los datos y al número de clientes. La naturaleza aditiva de las estadísticas asegura que la distribución global se reconstruya de manera idéntica independientemente de la partición de los datos.
4. Eficiencia Práctica: El método es altamente eficiente, con cargas útiles de los clientes en el régimen de los Kilobytes (ej. ~327 KB para 10 clases) y tiempos de computación de segundos en hardware de consumo, lo que lo hace desplegable en entornos con restricciones de ancho de banda y cómputo.
5. Utilidad Versátil Descendente: El conjunto de datos sintético generado consiste en imágenes reales (no características fijas), lo que permite su uso para entrenar cualquier arquitectura, preentrenamiento para FL personalizado, o como datos auxiliares para métodos de múltiples rondas.

Resultados Experimentales

Los autores evaluaron FedKT-CSD en cuatro benchmarks de clasificación de imágenes: ImageNette, CIFAR-100, EuroSAT y BloodMNIST.

• Rendimiento vs. Líneas Base: FedKT-CSD alcanzó resultados de vanguardia entre los métodos de un solo paso, superando a menudo a las líneas base no privadas. Por ejemplo, en CIFAR-100 bajo heterogeneidad patológica (donde cada cliente ve solo 10 de 100 clases), las líneas base colapsaron a ~21% de precisión, mientras que FedKT-CSD mantuvo ~29%. En EuroSAT, alcanzó ~80% de precisión frente al ~55% de la mejor línea base.
• Evaluación de Privacidad: El método satisface la $(\epsilon=10, \delta=10^{-5})$-DP formal. Los Ataques de Inferencia de Membresía (MIA) arrojaron un AUC de 0.501 (adivinación aleatoria), confirmando la incapacidad de inferir la participación de registros individuales.
• Escalabilidad: El método escala linealmente hasta 1,000 clientes sin degradación del rendimiento, mientras que las líneas base se degradan significativamente a medida que los datos se dispersan más.
• Estudios de Ablación:
  • Heterogeneidad: El rendimiento se mantuvo estable a través de varios parámetros de concentración de Dirichlet ($\alpha$), mientras que las líneas base se degradaron de forma monótona.
  • Tasa de Participación: El método se degradó gradualmente incluso con una participación de clientes del 10%.
  • Arquitectura: Una dimensión latente de $d=128$ con un autoencoder de resolución 64x64 (DC-AE f32c32) ofreció el mejor equilibrio entre capacidad de representación y acumulación de ruido.

Significancia y Reivindicaciones

El artículo afirma que FedKT-CSD cierra la brecha entre la baja comunicación, la robustez a la heterogeneidad y la privacidad rigurosa en el aprendizaje federado. Al aprovechar la estructura de los autoencoders preentrenados, el método transforma el problema del intercambio privado de datos en la agregación de estadísticas de baja dimensión y aditivas.

Los autores enfatizan que el conjunto de datos sintético preserva la separación interclase necesaria para la clasificación sin requerir fotorrealismo, razón por la cual logra una alta precisión descendente a pesar de la apariencia tosca de las imágenes individuales generadas. El trabajo sugiere un principio de diseño más amplio: los autoencoders preentrenados pueden servir como un espacio compartido y de baja dimensión donde estadísticas aditivas simples bastan para una generación de datos de alta calidad y preservación de la privacidad, permitiendo sistemas federados escalables y eficientes sin la carga computacional del entrenamiento local o los riesgos de privacidad del intercambio de parámetros.