FedHENet: A Frugal Federated Learning Framework for Heterogeneous Environments

1. El Problema

El Aprendizaje Federado (FL) es crucial para entrenar modelos colaborativos sin centralizar datos sensibles, especialmente en visión por computadora. Sin embargo, los algoritmos fundamentales actuales (como FedAvg o FedProx) presentan tres limitaciones graves:

• Inestabilidad en entornos heterogéneos: Sufren de "deriva de cliente" (client drift) y mala convergencia cuando los datos no son independientes e idénticamente distribuidos (non-IID).
• Costos elevados: Requieren cientos de rondas de comunicación y optimización iterativa, lo que genera altos costos computacionales, de comunicación y energéticos.
• Vulnerabilidad de privacidad: Aunque los datos no se comparten, el intercambio de gradientes iterativos puede ser explotado en ataques de inferencia.
• Huella de carbono: La necesidad de ajustar hiperparámetros (tuning) consume una cantidad significativa de energía antes incluso de comenzar el entrenamiento real.

2. Metodología: FedHENet

Los autores proponen FedHENet, un marco de trabajo diseñado para el "FL Frugal" (eficiente y económico). La arquitectura se basa en los siguientes pilares:

• Desacoplamiento de características: Se utiliza un extractor de características pre-entrenado y congelado (frozen backbone, por ejemplo, ResNet-18 en ImageNet) en todos los clientes. Esto evita el costoso ajuste fino (fine-tuning) local.
• Capa de salida analítica (ROLANN): En lugar de entrenar una red neuronal profunda iterativamente, cada cliente entrena una sola capa de salida utilizando una Red Neuronal de Una Capa Regularizada (ROLANN).
  • Los pesos óptimos de esta capa se calculan en forma cerrada (closed-form) minimizando el error cuadrático medio (MSE) antes de la función de activación.
  • Esto transforma el problema en un sistema de ecuaciones lineales resoluble analíticamente, eliminando la necesidad de descenso de gradiente iterativo.
• Privacidad mediante Criptografía Homomórfica (HE):
  • Solo la matriz de correlación estadística ($M_k$), que contiene dependencias sensibles, se cifra utilizando el esquema CKKS (que permite operaciones aritméticas en números reales aproximados).
  • Los componentes no sensibles ($U_k, S_k$) se envían en texto plano.
• Agregación en una sola ronda:
  • Los clientes envian sus componentes al coordinador mediante el protocolo MQTT (ligero y tolerante a fallos).
  • El servidor agrega homomórficamente las matrices cifradas y calcula los pesos globales óptimos en un solo paso analítico.
  • Se publica el modelo global final, evitando rondas adicionales de comunicación.

3. Contribuciones Clave

• Adaptación Frugal a Imágenes: Extiende el marco FedHEONN (originalmente para datos tabulares) al dominio de imágenes mediante una arquitectura híbrida (extractor congelado + capa analítica cifrada).
• Estabilidad Superior: Logra convergencia exacta en una sola ronda, siendo inmune a la deriva de cliente en escenarios extremos de no-IID (incluso cuando cada cliente tiene datos de una sola clase).
• Eficiencia Energética y Sostenibilidad: Elimina la fase de ajuste de hiperparámetros (hiperparámetros libres), reduciendo drásticamente la huella de carbono del ciclo de vida del desarrollo.
• Despliegue Escalable: Integración de MQTT y una biblioteca de código abierto para facilitar el despliegue en redes de clientes heterogéneas.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos CIFAR-10 y CIFAR-100 con diferentes niveles de heterogeneidad ($\alpha$ en distribución Dirichlet) y número de clientes ($N$).

• Precisión y Robustez:
  • En escenarios extremos (datos de una sola clase por cliente), los métodos iterativos (FedAvg, FedProx) colapsaron, cayendo a una precisión del 33-40%.
  • FedHENet mantuvo una precisión estable de ~83.6% en CIFAR-10 y ~56% en CIFAR-100, superando a las líneas base en configuraciones no-IID.
• Eficiencia Energética:
  • Reducción de energía de hasta un 70% comparado con las líneas base (ej. 11.5 Wh vs 36.5 Wh en CIFAR-10).
  • En CIFAR-100, FedHENet consumió la mitad de energía que las líneas base, que requerían 50 rondas de entrenamiento.
• Comunicación:
  • Aunque el cifrado homomórfico infla el tamaño del payload (~2.25x), el volumen total de datos transmitido es significativamente menor que el de los métodos iterativos que requieren múltiples rondas.
  • La sobrecarga computacional por cifrado es mínima (< 5%).

5. Significado e Impacto

FedHENet representa un cambio de paradigma hacia un Aprendizaje Federado Sostenible y Práctico.

• Sostenibilidad: Al eliminar la necesidad de ajuste de hiperparámetros y reducir las rondas de comunicación a una sola, aborda directamente el problema del alto consumo energético y la huella de carbono en la IA.
• Privacidad Real: Ofrece garantías de privacidad matemática mediante HE sin sacrificar la precisión, algo difícil de lograr con métodos basados en gradientes.
• Viabilidad en el Edge: Su diseño "frugal" lo hace ideal para dispositivos con recursos limitados y entornos heterogéneos donde los métodos actuales fallan o son demasiado costosos.

En conclusión, FedHENet demuestra que es posible lograr un rendimiento competitivo en tareas de visión por computadora federada sin los costos computacionales y energéticos de la optimización iterativa, ofreciendo una solución robusta, privada y ecológicamente responsable.