Centralized vs Decentralized Federated Learning: A trade-off performance analysis

Resumen Técnico: Aprendizaje Federado Centralizado vs. Descentralizado: Un Análisis de Compensación de Rendimiento

Enunciado del Problema
El Aprendizaje Federado (FL) ha surgido como un paradigma crítico para el entrenamiento colaborativo de modelos en dispositivos periféricos distribuidos, abordando los desafíos de la privacidad de los datos, los recursos de comunicación limitados y las restricciones regulatorias asociadas al crecimiento exponencial de los datos del Internet de las Cosas (IoT). Si bien las arquitecturas de FL se categorizan generalmente en Centralizadas (CFL), Descentralizadas (DFL) y Semi-Descentralizadas (SDFL), existe una brecha significativa en la literatura respecto a las comparaciones experimentales de estos tres tipos. La investigación existente a menudo se centra en el diseño arquitectónico o en aplicaciones de dominios específicos (por ejemplo, Blockchain en DFL), pero rara vez proporciona un análisis empírico sistemático de las compensaciones entre diferentes Indicadores Clave de Rendimiento (KPI) a través de CFL, DFL y SDFL. Esta falta de datos comparativos dificulta que los profesionales seleccionen la arquitectura óptima basándose en las necesidades y restricciones específicas de la aplicación.

Metodología
Para abordar esta brecha, los autores realizaron un análisis experimental exhaustivo utilizando el simulador FedStellar, que es actualmente la única plataforma capaz de simular las tres arquitecturas de FL (CFL, DFL y SDFL) con alta escalabilidad. La configuración experimental involucró:

• Conjunto de datos y modelo: El conjunto de datos MNIST (60.000 imágenes de dígitos escritos a mano) se particionó entre los participantes y se utilizó un clasificador de Perceptrón Multicapa (MLP) para el entrenamiento.
• Pruebas de escalabilidad: El número de participantes ($|N|$) se varió de 3 a 8 para investigar el impacto del tamaño de la red en el rendimiento.
• Configuración: Los experimentos se ejecutaron durante 10 rondas con 3 épocas por ronda. La topología de la red se configuró como totalmente conectada para facilitar la comunicación.
• KPIs evaluados: Basándose en una taxonomía propuesta por Beltran et al., el estudio midió métricas específicas disponibles dentro de FedStellar, incluyendo:
  • Rendimiento del modelo: Precisión, Exactitud, Recall, Puntuación F y Pérdida.
  • Uso de recursos: Porcentaje de uso de CPU.
  • Comunicación: Bytes intercambiados entre participantes.
  • Eficiencia: Tiempo de convergencia.

Resultados Clave
Los experimentos revelaron compensaciones de rendimiento distintas entre las tres arquitecturas:

1. Rendimiento y Estabilidad del Modelo:

   • DFL logró consistentemente el rendimiento de modelo más alto (por ejemplo, ~97,84% de precisión con 3 participantes) y mantuvo este alto rendimiento a medida que aumentaba el número de participantes. Su naturaleza descentralizada le permite mantenerse resiliente a las fluctuaciones en la cantidad de participantes.
   • SDFL demostró un rendimiento muy cercano al de DFL (por ejemplo, ~96,31% con 3 participantes) y también mantuvo la estabilidad a medida que la red se escalaba.
   • CFL mostró una precisión general más baja (por ejemplo, ~94,45% con 3 participantes) y una disminución notable en el rendimiento a medida que aumentaba el número de participantes. Esta degradación se atribuye a la división del conjunto de datos en subconjuntos más pequeños por participante, lo que limita los datos disponibles para el entrenamiento local.

2. Tiempo de Convergencia:

   • CFL fue la más rápida en converger, alcanzando niveles de rendimiento en aproximadamente la mitad del tiempo requerido por DFL y SDFL. Exhibió una mayor estabilidad en la velocidad de convergencia.
   • DFL y SDFL requirieron tiempos de convergencia más largos debido a la necesidad de coordinación y comunicación entre nodos sin un agregador central. Curiosamente, DFL mostró una disminución en el tiempo de convergencia a medida que la red se escalaba (de ~43 min a ~31 min para 3 a 8 participantes), probablemente debido a tamaños de datos locales más pequeños, mientras que CFL y SDFL vieron tiempos de convergencia aumentados con redes más grandes.

3. Eficiencia de Recursos y Comunicación:

   • DFL fue identificada como la arquitectura más eficiente en recursos, requiriendo el menor uso de CPU e intercambiando menos bytes, ya que elimina la necesidad de un servidor central.
   • CFL fue la más intensiva en recursos ("más codiciosa"), particularmente en lo que respecta a los costos de comunicación, debido a la dependencia de un servidor central para la agregación.
   • SDFL ofreció un punto medio, con un uso de recursos y costos de comunicación estrechamente alineados con DFL, aunque requirió más tiempo que DFL en ciertos escenarios de escalado.

Contribuciones Clave

• Evaluación Experimental: El documento proporciona una de las primeras comparaciones experimentales de las arquitecturas CFL, DFL y SDFL utilizando un simulador unificado (FedStellar), yendo más allá de estudios teóricos o de una sola arquitectura.
• Identificación de Compensaciones: El estudio identifica explícitamente las compensaciones entre la precisión del modelo, la velocidad de convergencia y el consumo de recursos. Destaca que, si bien DFL ofrece una precisión y escalabilidad superiores, lo hace a costa de una convergencia más lenta. Por el contrario, CFL ofrece velocidad pero sufre de degradación del rendimiento en redes a gran escala.
• Perspectivas de Escalabilidad: La investigación demuestra que DFL y SDFL son más resilientes al problema de "fragmentación de datos" inherente a CFL al escalar el número de participantes.

Significado y Afirmaciones
Los autores enmarcan modestamente este trabajo como un primer paso para abordar la falta de análisis comparativo en el dominio de FL. El significado radica en proporcionar evidencia empírica para guiar la selección de arquitecturas de FL basadas en restricciones específicas:

• DFL se presenta como una estrategia prometedora para escenarios que priorizan el alto rendimiento y la privacidad de los datos en redes escalables.
• SDFL se identifica como una solución rentable para redes más grandes, ofreciendo un rendimiento comparable al de DFL con requisitos de recursos reducidos.
• CFL sigue siendo la opción óptima cuando la velocidad de convergencia es el requisito primordial, a pesar de su menor eficiencia y limitaciones de escalabilidad.

El documento concluye que la arquitectura "mejor" depende del contexto, dependiendo de factores como la naturaleza de los datos, la cantidad de nodos, los requisitos de privacidad y las restricciones de infraestructura. Se propone trabajo futuro para ampliar el rango de KPIs y desarrollar una herramienta de apoyo a la decisión para ayudar a los gerentes a seleccionar la arquitectura de FL apropiada.