Benchmarking Federated Learning in Edge Computing Environments: A Systematic Review and Performance Evaluation

Este artículo presenta una revisión sistemática y evaluación de rendimiento de técnicas de Aprendizaje Federado en entornos de computación en el borde, comparando cinco algoritmos líderes mediante métricas clave como precisión y eficiencia energética, identificando desafíos actuales y proponiendo una agenda de investigación futura para sistemas más robustos y escalables.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un mapa del tesoro para entender cómo las computadoras pequeñas (como tu teléfono o sensores inteligentes) pueden aprender cosas juntas sin tener que compartir sus secretos.

Aquí tienes la explicación en español, usando analogías sencillas:

🌍 El Gran Problema: ¿Cómo aprender sin compartir la caja fuerte?

Imagina que tienes un grupo de amigos (tus dispositivos: teléfonos, sensores, coches autónomos) que quieren aprender a reconocer gatos en fotos.

• El método antiguo (Nube Central): Todos envían sus fotos a un "supercomputador" gigante en la nube. El problema es que esto gasta mucho internet, tarda mucho y, lo peor, tienes que entregar tus fotos privadas a un extraño.
• La solución (Federated Learning): En lugar de enviar las fotos, cada amigo aprende con sus propias fotos en su casa. Luego, solo envían un resumen de lo que aprendieron (como un "consejo" o una "nota") al supercomputador. El supercomputador junta todos los consejos para crear un maestro experto, pero nadie ve las fotos originales de nadie. ¡Es como si todos aprendieran juntos sin abrir sus cajas fuertes!

🏃‍♂️ El Entorno: La "Ciudad de los Bordes" (Edge Computing)

Este artículo se enfoca en hacer esto en la "ciudad de los bordes". Imagina que la nube es un centro de control lejano, pero los dispositivos están en las calles, en las casas, en los coches.

• El desafío: En las calles, el internet a veces es lento, las baterías se acaban rápido y los datos de cada persona son muy diferentes (algunos tienen fotos de gatos negros, otros de gatos blancos, otros de perros). Esto se llama datos no idénticos (non-IID). Es como intentar enseñar a un grupo donde cada uno habla un dialecto diferente.

🔍 ¿Qué hicieron los autores? (La Gran Comparación)

Los autores, Sales y Gil, actuaron como jueces en una Olimpiada de Inteligencia Artificial. Revisaron cientos de estudios y probaron 5 métodos diferentes (algoritmos) para ver cuál es el mejor para esta "ciudad de los bordes".

Usaron 4 categorías para juzgar a los competidores:

1. Estrategia de Optimización: ¿Cómo aprenden rápido?
2. Eficiencia en la Comunicación: ¿Cuánto "paquete" de datos envían? (¿Es un camión o un sobre pequeño?)
3. Privacidad: ¿Qué tan bien protegen los secretos?
4. Arquitectura: ¿Cómo se organizan? (¿Todos hablan con un jefe central o hablan entre ellos?)

🏆 Los Resultados: ¿Quién ganó?

Aquí está el veredicto, explicado con metáforas:

• SCAFFOLD (El Atleta de Alto Rendimiento):

  • Analogía: Es como un corredor olímpico que sabe exactamente cómo ajustar su paso cuando el terreno es irregular.
  • Resultado: Fue el mejor en precisión (aprendió mejor) y se adaptó genial cuando los datos eran desordenados. Pero, como un atleta de élite, a veces gasta un poco más de energía.

• FedAvg (El Camión Económico):

  • Analogía: Es el método clásico, como un camión de reparto viejo pero confiable.
  • Resultado: Es el más eficiente en energía y datos. No gasta mucha batería ni internet. Pero, si el terreno es muy difícil (datos muy diferentes), se pierde un poco y aprende más lento.

• FedProx (El Equilibrado):

  • Analogía: Es como un ciclista que usa un peso extra en la bicicleta para no caerse en las curvas.
  • Resultado: Un buen equilibrio entre velocidad y capacidad para manejar datos desordenados.

• Los que usan Privacidad Extra (FedAvg + DP):

  • Analogía: Son como alguien que se pone gafas de sol y una máscara para aprender.
  • Resultado: Son muy seguros (nadie puede ver qué están aprendiendo), pero el aprendizaje es más lento y menos preciso porque la "máscara" les estorba un poco.

🚧 Los Obstáculos que aún existen

Aunque tienen buenos juguetes, los autores dicen que todavía hay problemas en la carretera:

1. La Batería se Agota: Entrenar consume mucha energía. Imagina que tu teléfono se queda sin batería a mitad de la clase.
2. El Internet Inestable: A veces el "camino" se corta. Si un dispositivo se desconecta, el grupo entero puede esperar o perder información.
3. Falta de Pruebas Reales: Muchos de estos experimentos se hicieron en simuladores (como un videojuego). Los autores piden que los probemos en el mundo real, con dispositivos reales, para ver si funcionan de verdad cuando llueve o hay tráfico.

💡 En Resumen

Este artículo nos dice: "¡Tenemos grandes herramientas para que las máquinas aprendan juntas sin invadir tu privacidad! Pero, para que funcionen en la vida real, necesitamos elegir la herramienta correcta según si nos importa más la velocidad, la batería o el secreto, y debemos seguir mejorando para que no se queden sin energía ni se desconecten."

Es un paso gigante hacia un futuro donde tu teléfono te conoce mejor, pero tú sigues siendo el dueño de tus datos.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Benchmarking Federated Learning in Edge Computing Environments: A Systematic Review and Performance Evaluation", traducido y estructurado en español.

1. Planteamiento del Problema

El crecimiento exponencial de dispositivos inteligentes y tecnologías IoT ha generado una masa de datos masiva en el borde de la red. Las arquitecturas tradicionales centradas en la nube enfrentan dificultades para manejar las necesidades de baja latencia, privacidad de datos y eficiencia de ancho de banda en aplicaciones sensibles al tiempo (como vehículos autónomos y telemedicina).

Aunque el Aprendizaje Federado (FL) se presenta como una solución prometedora para entrenar modelos de manera colaborativa sin compartir datos crudos, su integración efectiva en entornos de computación en el borde (Edge Computing) enfrenta obstáculos críticos:

• Heterogeneidad de datos (non-IID): Los datos locales en los dispositivos de borde suelen estar distribuidos de manera no independiente e idéntica, lo que degrada el rendimiento del modelo.
• Limitaciones de recursos: Dispositivos con capacidad computacional, energía y almacenamiento limitados.
• Condiciones de red inestables: Latencia variable, ancho de banda restringido y conectividad intermitente.
• Falta de estandarización: Existe una carencia de revisiones exhaustivas que no solo clasifiquen las técnicas, sino que las evalúen sistemáticamente mediante métricas de rendimiento prácticas y comparables en escenarios de borde.

2. Metodología

Los autores realizaron una revisión sistemática siguiendo principios inspirados en el marco PRISMA y el método SALSA.

• Protocolo de Búsqueda: Se consultaron bases de datos académicas principales (IEEE Xplore, Scopus, etc.) para artículos publicados entre enero de 2017 y junio de 2025.
• Criterios de Selección: Se seleccionaron 308 estudios empíricos (de un total inicial de 602) que reportaran datos cuantitativos sobre FL en entornos de borde. Se excluyeron trabajos puramente teóricos o sin datos de benchmarking.
• Extracción de Datos: Se clasificaron los algoritmos en cuatro dimensiones:
  1. Estrategias de optimización.
  2. Eficiencia en la comunicación.
  3. Mecanismos de preservación de la privacidad.
  4. Arquitecturas del sistema.
• Evaluación de Rendimiento: Se utilizaron conjuntos de datos estándar (MNIST, CIFAR-10, FEMNIST, Shakespeare) y se evaluaron cinco algoritmos líderes utilizando una matriz de métricas clave: precisión, tiempo de convergencia, sobrecarga de comunicación, consumo de energía y robustez ante datos no-IID.

3. Contribuciones Clave

El artículo ofrece las siguientes contribuciones técnicas:

• Taxonomía Estructurada: Propone una clasificación de cuatro dimensiones para las técnicas de FL adaptadas al borde, facilitando la comprensión del panorama de investigación actual.
• Matriz de Benchmarking Comparativa: Presenta una evaluación empírica directa de algoritmos como FedAvg, FedProx, SCAFFOLD, FedNova y variantes con privacidad (FedAvg+DP, SecureFed).
• Análisis de Compensaciones (Trade-offs): Ilustra visualmente (mediante gráficos de radar y matrices) las compensaciones inevitables entre precisión, eficiencia energética, privacidad y velocidad de convergencia.
• Agenda de Investigación: Identifica brechas críticas, como la falta de pruebas en entornos reales (frente a simulaciones) y la necesidad de testbeds estandarizados para evaluar la equidad y el consumo energético de manera conjunta.

4. Resultados Principales

Los hallazgos del benchmarking revelan lo siguiente:

• Rendimiento General: No existe un algoritmo único que domine en todas las métricas; la elección depende de las prioridades de la aplicación específica.
• SCAFFOLD: Logró la mayor precisión (84.7% en Shakespeare) y la mayor robustez frente a datos no-IID, con un tiempo de convergencia rápido (95 rondas). Es ideal para entornos donde la precisión y la heterogeneidad de datos son críticas.
• FedAvg: Aunque sufre en escenarios no-IID y tiene una convergencia más lenta, destaca por su eficiencia en comunicación y energía, siendo la opción más ligera para dispositivos con recursos muy limitados.
• FedProx: Ofrece un equilibrio favorable entre velocidad de convergencia y robustez ante la heterogeneidad de datos.
• Impacto de la Privacidad: Las variantes que incorporan privacidad (como FedAvg + Privacidad Diferencial o SecureFed) muestran una penalización notable en la precisión (caída a ~74-79%) y un aumento en el tiempo de convergencia y el consumo de energía. Esto subraya la tensión entre la protección de la privacidad y la utilidad del modelo.
• Limitaciones de las Simulaciones: Se destaca que las evaluaciones basadas en simulación a menudo sobreestiman el rendimiento real, ya que no capturan completamente las interacciones de capas, la movilidad de los dispositivos y las fallas de hardware en despliegues físicos.

5. Significado e Impacto

Este estudio es fundamental para investigadores, ingenieros y diseñadores de sistemas que buscan implementar FL en el borde porque:

• Proporciona una base de referencia: Ofrece un marco de evaluación unificado que permite comparar algoritmos dispares bajo métricas comunes.
• Guía la toma de decisiones: Ayuda a seleccionar el algoritmo adecuado según las restricciones del caso de uso (ej. priorizar la privacidad en salud vs. la eficiencia energética en sensores IoT).
• Define el futuro de la investigación: Señala la necesidad urgente de pasar de las simulaciones ideales a entornos de prueba reales y estandarizados, y de desarrollar algoritmos que equilibren mejor la personalización, la generalización y la eficiencia energética.

En resumen, el artículo consolida el estado del arte del Aprendizaje Federado en el borde, demostrando que, si bien existen soluciones robustas como SCAFFOLD para la heterogeneidad de datos, el campo aún requiere avances significativos en la eficiencia energética, la seguridad y la reproducibilidad en escenarios del mundo real.