🤖 machine learning

A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions

Este artículo presenta una comparación experimental exhaustiva de diversas estrategias de agregación de Aprendizaje Federado bajo distribuciones de datos homogéneas y heterogéneas, analizando sus compensaciones en términos de precisión del modelo, pérdida y métricas de eficiencia del sistema como el tiempo de entrenamiento y comunicación.

Autores originales: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un grupo de amigos intentando resolver un rompecabezas gigante juntos, pero no pueden compartir sus piezas de rompecabezas reales. En su lugar, cada uno trabaja en su propia sección, escribe un breve resumen de lo que aprendió y envía solo esas notas a un "Capitán del Equipo" central. El Capitán luego combina todas las notas para crear una guía maestra para la siguiente ronda. Esto es Aprendizaje Federado: una forma en que las computadoras aprenden juntas sin compartir nunca sus datos privados.

La gran pregunta que plantea este artículo es: ¿Cómo debería el Capitán del Equipo combinar estas notas?

Si el Capitán simplemente toma un promedio simple de las notas de todos, ¿funciona eso mejor? ¿O deberían usar un método más complejo para manejar el hecho de que algunos amigos podrían estar trabajando en partes muy diferentes del rompecabezas (algunos tienen principalmente piezas de cielo, otros principalmente de césped)?

Aquí hay un desglose de los hallazgos del estudio usando analogías cotidianas:

Los Participantes: Diferentes formas de combinar notas

Los investigadores probaron varias "estrategias" que el Capitán podría usar para fusionar las actualizaciones de los amigos:

FedAvg (El Promediador Simple): El Capitán toma cada nota y calcula un promedio directo. Es rápido y fácil, como una votación rápida.
FedAvgM (El Mantenedor del Momento): El Capitán recuerda lo que el grupo decidió la última vez y usa ese "momento" para suavizar las nuevas notas. Es como un corredor que mantiene su zancada incluso cuando el terreno se vuelve irregular.
FedAdam y FedAdagrad (Los Aprendices Adaptativos): Estos capitanes son inteligentes. Ajustan cuánto escuchan a cada persona según lo seguro que esa persona parece. Si una nota es confusa, ajustan la velocidad de aprendizaje. Son como un entrenador que cambia el plan de entrenamiento según cómo se siente cada atleta ese día.
FedMedian (El Filtro): En lugar de promediar, este Capitán mira todas las notas y elige el valor "medio", ignorando los valores atípicos extremos. Si un amigo envía una nota loca diciendo "el cielo es verde", el Capitán la ignora porque es un valor atípico. Esto es excelente para filtrar ruido o actores maliciosos.
FedProx (El Restrictor): Este Capitán le dice a los amigos: "No te alejes demasiado del último plan". Agrega una regla para mantener el aprendizaje local de todos cerca del objetivo principal del grupo, evitando que alguien se desvíe demasiado.
DP (El Guardián de la Privacidad): Este Capitán agrega una capa de "ruido estático" a las notas antes de combinarlas para asegurar que nadie pueda adivinar las piezas originales del rompecabezas. Es como susurrar las notas a través de un ventilador para que las palabras exactas sean más difíciles de escuchar.

Las Condiciones de la Prueba: Rompecabezas fáciles vs. difíciles

Los investigadores probaron a estos capitanes en dos escenarios:

Homogéneo (IID): Todos tienen una mezcla similar de piezas de rompecabezas (por ejemplo, todos tienen un poco de cielo, césped y árboles). Esto es como un aula donde todos estudian el mismo libro de texto.
Heterogéneo (No IID): Todos tienen piezas muy diferentes (por ejemplo, un amigo solo tiene cielo, otro solo tiene árboles). Esto es como un aula donde un estudiante solo estudió historia y otro solo estudió matemáticas.

Probaron esto en tres "rompecabezas" (conjuntos de datos):

MNIST y FMNIST: Rompecabezas simples (números escritos a mano).
CIFAR-10: Un rompecabezas mucho más difícil y complejo (fotos a color de animales y objetos).

Lo que descubrieron (Los resultados)

1. No hay un Capitán "talla única".
Al igual que no usarías la misma herramienta para arreglar un reloj y construir una casa, ninguna estrategia única ganó todas las veces.

En rompecabezas simples (MNIST): Los Aprendices Adaptativos (FedAdam) fueron las estrellas. Aprendieron más rápido y obtuvieron las puntuaciones más altas, incluso cuando los datos estaban desordenados.
En rompecabezas complejos (CIFAR-10): Todos lucharon más, pero el Promediador Simple (FedAvg) y el Restrictor (FedProx) se mantuvieron razonablemente bien. Los Aprendices Adaptativos en realidad se confundieron con la complejidad y rindieron peor.
Cuando los datos estaban desordenados (No IID): El Filtro (FedMedian) fue muy estable. No se vio afectado por datos extraños, aunque tardó un poquito más en ordenar todo.

2. El "Guardián de la Privacidad" (DP) tiene un costo pesado.
La estrategia que agregó ruido para proteger la privacidad (DP) resultó en puntuaciones muy pobres. Es como intentar resolver un rompecabezas mientras llevas gafas con niebla espesa; no puedes ver las piezas con suficiente claridad para unirlas. El artículo señala que, aunque protege la privacidad, perjudica la capacidad del modelo para aprender eficazmente.

3. Compensaciones entre velocidad y precisión.

Velocidad: Las estrategias simples (FedAvg) fueron las más rápidas para combinar notas. Las complejas (como el Filtro o el Guardián de la Privacidad) tardaron un poco más en procesar, pero la diferencia fue pequeña.
Precisión: Las estrategias "inteligentes" (las adaptativas) fueron excelentes para tareas simples pero a veces tropezaron en las complejas. Las estrategias "estables" (FedProx) fueron confiables pero no siempre alcanzaron la puntuación máxima.

La conclusión final

El artículo concluye que no puedes simplemente elegir una "mejor" manera de combinar las actualizaciones de aprendizaje.

Si tus datos son simples y similares, usa los Aprendices Adaptativos.
Si tus datos están desordenados o tienes valores atípicos extraños, el Filtro (Mediana) o el Restrictor (Prox) son más seguros.
Si necesitas proteger la privacidad, prepárate para una caída significativa en el rendimiento.

La "mejor" elección depende completamente de lo complejo que sea tu rompecabezas, de lo diferente que sea los datos de tus amigos y de cuánto valoras la velocidad frente a la precisión. No hay ninguna bala mágica que funcione perfectamente en cada situación.

Resumen Técnico: Un Estudio Comparativo de Estrategias de Agregación en Aprendizaje Federado bajo Distribuciones de Datos Homogéneas y Heterogéneas

Declaración del Problema

El Aprendizaje Federado (FL) ha surgido como un paradigma para el aprendizaje automático colaborativo que preserva la privacidad de los datos manteniendo los datos crudos localizados en los dispositivos de los clientes. Sin embargo, el rendimiento de los sistemas de FL depende críticamente de la estrategia de agregación utilizada por el servidor central para combinar las actualizaciones locales del modelo. Mientras que el aprendizaje centralizado tradicional sufre de preocupaciones sobre la privacidad y sobrecarga de comunicación, y el aprendizaje aislado en el dispositivo carece de generalización, el FL enfrenta desafíos específicos relacionados con la heterogeneidad de los datos (distribuciones no IID).

El problema central abordado es la falta de una comprensión integral de cómo funcionan diferentes mecanismos de agregación bajo diversos grados de heterogeneidad de datos. Las estrategias existentes van desde un promedio simple hasta estimadores robustos y optimizadores adaptativos, pero sus compensaciones en cuanto a precisión de aprendizaje, estabilidad de convergencia y eficiencia del sistema (tiempo de computación y comunicación) no están completamente caracterizadas a través de conjuntos de datos diversos y configuraciones de distribución.

Metodología

Los autores realizaron una evaluación experimental integral comparando siete estrategias de agregación de FL ampliamente utilizadas y de vanguardia:

FedAvg: Promedio ponderado por tamaño de datos estándar.
FedAvgM: FedAvg con momento en el lado del servidor.
FedAdam: Optimización adaptativa utilizando Adam en el servidor.
FedAdagrad: Optimización adaptativa utilizando Adagrad en el servidor.
FedMedian: Agregación robusta utilizando la mediana elemento a elemento.
FedProx: Agregación con un término de regularización proximal para restringir la deriva local.
Privacidad Diferencial (DP) en el lado del servidor: Recorte adaptativo con inyección de ruido para privacidad.

Configuración Experimental:

Conjuntos de datos: MNIST, FMNIST y CIFAR-10.
Distribuciones: Particiones de datos homogéneas (IID) y heterogéneas (no IID) generadas utilizando una distribución Dirichlet con parámetro de concentración $\alpha = 0.5$ .
Configuración: Las simulaciones se ejecutaron utilizando el marco Flower con 10 clientes durante 25 rondas de comunicación. Se realizó un segundo experimento a gran escala con 20 clientes y 50 rondas en MNIST para verificar la consistencia.
Modelos: Redes Neuronales Convolucionales (CNN) adaptadas a los conjuntos de datos específicos.
Optimizadores: El entrenamiento en el lado del cliente utilizó Adam (seleccionado por su convergencia superior sobre SGD).
Métricas:
- Rendimiento de aprendizaje: Precisión y Pérdida centralizadas.
- Eficiencia del sistema: Tiempo de agregación, tiempo de entrenamiento y tiempo de comunicación por ronda.

Contribuciones y Resultados Clave

1. Impacto de la Heterogeneidad de Datos

El estudio confirma que la heterogeneidad de datos (no IID) degrada consistentemente el rendimiento del modelo en todas las estrategias en comparación con los entornos IID. Esta degradación es más pronunciada en el conjunto de datos complejo CIFAR-10. Aunque todas las estrategias sufren caídas en la precisión y aumentos en la pérdida en entornos no IID, la magnitud de la caída varía significativamente según el algoritmo.

2. Rendimiento Específico por Estrategia

Métodos Adaptativos (FedAdam, FedAdagrad):
- FedAdam logró la mayor precisión en MNIST bajo condiciones tanto IID como no IID, demostrando la efectividad de las tasas de aprendizaje adaptativas para estabilizar la optimización bajo heterogeneidad moderada. Sin embargo, su rendimiento se deterioró significativamente en CIFAR-10, lo que sugiere sensibilidad a la alta complejidad del conjunto de datos.
- FedAdagrad siguió una tendencia similar pero generalmente exhibió una precisión más baja en FMNIST y CIFAR-10 en comparación con otras estrategias, probablemente debido a la decadencia de la tasa de aprendizaje inherente a Adagrad que limita la adaptación a tareas complejas.
Métodos Robustos y de Regularización (FedMedian, FedProx):
- FedMedian demostró la mayor precisión en FMNIST bajo ambas distribuciones. Su agregación basada en la mediana mitigó efectivamente la influencia de las actualizaciones de clientes sesgadas, proporcionando un rendimiento estable. La compensación fue un tiempo de agregación ligeramente mayor debido a las operaciones de ordenamiento.
- FedProx proporcionó un rendimiento estable y consistente en todos los conjuntos de datos, actuando como un enfoque de "punto medio". El término proximal restringió efectivamente la deriva del cliente, beneficiando particularmente el rendimiento en CIFAR-10.
Métodos Estándar y de Momento (FedAvg, FedAvgM):
- FedAvg sirvió como una línea base computacionalmente eficiente, funcionando bien en MNIST y FMNIST pero luchando en CIFAR-10.
- FedAvgM mostró alta precisión bajo condiciones IID pero experimentó una degradación notable en configuraciones no IID (especialmente en MNIST). Los resultados sugieren que el momento en el lado del servidor puede amplificar las direcciones de gradiente sesgadas cuando las actualizaciones de los clientes están sesgadas, lo que lleva a una convergencia inestable.
Preservación de Privacidad (DP):
- La estrategia DP (recorte adaptativo con ruido) exhibió una precisión sustancialmente menor en todos los conjuntos de datos y distribuciones. El ruido introducido para garantizar la privacidad degradó significativamente la señal de aprendizaje, impidiendo una convergencia efectiva. Además, incurrió en el mayor tiempo de agregación debido a las operaciones de recorte e inyección de ruido.

3. Eficiencia del Sistema

Tiempo de Agregación: Generalmente se mantuvo bajo para la mayoría de las estrategias. FedAvg y FedAvgM tuvieron la menor sobrecarga. FedMedian y DP incurrieron en tiempos más altos debido al ordenamiento y la inyección de ruido, respectivamente, pero estos no constituyeron un cuello de botella del sistema en las configuraciones probadas.
Tiempo de Entrenamiento y Comunicación: Estas métricas fueron impulsadas principalmente por la complejidad del conjunto de datos y las características del modelo, más que por la estrategia de agregación en sí misma. Las diferencias entre estrategias fueron mínimas.
Escalabilidad: Aumentar el número de clientes (de 10 a 20) y rondas (de 25 a 50) confirmó las tendencias observadas en la configuración más pequeña. Los métodos adaptativos continuaron superando a los demás, y la brecha de rendimiento entre los entornos IID y no IID se estrechó ligeramente para los métodos adaptativos, lo que sugiere que más rondas de comunicación permiten una mejor compensación de la heterogeneidad.

Significado y Afirmaciones

El artículo concluye que ninguna estrategia de agregación única domina en todos los escenarios. La efectividad de una estrategia depende en gran medida de:

Características del Conjunto de Datos: La complejidad (por ejemplo, CIFAR-10 frente a MNIST) influye significativamente en qué algoritmo funciona mejor.
Grado de Heterogeneidad: Estrategias como FedAvgM pueden fallar en entornos altamente sesgados, mientras que métodos robustos como FedMedian o FedProx basado en regularización ofrecen estabilidad.
Requisitos del Sistema y Privacidad: Existe una clara compensación entre las garantías de privacidad (DP) y la utilidad del modelo.

Los autores enfatizan que la elección de la estrategia de agregación debe guiarse por restricciones operativas específicas y propiedades de los datos, en lugar de un enfoque de "talla única". El estudio proporciona evidencia empírica de que, aunque los métodos adaptativos sobresalen en heterogeneidad moderada, los estimadores robustos y la regularización son necesarios para la estabilidad en distribuciones sesgadas, y los mecanismos de privacidad imponen actualmente un costo significativo en la utilidad del modelo.

El trabajo futuro, según lo esbozado por los autores, incluye explorar mecanismos robustos más avanzados (por ejemplo, Krum, Multi-Krum) y evaluar estas estrategias en escenarios de implementación de FL más realistas.