FedDAG: Clustered Federated Learning via Global Data and Gradient Integration for Heterogeneous Environments

FedDAG es un marco de aprendizaje federado agrupado que supera las limitaciones de los métodos existentes al integrar información de datos y gradientes para una agrupación más precisa y permitir la transferencia de características entre grupos mediante una arquitectura de doble codificador, logrando así un rendimiento superior en entornos heterogéneos.

Lo esencial

¡Claro que sí! Imagina que el Aprendizaje Federado (Federated Learning) es como un gran proyecto escolar donde cientos de estudiantes (los "clientes" o dispositivos) deben trabajar juntos para crear el mejor libro de texto posible, pero con una regla estricta: nadie puede mostrar sus cuadernos personales al profesor ni a sus compañeros. Cada uno tiene que estudiar en su casa y solo enviar las "lecciones aprendidas" (los gradientes) para mejorar el libro común.

El problema es que los estudiantes son muy diferentes:

• A algunos les encanta la matemática, a otros la historia.
• Algunos tienen cuadernos llenos de dibujos, otros solo texto.
• Algunos tienen miles de apuntes, otros solo unas pocas páginas.

Si mezclas a todos en un solo grupo para estudiar, el libro final queda confuso y nadie aprende bien. Aquí es donde entra FEDDAG, la solución propuesta en este paper.

Aquí te explico cómo funciona FEDDAG usando analogías simples:

1. El Problema: "No todos encajan en el mismo grupo"

Antes, los métodos intentaban agrupar a los estudiantes basándose en una sola cosa:

• O miraban qué temas tenían en sus cuadernos (similitud de datos).
• O miraban cómo resolvían los problemas (similitud de gradientes).

Pero esto era como intentar emparejar a personas solo por su color de ojos o solo por su altura. A veces, dos personas tienen el mismo color de ojos pero piensan totalmente distinto. Los métodos anteriores fallaban porque no veían el cuadro completo.

2. La Solución de FEDDAG: "El Detective de Parejas Perfectas"

FEDDAG es como un detective muy astuto que decide quién estudia con quién. Hace dos cosas geniales:

A. La "Ficha de Identidad" Híbrida (Datos + Gradientes)

En lugar de mirar solo una cosa, FEDDAG crea una ficha de identidad que combina dos pistas:

1. Qué tienen en sus cuadernos: Mira los temas específicos (por ejemplo, si a ambos les gusta mucho el "Gato" en sus fotos).
2. Cómo piensan: Mira cómo han aprendido hasta ahora.

El truco inteligente: FEDDAG no solo compara todo el cuaderno de golpe. Hace una comparación clase por clase.

• Analogía: Imagina que comparas dos bibliotecas. En lugar de decir "¿Son parecidas?", FEDDAG pregunta: "¿Tienen ambos libros de Ciencia Ficción? ¿Y de Historia?". Si uno tiene muchos libros de ciencia ficción y el otro pocos, FEDDAG ajusta la puntuación para no confundirse. Esto ayuda a que el sistema entienda que, aunque uno tenga más libros que el otro, si ambos aman la ciencia ficción, ¡son buenos amigos!

B. El "Intercambio de Saberes" entre Grupos (Arquitectura de Doble Encoder)

Aquí viene la parte más creativa. Una vez que FEDDAG forma los grupos (clústeres), no deja que cada grupo viva en una isla.

Imagina que tienes un grupo de expertos en Matemáticas y otro grupo de expertos en Arte.

• El método antiguo: El grupo de Matemáticas solo estudiaba matemáticas. El de Arte solo arte. Nunca se hablaban.
• El método FEDDAG:
  • Cada grupo tiene un "Cerebro Principal" (Encoder Primario) que aprende a fondo lo que a ellos les gusta (sus especialidades).
  • Pero también tienen un "Cerebro Secundario" (Encoder Secundario) que actúa como un turista curioso.

¿Cómo funciona el "Cerebro Secundario"?
El grupo de Matemáticas envía a su "turista" a visitar al grupo de Arte. El turista no se queda a vivir allí, sino que aprende de los artistas y trae de vuelta esas ideas nuevas a su grupo de matemáticas.

• Resultado: Los matemáticos siguen siendo expertos en matemáticas (su cerebro principal), pero ahora también entienden un poco de arte gracias a su cerebro secundario. Esto hace que el libro final sea mucho más inteligente y completo.

3. ¿Cómo decide cuántos grupos hay?

Antes, los profesores tenían que adivinar cuántos grupos formar (ej: "Hagamos 5 grupos"). Si se equivocaban, el sistema fallaba.

FEDDAG tiene un algoritmo auto-ajustable. Es como un director de orquesta que escucha a los músicos y decide automáticamente: "Hoy necesitamos 3 secciones, mañana quizás 5". Prueba diferentes formas de agrupar y elige la que hace que los grupos sean más compactos y felices, sin que nadie tenga que decirle cuántos grupos hacer.

Resumen en una frase

FEDDAG es un sistema inteligente que agrupa a estudiantes dispares mirando tanto sus apuntes como su forma de pensar, y luego permite que los grupos "viajen" virtualmente para aprender de las fortalezas de los otros, creando un modelo final que es experto en todo, sin necesidad de compartir los secretos privados de cada uno.

¿Por qué es importante?
Porque en el mundo real (desde teléfonos móviles hasta hospitales), los datos nunca son iguales. FEDDAG permite que la inteligencia artificial aprenda mejor de esta diversidad, sin violar la privacidad de nadie.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "FEDDAG: Clustered Federated Learning via Global Data and Gradient Integration for Heterogeneous Environments", publicado en ICLR 2026.

1. Problema y Contexto

El Aprendizaje Federado (FL) permite entrenar modelos colaborativamente sin compartir datos locales, pero su rendimiento se degrada significativamente en entornos con datos heterogéneos (no-IID). La heterogeneidad se manifiesta en cuatro tipos principales de sesgos:

• Sesgo de etiquetas (Label Skew): Distribución no idéntica de clases entre clientes.
• Sesgo de características (Feature Skew): Variaciones en la distribución de las características (ej. estilos de escritura diferentes).
• Desplazamiento de concepto (Concept Shift): Mismas etiquetas aplicadas a datos fundamentalmente diferentes.
• Desplazamiento de cantidad (Quantity Shift): Diferentes volúmenes de datos por cliente.

El FL Agrupado (Clustered FL) intenta mitigar esto agrupando clientes similares y entrenando un modelo por grupo. Sin embargo, los enfoques existentes tienen limitaciones críticas:

1. Métodos de similitud incompletos: Se basan solo en datos o solo en gradientes, lo que lleva a agrupaciones erróneas bajo ciertos sesgos (ej. concept shift).
2. Aislamiento de conocimiento: Los modelos de un grupo no se benefician de las representaciones latentes de otros grupos, perdiendo información valiosa.
3. Falta de adaptabilidad: Muchos métodos requieren un número fijo de grupos predefinido y no se adaptan dinámicamente a la llegada de nuevos clientes o cambios en la distribución.

2. Metodología: FEDDAG

FEDDAG es un marco de trabajo que aborda estas limitaciones mediante la integración de información de datos y gradientes, y una arquitectura de doble codificador para el intercambio de representaciones.

A. Métrica de Similitud Híbrida y Ponderada

FEDDAG introduce una métrica de similitud que combina dos fuentes de información:

1. Similitud Basada en Gradientes: Los clientes realizan un entrenamiento local breve (2 rondas) para obtener actualizaciones de gradiente. Se envía una versión k-esparcida (solo 1-2% de los parámetros) al servidor para calcular la similitud mediante el coseno de los ángulos entre gradientes.
2. Similitud Basada en Datos (Clase a Clase): A diferencia de métodos previos que comparan subespacios completos, FEDDAG realiza comparaciones clase a clase. Utiliza la Descomposición en Valores Singulares (SVD) truncada para extraer vectores principales por clase.
   • Ponderación por Cantidad: Se asignan pesos a las similitudes de cada clase para penalizar las diferencias en la frecuencia de clases entre clientes (abordando el quantity shift).
   • Manejo del Concept Shift: Al comparar solo subespacios de la misma clase, el método es robusto ante cambios de concepto.

Fusión: Se utiliza una red neuronal ligera (MLP) para aprender un vector de pesos que combina la matriz de similitud de datos y la de gradientes, optimizando la matriz de adyacencia final mediante una pérdida de entropía para afilar las conexiones entre clientes.

B. Agrupación Adaptativa (Sin número fijo de grupos)

En lugar de requerir un número $K$ de clusters predefinido, FEDDAG utiliza agrupación jerárquica aglomerativa (HC).

• Evalúa múltiples umbrales de distancia ($\alpha$) para generar candidatos de agrupación.
• Utiliza una métrica federada-aware compuesta por:
  • Pérdida de Compacidad ($L_1$): Fomenta clusters tight.
  • Penalización de Degeneración ($L_2$): Castiga la formación de clusters demasiado pequeños (evita el over-splitting).
• Selecciona automáticamente el número óptimo de clusters minimizando la pérdida total.

C. Arquitectura de Doble Codificador y Compartición Global de Representaciones (GRS)

Para permitir el aprendizaje entre clusters sin perder la especialización local, FEDDAG emplea una arquitectura de doble codificador para el modelo de cada cluster:

1. Codificador Primario: Entrenado exclusivamente con los datos de los clientes del propio cluster (especialización local).
2. Codificador Secundario: Diseñado para aprender características complementarias de otros clusters.

Mecanismo de Transferencia (CC-Graph):

• Se construye un Grafo de Complementariedad de Clusters (CC-Graph) que identifica qué clusters tienen "demanda" de ciertas clases (subrepresentadas) y cuáles tienen "oferta" (bien representadas).
• Durante el entrenamiento, el codificador secundario de un cluster "receptor" se entrena utilizando los datos de los clusters "fuente" identificados en el grafo.
• Esto permite la transferencia de características cruzadas manteniendo la especialización del codificador primario.

3. Contribuciones Clave

1. Algoritmo FEDDAG: Un nuevo algoritmo que integra datos y gradientes para una agrupación de clientes más precisa, superando las limitaciones de los métodos que usan solo una de estas fuentes.
2. Métrica de Similitud Ponderada por Clase: Una mejora sobre métodos como PACFL que aborda el concept shift y el quantity shift mediante comparaciones específicas por clase y ponderación de frecuencia.
3. Agrupación Adaptativa: Un mecanismo que determina automáticamente el número óptimo de clusters mediante una métrica de pérdida federada, eliminando la necesidad de hiperparámetros de agrupación fijos.
4. Compartición de Representaciones Cruzadas: Una arquitectura de doble codificador que facilita el intercambio de conocimiento entre clusters heterogéneos sin degradar el rendimiento local.
5. Evaluación Exhaustiva: Validación bajo cuatro tipos de sesgos de datos (etiqueta, característica, concepto y cantidad) y en diversos conjuntos de datos (CIFAR-10, FMNIST, SVHN, CIFAR-100, Google Landmarks).

4. Resultados Experimentales

Los experimentos demuestran que FEDDAG supera consistentemente a los métodos state-of-the-art (como IFCA, PACFL, FedSoft, FedRC) en precisión:

• Bajo Sesgo de Etiqueta y Cantidad: En CIFAR-10 con 20% de sesgo de etiquetas y alta heterogeneidad, FEDDAG alcanzó un 94.53% de precisión, superando a PACFL (90.45%) e IFCA (89.68%).
• Bajo Desplazamiento de Concepto: En escenarios donde las etiquetas cambian de significado, FEDDAG logró 69.90% en CIFAR-10, superando significativamente a FedAvg (42.87%) y otros métodos agrupados.
• Generalización a Nuevos Clientes: El mecanismo de incorporación de nuevos clientes (sin reentrenar todo el sistema) mostró una alta precisión en clientes no vistos durante la fase inicial.
• Escalabilidad: En el conjunto de datos a gran escala Google Landmarks (160k imágenes, 1000 clientes), FEDDAG obtuvo el 58.23% de precisión, superando a todos los baselines.
• Eficiencia: Aunque utiliza un doble codificador, el uso de gradientes esparcidos y la inicialización inteligente (reutilizando el entrenamiento de calentamiento) mantiene la sobrecarga de comunicación y computación manejable.

5. Significancia e Impacto

FEDDAG representa un avance significativo en el Aprendizaje Federado para entornos del mundo real, donde la heterogeneidad de los datos es la norma y no la excepción.

• Robustez: Al abordar simultáneamente los cuatro tipos de sesgos de datos, ofrece una solución más generalizable que los enfoques anteriores.
• Adaptabilidad Dinámica: La capacidad de ajustar el número de clusters y agregar nuevos clientes sin interrumpir el entrenamiento es crucial para sistemas FL desplegados en producción.
• Eficiencia de Conocimiento: La arquitectura de doble codificador demuestra que es posible compartir conocimiento global entre grupos diversos sin sacrificar la personalización local, resolviendo el dilema entre generalización y especialización en FL.

En resumen, FEDDAG establece un nuevo estándar para el FL agrupado, proporcionando un marco robusto, adaptativo y de alto rendimiento para entrenar modelos colaborativos en presencia de distribuciones de datos complejas y heterogéneas.