Resumen Técnico: De la Heterogeneidad de los Datos a la Convergencia: Una Revisión Centrada en los Datos del Aprendizaje Federado

1. Declaración del Problema

El Aprendizaje Federado (FL, por sus siglas en inglés) ha emergido como un paradigma crítico para entrenar modelos compartidos a través de clientes distribuidos sin centralizar los datos, abordando preocupaciones de privacidad y escasez de datos. Sin embargo, las revisiones existentes adoptan predominantemente una perspectiva centrada en el método o en el sistema, enfocándose en fundamentos generales, prácticas de seguridad o aplicaciones amplias. Estas revisiones a menudo no profundizan lo suficiente en los aspectos específicos de los datos como motor principal del comportamiento del sistema. En consecuencia, existe una falta de una "síntesis con lente de datos" que vincule explícitamente las propiedades concretas de los datos (rasgos), los protocolos de partición y los mecanismos de defensa con la velocidad de convergencia, la estabilidad y la precisión final. Los profesionales suelen tener dificultades para predecir cómo características de datos específicas (por ejemplo, sesgo de etiquetas, variabilidad intra-clase) o estrategias de división impactarán la dinámica de entrenamiento, lo que conduce a una convergencia impredecible y un diseño de sistema subóptimo.

2. Metodología

Los autores emplearon una metodología de encuesta estructurada y centrada en los datos para abordar esta brecha:

• Estrategia de Búsqueda: Las búsquedas primarias se realizaron en Google Scholar utilizando combinaciones de palabras clave relacionadas con temas específicos (por ejemplo, "federated learning" + "attack", "heterogeneity") junto con "federated learning".
• Criterios de Selección: Se dio prioridad a los trabajos más citados y recientes (2020–2026). Los criterios secundarios incluyeron la reputación del lugar de publicación (cuartiles Q1/Q2).
• Evidencia de Alta Calidad: Para el análisis específico de cómo la división de datos afecta la convergencia, la tabla de evidencia se restringió a publicaciones de sedes con clasificación de la A a la A* (clasificación CORE) como AAAI, ICLR, CVPR, NeurIPS, etc., para asegurar una síntesis comparativa delimitada de trabajos de alta calidad.
• Alcance: La encuesta se centra estrictamente en los datos como un factor determinante y una razón de los desafíos. Excluye las restricciones del entorno y del sistema (por ejemplo, latencia de red, heterogeneidad de hardware) a menos que sean una consecuencia directa de las elecciones de manejo de datos.
• Marco de Análisis: El estudio organiza los hallazgos en torno a cuatro Preguntas de Investigación (RQ):
  1. ¿Qué características de la fuente de datos afectan la convergencia?
  2. ¿Qué factores impiden que la simulación refleje los datos del mundo real?
  3. ¿Cómo se dividen típicamente los conjuntos de datos en experimentos previos?
  4. ¿Cuáles son los compromisos entre convergencia y privacidad de los métodos de defensa?

3. Contribuciones Clave y Hallazgos

RQ1: Rasgos de los Datos y Convergencia

El artículo analiza los rasgos intrínsecos de los datos y clasifica su influencia en la convergencia como Fuerte, Media o Ligera:

• Impacto Fuerte:
  • Procedencia: Los entornos de dispositivos cruzados (muchos clientes intermitentes) generalmente conducen a una convergencia más lenta y menos estable en comparación con los entornos de silos cruzados (pocos clientes confiables) debido a una mayor heterogeneidad estadística y abandono (dropout).
  • Variabilidad Intra-Clase (ICV): Una mayor variabilidad dentro de una clase (por ejemplo, fondos desordenados en SVHN, escritura manual diversa en FEMNIST) infla la varianza del gradiente y ralentiza la convergencia.
  • Separación Inter-Clase (ICS): Márgenes más grandes entre clases (por ejemplo, MNIST vs. Fashion-MNIST) aceleran la convergencia y mejoran la precisión final.
• Impacto Medio:
  • Sesgo de Etiquetas: El desequilibrio de etiquetas nativo (común en datos de dispositivos cruzados) desalinea los gradientes de los clientes, ralentizando la convergencia y reduciendo la precisión en presupuestos de rondas finitos.
  • Número de Clases: Más clases reducen la separación inter-clase y aumentan la confusión, ralentizando la convergencia (por ejemplo, CIFAR-10 vs. CIFAR-100).
  • Dimensión de Características: Una mayor dimensionalidad aumenta la complejidad de la muestra y la varianza del gradiente, aunque su efecto es secundario a la geometría.
  • Homofilia de Gráficos: Una mayor homofilia alinea el paso de mensajes con la suavidad de las etiquetas, acelerando la convergencia en FL de grafos.
• Impacto Ligero:
  • Número de Muestras: Aumentar el recuento de muestras solo ayuda si aumenta la cobertura de etiquetas o reduce la varianza; de lo contrario, principalmente aumenta el cómputo por ronda sin acelerar la convergencia.

Los autores proporcionan un "mapa de rasgos-comportamiento" (Tabla 3) y un análisis de relación por pares (Figura 1), mostrando que la geometría (ICV/ICS) y la procedencia son los impulsores dominantes, mientras que la escala (recuento de muestras) es el factor menos influyente.

RQ2 y RQ3: División de Datos y Simulación

El artículo destaca una brecha significativa entre la simulación sintética y el despliegue en el mundo real:

• Limitaciones de la Simulación: Los benchmarks estándar suelen utilizar divisiones simples e iguales o distribuciones de Dirichlet sintéticas que no logran capturar heterogeneidades acopladas como tamaños de cliente de cola larga, clases faltantes, cambios de dominio y participación dinámica.
• Estrategias de División:
  • Basadas en Dirichlet: El método sintético más común, controlado por el parámetro $\alpha$. Un $\alpha$ pequeño crea un sesgo extremo; un $\alpha$ grande se acerca a IID.
  • División Natural: Particiona los datos por procedencia del mundo real (por ejemplo, ID de usuario, sitio hospitalario). Esto preserva la heterogeneidad realista (por ejemplo, conjuntos de datos FEMNIST, LEAF) pero es más difícil de controlar y comparar.
  • Basada en Clústeres y Temporal: Agrupación por geografía/similitud o intervalos de tiempo para imitar escenarios de aplicación específicos.
• Recomendación: Los autores abogan por priorizar las divisiones naturales sobre las divisiones de Dirichlet sintéticas para la validez externa, mientras utilizan líneas base sintéticas para la ablación controlada. Enfatizan reportar diagnósticos cuantitativos de heterogeneidad (por ejemplo, distribución de tamaño de cliente, cobertura de clases) para asegurar la comparabilidad.

RQ4: Vulnerabilidades y Compromisos de Defensa

El artículo examina sistemáticamente las vulnerabilidades relacionadas con los datos (Envenenamiento, Evasión, Inferencia de Membresía, Filtración no Intencionada) y sus defensas utilizando una lente de frontera de Pareto (Utilidad Limpia vs. Utilidad Bajo Ataque):

• Envenenamiento (Cambio de Etiquetas/Backdoor): Las defensas como FLDetector y DOS pueden reducir el éxito del ataque a casi cero manteniendo o mejorando ligeramente la precisión limpia. SparseFed ofrece una gran reducción de ataques con una pequeña caída en la precisión limpia (~1–3 pp).
• Evasión: Métodos como USD-FL (usando puntuación de conjunto de reserva) y FedDef (gradientes pseudo) logran ganancias significativas de robustez con una pérdida mínima de la precisión limpia.
• Inferencia de Membresía: Las defensas como MIST, HAMP y Purifier llevan las métricas de ataque hacia niveles de azar con impactos insignificantes o incluso positivos en la utilidad limpia.
• Exposición no Intencionada (Buffers de Replay): Las técnicas como KDRSFL y FedPMR mitigan la filtración y el olvido catastrófico con costos de precisión casi nulos.
• Perspectiva de Compromiso: La mayoría de las defensas bien diseñadas mejoran la robustez con un impacto insignificante en la convergencia. La protección más fuerte suele incurrir solo en un pequeño costo (caída de precisión del 1–3%), mientras que la Privacidad Diferencial a menudo implica compromisos mayores.

4. Significado y Reivindicaciones

El artículo afirma ser la primera encuesta que proporciona una comprensión completa y centrada en los datos de los desafíos que gobiernan la convergencia de FL. Su importancia radica en:

1. Guía Accionable: Destila conclusiones claras para los profesionales, permitiéndoles diseñar sistemas con convergencia y estabilidad predecibles al comprender cómo rasgos de datos específicos (por ejemplo, ICV, ICS, procedencia) dictan el comportamiento de optimización.
2. Cerrar la Brecha: Vincula decisiones de datos concretas (protocolos de división, curación de conjuntos de datos) directamente con los resultados de optimización, yendo más allá de los límites teóricos abstractos hacia las realidades empíricas observadas en imágenes, texto y grafos.
3. Compromisos Explícitos: Al mapear las defensas en una frontera de Pareto, aclara cuándo las ganancias de robustez conllevan costos materiales frente a cuándo preservan una precisión cercana a la limpia.
4. Direcciones Futuras: Los autores identifican problemas abiertos, particularmente respecto a la inicialización del modelo (simple vs. pre-entrenada) y su interacción con datos no-IID, señalando que no existe un consenso sobre si inicializaciones específicas garantizan la convergencia.

El trabajo sirve como una guía fundamental para que investigadores y profesionales naveguen la compleja interacción entre la heterogeneidad de los datos, las estrategias de partición y la seguridad, allanando el camino para sistemas de aprendizaje federado más robustos y completos.