Resumen Técnico: DÓNDE Generar Importa: Aumento Sintético Consciente del Presupuesto para el Aprendizaje Federado con Sesgo de Etiquetas

Planteamiento del Problema

El sesgo de etiquetas, donde los clientes en un entorno de Aprendizaje Federado (FL) poseen distribuciones de clases localmente desequilibradas, es un desafío fundamental que causa deriva de cliente y degrada la precisión del modelo global. Aunque los métodos existentes de aumento de datos sintéticos intentan corregir esto generando muestras faltantes, la política dominante —Equilibrio Completo de Clases (Full Class Balancing)— requiere que cada cliente genere muestras hasta que todas las clases alcancen el tamaño de la clase más grande del cliente.

Este enfoque es computacionalmente prohibitivo. Como demuestra el artículo, lograr un equilibrio completo en una partición estándar de CIFAR-10 con 20 clientes y un sesgo alto ($\alpha=0.1$) requiere generar más de 226,000 muestras sintéticas. Además, los métodos existentes con restricciones de presupuesto suelen asignar los recursos de generación de manera uniforme o basados en el tamaño de los datos del cliente, ignorando el sesgo específico de la distribución de etiquetas. Los autores postulan que la pregunta crítica no es solo cuántos datos generar, sino DÓNDE deben ir las muestras para maximizar la precisión dentro de un presupuesto fijo.

Metodología: FedEAS

El artículo propone FedEAS (Síntesis Adaptativa a la Entropía Federada), una política que asigna dinámicamente un presupuesto de generación por clase a cada cliente basándose en su distribución local de etiquetas. A diferencia de los métodos anteriores que fijan el presupuesto total de antemano, FedEAS deriva el presupuesto total de generación de la suma de los presupuestos individuales de los clientes.

Mecanismo Central

FedEAS opera sobre tres observaciones clave derivadas del análisis de la deriva de cliente y la reducción del desequilibrio:

1. El desequilibrio está concentrado: Un pequeño subconjunto de clientes altamente sesgados contribuye desproporcionadamente al desequilibrio global.
2. La generación dirigida es eficiente: El desequilibrio disminuye solo cuando se añaden muestras a clases escasas o ausentes; añadir muestras a clases ya abundantes produce rendimientos decrecientes o negativos.
3. Rendimientos decrecientes: El costo para eliminar el desequilibrio aumenta a medida que la distribución se vuelve más equilibrada; el equilibrio completo suele ser innecesario para obtener ganancias significativas de precisión.

La Regla de Presupuesto Adaptativa a la Entropía

Para cada cliente $k$, FedEAS calcula un presupuesto de generación por clase $b_k$ utilizando la siguiente fórmula:

$$b_k = \lfloor \sqrt{\bar{n}_k} \cdot (1 - \tilde{H}_k) \cdot \beta \rfloor$$

Donde:

• $\bar{n}_k = N_k / C$ es el recuento medio por clase para el cliente $k$.
• $\tilde{H}_k$ es la entropía de Shannon normalizada de la distribución de etiquetas local del cliente (que oscila entre 0 para distribuciones altamente sesgadas y 1 para distribuciones perfectamente equilibradas).
• $\beta$ es un parámetro de presupuesto escalar compartido por todos los clientes.
• El término $(1 - \tilde{H}_k)$ asegura que los clientes altamente sesgados reciban presupuestos mayores, mientras que los clientes casi equilibrados o IID reciben casi ninguno (reduciéndose a FedAvg estándar en el límite).
• El término $\sqrt{\bar{n}_k}$ escala el presupuesto de forma sublineal con el tamaño del cliente para evitar la sobreasignación a clientes grandes.

Generación y Entrenamiento

Una vez calculado $b_k$, el cliente genera muestras sintéticas solo para las clases $c$ donde el recuento local $n_k^c < b_k$. El número de muestras generadas para la clase $c$ es $n_{k, \text{gen}}^c = \max\{0, b_k - n_k^c\}$. Esta estrategia de "llenado hasta el umbral" asegura que las muestras se dirijan exclusivamente a las clases ausentes o escasas. La generación se realiza una vez por cliente utilizando un Modelo Probabilístico de Difusión (DDPM) condicional de clase preentrenado, y las muestras generadas se almacenan en caché para su uso en todas las rondas de entrenamiento subsiguientes.

Contribuciones Clave

1. Asignación de Presupuesto Adaptativa a la Entropía: FedEAS introduce una política que determina tanto la cantidad de datos sintéticos como su distribución ("DÓNDE") basándose en el sesgo de etiquetas local. Asigna presupuestos mayores a clientes sesgados y apunta solo a las clases escasas.
2. Precisión Eficiente en la Generación: El método recupera la mayor parte de las ganancias de precisión asociadas con el Equilibrio Completo de Clases, reduciendo el presupuesto total de generación en un 94.1% (por ejemplo, 13,437 muestras frente a 226,783 muestras en CIFAR-10). Esto se traduce en una reducción de 3.7× en el tiempo de ejecución de extremo a extremo en una sola GPU.
3. Dominancia de la Asignación: Bajo un protocolo de presupuesto igualado (donde todos los métodos utilizan el mismo número total de muestras generadas), FedEAS supera a la asignación Uniforme por hasta un 18.82% en CIFAR-10 y CIFAR-100. También converge hasta 2× más rápido que las políticas de generación de "Solo Faltantes" (Missing-only).

Resultados Experimentales

Los autores evaluaron FedEAS en CIFAR-10 y CIFAR-100 bajo sesgo de etiquetas de Dirichlet ($\alpha \in \{0.05, 0.1, 0.3\}$) con variaciones en el número de clientes ($K=20, 100$).

• Precisión vs. Presupuesto: En CIFAR-10 ($\alpha=0.1, K=20$), FedEAS alcanzó una precisión del 71.65%, recuperando dos tercios de la ganancia proporcionada por el Equilibrio Completo (79.91%) utilizando solo el 5.9% de las muestras sintéticas.
• Comparación con Baselines: FedEAS superó consistentemente a los baselines estándar de FL (FedAvg, FedProx, SCAFFOLD, MOON) y a los baselines de aumento (Uniform, Missing-only).
• Sensibilidad al Presupuesto: Se demostró que la precisión aumenta de forma monótona con el parámetro de presupuesto $\beta$. Los autores seleccionaron $\beta=12$ como el valor por defecto, el cual satisfacía dos condiciones: eliminar al menos el 50% del puntaje de desequilibrio inicial manteniendo las muestras sintéticas por debajo del 25% de los datos totales de entrenamiento.
• Estudios de Ablación: Eliminar el factor de entropía o reemplazar el escalado de tamaño sublineal con una regla lineal resultó en una menor precisión y costos de generación más altos, confirmando la necesidad de ambos componentes en la fórmula del presupuesto.

Significado y Reivindicaciones

El artículo argumenta que la asignación es el problema de diseño principal para el aumento sintético en FL con sesgo de etiquetas. Los autores afirman que el presupuesto total de generación no debe ser una restricción fija y predeterminada, sino una consecuencia de las necesidades por cliente derivadas de sus distribuciones locales.

Al cambiar el enfoque de "equilibrio completo" a "presupuesto adaptativo a la entropía", FedEAS demuestra que se pueden lograr mejoras significativas en la precisión con una generación mínima de datos sintéticos. El método es agnóstico al generador (compatible con cualquier generador condicional de clase) y no requiere cambios en el protocolo de comunicación estándar de FL ni en los pesos de agregación, lo que lo convierte en una solución práctica y eficiente para mitigar la deriva de cliente en entornos heterogéneos.