🤖 machine learning

FAIRVAR: Fair Federated Learning via Variance Regularization

Este artículo presenta FairGrad y FairGrad*, dos métodos regularizados por la varianza del gradiente que minimizan eficazmente las disparidades de rendimiento entre los clientes en entornos de aprendizaje federado heterogéneos, manteniendo al mismo tiempo una precisión competitiva del modelo global.

Autores originales: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un grupo de vecinos intentando construir un único libro de recetas compartido. Cada vecino trae su propia colección de ingredientes y notas de cocina (sus datos locales) para contribuir al libro global. El objetivo es crear una "Receta Maestra" que funcione bien para todos.

Esta es la idea básica de la Aprendizaje Federado (FL). Sin embargo, hay un problema: algunos vecinos tienen despensas enormes y diversas (muchos datos), mientras que otros tienen colecciones muy pequeñas y específicas (pocos datos). Algunos vecinos solo cocinan comida picante, mientras que otros solo hornean dulces.

Si el grupo simplemente promedia las notas de todos a ciegas, la Receta Maestra final podría ser excelente para los vecinos con grandes despensas, pero terrible para los que tienen colecciones pequeñas o únicas. Los vecinos "picantes" podrían terminar con una receta que sabe a avena insípida, y los "reposteros" podrían recibir una receta que quema su horno. Esto es injusticia: el modelo global funciona bien para algunos, pero falla para otros.

La solución del artículo: "FairVar"

Los autores de este artículo, Zahra Kharaghani, Ali Dadras y Tommy Löfstedt, proponen una nueva forma de mezclar estas recetas llamada FairVar. Su objetivo es la Equidad de Rendimiento (Performance Equitable Fairness): asegurar que la receta final funcione igualmente bien para cada vecino, no solo en promedio.

Para lograr esto, introducen un concepto llamado Regularización de la Varianza. Piensa en la "varianza" como la medida de cuánto difieren los resultados de los vecinos entre sí. El artículo sugiere dos formas principales de arreglar el libro de recetas:

1. El enfoque de "Varianza de Puntuación" (FairLoss)

Imagina que los vecinos califican la Receta Maestra después de probarla.

El Problema: Si los vecinos picantes le dan un 2/10 y los reposteros un 9/10, el promedio es un decente 5.5/10. Pero los vecinos picantes están descontentos.
La Solución: El método FairLoss añade una "penalización" al objetivo del grupo. Si las puntuaciones están demasiado dispersas (alta varianza), se le dice al grupo: "Oigan, necesitan ajustar la receta para que las puntuaciones bajas suban, incluso si eso significa que las puntuaciones altas bajen un poco". Esto obliga a la receta a encontrar un punto medio que satisfaga a todos.

2. El enfoque de "Varianza de Dirección" (FairGrad) — La Nueva Estrella

Esta es la principal innovación del artículo. En lugar de mirar solo las puntuaciones finales, observan la dirección en la que los vecinos intentan empujar la receta.

La Metáfora: Imagina que los vecinos están todos tirando de una cuerda gigante para mover un carro pesado (el modelo).
- Los "reposteros" están tirando fuerte hacia el Norte.
- Los "cocineros picantes" están tirando fuerte hacia el Este.
- La receta "promedio" simplemente tira hacia el Noreste, lo que podría no mover el carro muy lejos para nadie.
La Solución: El método FairGrad observa cuánto están tirando los vecinos en diferentes direcciones. Si los que tiran hacia el "Este" están siendo ignorados porque los que tiran hacia el "Norte" son más fuertes, FairGrad añade una "tensión" a la cuerda. Dice: "Necesitamos alinear nuestros tirones más estrechamente". Penaliza al grupo si las direcciones están demasiado dispersas. Al obligar a los vecinos a ponerse más de acuerdo sobre cómo cambiar la receta, el resultado final termina siendo mucho más justo para los grupos minoritarios.

Cómo lo probaron

Los investigadores probaron estas ideas en una "cocina digital" con cuatro conjuntos de datos famosos (MNIST, CIFAR-10, CIFAR-100 y Tiny ImageNet). Simularon diferentes niveles de caos:

Caos Bajo: Todos tienen ingredientes similares (Datos Homogéneos).
Caos Alto: Todos tienen ingredientes totalmente diferentes (Datos Heterogéneos).

Compararon sus nuevos métodos (FairGrad y FairGrad*) contra métodos antiguos como FedAvg (el enfoque estándar de "promediar todo") y q-FFL (un intento previo de equidad).

Lo que encontraron

Cuando todos son similares: Si todos los vecinos tienen despensas similares, los nuevos y sofisticados métodos no cambian mucho nada. El enfoque de "promedio" estándar funciona bien. Los nuevos métodos no rompen nada, pero no necesitan hacer mucho trabajo extra.
Cuando todos son diferentes (La verdadera prueba): Aquí fue donde ocurrió la magia.
- Los métodos estándar (FedAvg) produjeron una receta que era buena en promedio, pero tenía grandes brechas: algunos vecinos la amaban, otros la odiaban.
- Los métodos FairGrad redujeron significamente estas brechas. Hicieron que el vecino del "peor caso" fuera mucho más feliz sin arruinar la experiencia para los demás.
- En muchas pruebas, FairGrad no solo arregló la equidad; de hecho, también mejoró la receta general. Fue como encontrar un ingrediente secreto que hizo que el plato supiera bien para todos, no solo para la mayoría.

Las dos versiones de FairGrad

El artículo ofrece dos formas de ejecutar este método "FairGrad":

FairGrad (Aproximado): Esta es la versión "perezosa" pero eficiente. Los vecinos observan lo que el grupo hizo la última vez para decidir qué hacer ahora. Ahorra tiempo y comunicación (menos charla entre vecinos).
FairGrad (Exacto):* Esta es la versión "precisa". Los vecinos observan lo que el grupo está haciendo justo ahora. Requiere más comunicación y es más lento, pero es más exacto. El artículo sugiere usarlo cuando la tarea es muy difícil o los vecinos son muy diferentes.

La Conclusión

El artículo concluye que al añadir una "penalización de varianza" (específicamente mirando cuánto difieren las direcciones de los vecinos), podemos construir modelos de aprendizaje automático que sean más justos. En lugar de dejar que las voces más fuertes (los dueños de los datos más grandes) dicten el resultado, el modelo es impulsado a escuchar a las voces más silenciosas, asegurando que el resultado final funcione bien para todos en la sala, independientemente de cuántos datos hayan traído a la mesa.

Resumen Técnico: FAIRVAR - Aprendizaje Federado Justo mediante la Regularización de la Varianza

Planteamiento del Problema

El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos a través de múltiples clientes sin compartir los datos brutos. Sin embargo, la heterogeneidad de los datos a menudo conduce a disparidades significativas en el rendimiento entre los clientes, donde el modelo global funciona bien en promedio pero mal para clientes específicos con distribuciones de datos distintas o tamaños de muestra menores. Esta falta de equidad de rendimiento (performance equitable fairness) —definida como la minimización de las disparidades de rendimiento entre clientes mientras se mantiene un alto rendimiento general del modelo— es un desafío crítico. Los enfoques existentes para abordar esto, como la regularización de la varianza de la pérdida y el Aprendizaje Federado $q$ -Justo ( $q$ -FFL), a menudo carecen de una base teórica sólida respecto a su comportamiento bajo la heterogeneidad, y sigue sin estar claro qué métodos son más efectivos en entornos prácticos.

Metodología

El artículo propone un nuevo enfoque para la equidad de rendimiento basada en la regularización de la varianza del gradiente. Los autores analizan y comparan varios métodos existentes e introducen nuevos algoritmos derivados de dos funciones de objetivo primarias:

Regularización de la Varianza de la Pérdida: Basándose en trabajos previos, este enfoque penaliza la varianza de las pérdidas de los clientes:
$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$
donde $F(x)$ es la pérdida promedio global y $f_i(x)$ es la pérdida local para el cliente $i$ .
Regularización de la Varianza del Gradiente (Propuesto): Los autores introducen un nuevo objetivo que minimiza la varianza de los gradientes de los clientes para promover la equidad:
$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$
Aquí, $\nabla F(x)$ es el gradiente promedio entre los clientes.

Para resolver estos objetivos no separables en un entorno federado, los autores proponen cuatro algoritmos:

FairLoss y FairLoss*: Variantes aproximada y exacta para minimizar el objetivo de varianza de la pérdida ( $L_\lambda$ ).
FairGrad y FairGrad*: Variantes aproximada y exacta para minimizar el objetivo de varianza del gradiente ( $J_\gamma$ $J_{γ}$ ).
- Variantes aproximadas (FairLoss, FairGrad): Utilizan información de la iteración anterior (por ejemplo, el promedio de la pérdida o el gradiente anterior) para reducir la sobrecarga de comunicación.
- Variantes exactas (FairLoss*, FairGrad*): Utilizan información de la iteración actual para actualizaciones más precisas a costa de un aumento en la comunicación.

Estos se comparan contra líneas base que incluyen FedAvg, Aprendizaje Federado Agnóstico (AFL), $q$ -FFL y AAggFF.

Análisis Teórico

El artículo proporciona una caracterización teórica de las relaciones entre estos métodos bajo entornos de datos homogéneos y heterogéneos:

Datos Homogéneos: En configuraciones donde todos los clientes comparten la misma distribución de datos, los términos de regularización (varianza de la pérdida o del gradiente) no alteran la ubicación de los puntos estacionarios en promedio. Por lo tanto, las soluciones óptimas siguen siendo consistentes con el objetivo estándar de FedAvg, y la regularización es teóricamente innecesaria.
Datos Heterogéneos: Bajo la heterogeneidad, los términos de regularización desplazan activamente el paisaje de optimización. Los autores demuestran que si las pérdidas o los gradientes de los clientes no están alineados en el óptimo del objetivo no regularizado, los objetivos regularizados ( $L_\lambda$ , $J_\gamma$ y $H_q$ ) tendrán diferentes puntos estacionarios. Específicamente, la regularización de la varianza puede alejar la solución de un óptimo de pérdida promedio hacia un punto con un rendimiento más equilibrado entre los clientes.
Conexiones: El análisis establece que $q$ -FFL (con $q=1$ ) puede ser acotado superiormente por el objetivo de regularización de la varianza de la pérdida bajo condiciones específicas, vinculando estos enfoques previamente distintos.

Resultados Experimentales

Los métodos fueron evaluados en cuatro conjuntos de datos de clasificación de imágenes (MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet) con niveles variables de heterogeneidad de datos controlados por parámetros de concentración de Dirichlet ( $\alpha \in \{0.05, 0.1, 0.5\}$ ).

Rendimiento: Los métodos de regularización de la varianza propuestos, particularmente FairGrad y FairGrad*, superaron consistentemente a las líneas base en entornos heterogéneos.
Equidad: Los métodos redujeron significativamente la varianza de las precisiones de los clientes (la métrica de equidad) en comparación con FedAvg, AFL y $q$ $q$ -FFL.
- En CIFAR-100, FairGrad* logró la mejor precisión y la menor varianza con alta heterogeneidad ( $\alpha=0.05, 0.1$ ).
- En CIFAR-10, FairGrad logró consistentemente la menor varianza en todos los niveles de heterogeneidad y la mayor precisión en $\alpha \in \{0.1, 0.5\}$ .
- En Tiny ImageNet, FairGrad* logró la menor varianza en $\alpha \in \{0.05, 0.5\}$ .
Entornos Homogéneos: En MNIST (donde los datos son relativamente homogéneos), todos los métodos se comportaron de manera similar, ofreciendo las variantes regularizadas solo mejoras marginales en la equidad, lo que concuerda con la predicción teórica de que la regularización es menos crítica en entornos homogéneos.

Significancia y Reivindicaciones

El artículo afirma que FairGrad y FairGrad* representan un enfoque fundamentado y efectivo para mejorar la equidad en el Aprendizaje Federado. Las contribuciones clave incluyen:

Novedad: La introducción de la regularización de la varianza del gradiente específicamente para la equidad de rendimiento, una dirección no explorada previamente en este contexto.
Claridad Teórica: Proporcionar un marco teórico que explica la relación entre los métodos de equidad existentes (como $q$ -FFL y la regularización de la varianza de la pérdida) y demuestra cómo la regularización de la varianza altera el comportamiento de la optimización bajo la heterogeneidad.
Validación Empírica: Demostrar que la reducción de la varianza del gradiente conduce a un rendimiento más equitativo entre los clientes sin sacrificar la precisión general del modelo, superando a menudo a las líneas base de atención a la equidad de vanguardia.

Los autores concluyen que, si bien la regularización basada en la varianza es teóricamente redundante en entornos homogéneos, es un mecanismo crucial para lograr la equidad en los escenarios heterogéneos típicos de los despliegues de FL en el mundo real. El trabajo destaca el regularizador de alineación de gradientes como un método robusto para equilibrar el rendimiento de los clientes.