Fairness-Aware Federated Learning with Trajectory Shapley Value

Resumen Técnico: Aprendizaje Federado Consciente de la Equidad con el Valor de Shapley de Trayectoria

Planteamiento del Problema
El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos en clientes distribuidos sin compartir datos crudos, abordando las restricciones de privacidad y comunicación en dominios como la energía renovable, la atención sanitaria y los sistemas autónomos. Sin embargo, los esquemas de agregación convencionales, particularmente el Promedio Federado (FedAvg), dependen de pesos fijos (típicamente uniformes o proporcionales al tamaño del conjunto de datos). Estos pesos estáticos no tienen en cuenta las contribuciones variables en el tiempo de los clientes, la heterogeneidad de los datos y la participación parcial. En consecuencia, el modelo global puede sufrir sesgos, inestabilidad y vulnerabilidad ante clientes de baja calidad o maliciosos (bizantinos) que ejercen una influencia desproporcionada.

Los métodos existentes para la evaluación de clientes a menudo utilizan el Valor de Shapley (SV) de la teoría de juegos cooperativa para asignar puntuaciones justas basadas en contribuciones marginales. Sin embargo, el cálculo exacto del SV es intratable para redes grandes. Las aproximaciones como el muestreo de Monte Carlo pueden infravalorar a los clientes que se unen tarde o participan con poca frecuencia, mientras que los métodos basados en gradientes (por ejemplo, Valor de Shapley de Gradiente Coseno) pueden sobrevalorar las actualizaciones de gran magnitud y carecer de información basada en validación. Existe la necesidad de una métrica de contribución que sea temporalmente consistente, robusta ante comportamientos adversarios y capaz de evaluar a los clientes basándose en su influencia sobre la trayectoria de optimización en lugar de solo en la reducción estática de la pérdida.

Metodología: Valor de Shapley de Trayectoria (TSV) y FedTSV
Los autores proponen el Valor de Shapley de Trayectoria (TSV), una métrica de contribución novedosa, y FedTSV, un algoritmo de agregación adaptativo.

1. Valor de Shapley de Trayectoria (TSV):

   • Concepto: En lugar de centrarse únicamente en la reducción estática de la pérdida, el TSV evalúa cómo la actualización de la coalición de un cliente se alinea con la trayectoria de optimización del modelo global.
   • Actualización de Referencia: En cada ronda de comunicación $t$, el servidor calcula una actualización de referencia ($\Delta^t_{val}$) realizando $K$ pasos de Descenso de Gradiente Estocástico (SGD) sobre datos de validación retenidos, comenzando desde el modelo global actual $\theta_t$.
   • Función de Utilidad: Para cualquier coalición $S$ de clientes participantes, el servidor calcula su actualización promedio ($\Delta^t_S$). Se define una utilidad por ronda acotada $v_t(S)$ basada en la distancia entre la actualización de la coalición y la referencia de validación:
     $$v_t(S) = \left( 1 + \frac{\text{Dist}(\Delta^t_S, \Delta^t_{val})^2}{\sigma_t} \right)^{-1}$$
     donde $\text{Dist}$ es una métrica (por ejemplo, euclidiana) y $\sigma_t$ es un factor de normalización para garantizar la estabilidad cerca de puntos estacionarios.
   • Puntuación: La utilidad $v_t(S)$ aumenta a medida que la actualización de la coalición se acerca geométricamente a la dirección de descenso de validación. El Valor de Shapley se estima por ronda utilizando muestreo de Monte Carlo sobre esta utilidad acotada y se acumula a lo largo del tiempo para formar una puntuación de contribución acumulada.

2. Algoritmo FedTSV:

   • Ponderación Adaptativa: Los valores de Shapley acumulados se convierten en pesos de agregación no negativos y dependientes del tiempo ($\alpha^t_i$).
   • Mecanismo: Los clientes con contribuciones acumuladas positivas reciben pesos más altos, mientras que aquellos con contribuciones negativas (que indican comportamiento malicioso o una alineación consistentemente deficiente) se recortan a cero.
   • Robustez: Este mecanismo permite que el servidor responda dinámicamente a la participación heterogénea y adversaria en tiempo real, reduciendo el peso de los clientes maliciosos sin requerir conocimiento previo de su estado.
   • Complejidad: El método requiere solo un pase de entrenamiento por cliente por ronda más un pase de validación en el servidor, manteniendo la viabilidad computacional.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Métrica TSV: Introducción de una métrica de contribución novedosa que evalúa a los clientes a través de su influencia sobre la trayectoria de optimización, ofreciendo una alternativa temporalmente consistente a los métodos convencionales basados en SV.
2. Algoritmo FedTSV: Desarrollo de un algoritmo de ponderación adaptativa que aprovecha el TSV para ajustar dinámicamente los pesos de agregación, mejorando la equidad y la robustez en entornos heterogéneos y adversarios.
3. Validación Empírica: Demostración de la efectividad de FedTSV en benchmarks de clasificación de imágenes (MNIST y CIFAR-10) y diversos escenarios de FL, destacando sus ventajas para el aprendizaje distribuido que preserva la privacidad.

Resultados Experimentales
Los autores evaluaron FedTSV frente a líneas base que incluyen FedAvg, Valor de Shapley de Gradiente Coseno (CGSV) y métodos Leave-One-Out (LOO) en los conjuntos de datos MNIST y CIFAR-10 con 100 clientes (70 IID, 10 no-IID, 20 maliciosos).

• Convergencia y Precisión: FedTSV aceleró consistentemente la convergencia y logró una precisión global superior en comparación con las líneas base. En CIFAR-10, FedAvg se saturó en niveles de precisión más bajos (~0.65), mientras que FedTSV mantuvo un rendimiento estable y superior.
• Robustez: FedTSV demostró mayor estabilidad frente a la corrupción de etiquetas y la heterogeneidad estadística. Las fluctuaciones de rendimiento de FedTSV fueron significativamente menores que las de otros métodos, particularmente en el paisaje más complejo de CIFAR-10.
• Evaluación de Contribuciones: La visualización de los pesos de los clientes mostró que FedTSV separó eficazmente los tipos de clientes: los clientes maliciosos recibieron puntuaciones bajas, los clientes benignos IID se concentraron en la región positiva y los clientes benignos no-IID se situaron en medio. Por el contrario, FedAvg asignó pesos uniformes, mientras que CGSV y LOO mostraron distribuciones dispersas o pesos inflados para clientes adversarios.

Significado y Afirmaciones
El artículo afirma que FedTSV proporciona una base fundamentada para la optimización federada consciente de la equidad. Al integrar el análisis de actualizaciones basado en trayectorias con los principios del valor de Shapley, el método ofrece un mecanismo que es tanto eficiente como robusto. Los autores afirman que FedTSV mejora la robustez en presencia de clientes heterogéneos y adversarios, al tiempo que preserva la eficiencia computacional.

El artículo se mantiene modesto respecto a las garantías teóricas, señalando que las pruebas de convergencia habituales para FedAvg no se aplican directamente al objetivo variable en el tiempo de FedTSV, y que un análisis riguroso de la convergencia queda para trabajos futuros. Las direcciones de investigación futura identificadas incluyen investigar los fundamentos teóricos de FedTSV desde un punto de vista de la teoría de juegos, centrándose específicamente en la compatibilidad de incentivos y la equidad en el aprendizaje colaborativo a largo plazo.