Fairness-Aware Federated Learning with Trajectory Shapley Value

Resumo Técnico: Aprendizado Federado Consciente de Equidade com Valor de Shapley de Trajetória

Declaração do Problema
O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em clientes distribuídos sem compartilhar dados brutos, abordando restrições de privacidade e comunicação em domínios como energia renovável, saúde e sistemas autônomos. No entanto, esquemas de agregação convencionais, particularmente a Média Federada (FedAvg), dependem de pesos fixos (tipicamente uniformes ou proporcionais ao tamanho do conjunto de dados). Esses pesos estáticos não levam em conta contribuições variáveis no tempo dos clientes, heterogeneidade de dados e participação parcial. Consequentemente, o modelo global pode sofrer com viés, instabilidade e vulnerabilidade a clientes de baixa qualidade ou maliciosos (bizantinos) que exercem influência desproporcional.

Métodos existentes para avaliação de clientes frequentemente utilizam o Valor de Shapley (SV) da teoria dos jogos cooperativos para atribuir pontuações justas baseadas em contribuições marginais. No entanto, o cálculo exato do SV é intratável para redes grandes. Aproximações como amostragem de Monte Carlo podem subavaliar clientes que se juntam tardiamente ou participam com pouca frequência, enquanto métodos baseados em gradiente (por exemplo, Valor de Shapley de Gradiente Cosseno) podem superenfatizar atualizações de grande magnitude e carecer de informações baseadas em validação. Há uma necessidade de uma métrica de contribuição que seja temporalmente consistente, robusta a comportamentos adversários e capaz de avaliar clientes com base em sua influência na trajetória de otimização, e não apenas na redução estática de perda.

Metodologia: Valor de Shapley de Trajetória (TSV) e FedTSV
Os autores propõem o Valor de Shapley de Trajetória (TSV), uma nova métrica de contribuição, e o FedTSV, um algoritmo de agregação adaptativo.

1. Valor de Shapley de Trajetória (TSV):

   • Conceito: Em vez de focar exclusivamente na redução estática de perda, o TSV avalia como a atualização de uma coalizão de clientes se alinha com a trajetória de otimização do modelo global.
   • Atualização de Referência: Em cada rodada de comunicação $t$, o servidor computa uma atualização de referência ($\Delta^t_{val}$) realizando $K$ passos de Descida de Gradiente Estocástico (SGD) em dados de validação retidos, começando do modelo global atual $\theta_t$.
   • Função de Utilidade: Para qualquer coalizão $S$ de clientes participantes, o servidor computa sua atualização média ($\Delta^t_S$). Uma utilidade por rodada limitada $v_t(S)$ é definida com base na distância entre a atualização da coalizão e a referência de validação:
     $$v_t(S) = \left( 1 + \frac{\text{Dist}(\Delta^t_S, \Delta^t_{val})^2}{\sigma_t} \right)^{-1}$$
     onde $\text{Dist}$ é uma métrica (por exemplo, Euclidiana) e $\sigma_t$ é um fator de normalização para garantir estabilidade perto de pontos estacionários.
   • Pontuação: A utilidade $v_t(S)$ aumenta à medida que a atualização da coalizão se torna geometricamente mais próxima da direção de descida de validação. O Valor de Shapley é estimado por rodada usando amostragem de Monte Carlo sobre essa utilidade limitada e acumulado ao longo do tempo para formar uma pontuação de contribuição cumulativa.

2. Algoritmo FedTSV:

   • Ponderação Adaptativa: Os valores de Shapley cumulativos são convertidos em pesos de agregação não negativos e dependentes do tempo ($\alpha^t_i$).
   • Mecanismo: Clientes com contribuições cumulativas positivas recebem pesos mais altos, enquanto aqueles com contribuições negativas (indicando malícia ou alinhamento consistentemente pobre) são truncados para zero.
   • Robustez: Este mecanismo permite que o servidor responda dinamicamente à participação heterogênea e adversária em tempo real, reduzindo o peso de clientes maliciosos sem exigir conhecimento prévio de seu status.
   • Complexidade: O método requer apenas uma passagem de treinamento por cliente por rodada mais uma passagem de validação no lado do servidor, mantendo a viabilidade computacional.

Principais Contribuições
O artigo delineia três contribuições primárias:

1. Métrica TSV: Introdução de uma nova métrica de contribuição que avalia clientes através de sua influência na trajetória de otimização, oferecendo uma alternativa temporalmente consistente aos métodos convencionais baseados em SV.
2. Algoritmo FedTSV: Desenvolvimento de um algoritmo de ponderação adaptativa que aproveita o TSV para ajustar dinamicamente os pesos de agregação, melhorando a equidade e a robustez em ambientes heterogêneos e adversários.
3. Validação Empírica: Demonstração da eficácia do FedTSV em benchmarks de classificação de imagens (MNIST e CIFAR-10) e vários cenários de FL, destacando suas vantagens para aprendizado distribuído que preserva a privacidade.

Resultados Experimentais
Os autores avaliaram o FedTSV contra linhas de base incluindo FedAvg, Valor de Shapley de Gradiente Cosseno (CGSV) e métodos Leave-One-Out (LOO) nos conjuntos de dados MNIST e CIFAR-10 com 100 clientes (70 IID, 10 não-IID, 20 maliciosos).

• Convergência e Precisão: O FedTSV consistentemente acelerou a convergência e alcançou maior precisão global em comparação com as linhas de base. No CIFAR-10, o FedAvg saturou em níveis de precisão mais baixos (~0,65), enquanto o FedTSV manteve desempenho estável e superior.
• Robustez: O FedTSV demonstrou maior estabilidade contra corrupção de rótulos e heterogeneidade estatística. As flutuações de desempenho do FedTSV foram significativamente menores do que as de outros métodos, particularmente no cenário mais complexo do CIFAR-10.
• Avaliação de Contribuição: A visualização dos pesos dos clientes mostrou que o FedTSV separou efetivamente os tipos de clientes: clientes maliciosos receberam pontuações baixas, clientes benignos IID concentraram-se na região positiva e clientes benignos não-IID caíram no meio. Em contraste, o FedAvg atribuiu pesos uniformes, enquanto CGSV e LOO mostraram distribuições dispersas ou pesos inflados para clientes adversários.

Significado e Alegações
O artigo alega que o FedTSV fornece uma base principial para otimização federada consciente de equidade. Ao integrar análise de atualizações baseada em trajetória com princípios de valor de Shapley, o método oferece um mecanismo que é tanto eficiente quanto robusto. Os autores afirmam que o FedTSV melhora a robustez na presença de clientes heterogêneos e adversários, preservando a eficiência computacional.

O artigo permanece modesto quanto a garantias teóricas, observando que as provas de convergência usuais para FedAvg não se aplicam diretamente ao objetivo variável no tempo do FedTSV, e uma análise rigorosa de convergência é deixada para trabalhos futuros. Direções de pesquisa futura identificadas incluem investigar as fundações teóricas do FedTSV de um ponto de vista da teoria dos jogos, focando especificamente na compatibilidade de incentivos e na equidade no aprendizado colaborativo de longo prazo.