Beyond performance-wise Contribution Evaluation in Federated Learning

Título: Além da Avaliação de Contribuição Baseada em Desempenho no Aprendizado Federado

Autores: Balazs Pejo (CrySyS Lab, Hungria)

1. O Problema

O Aprendizado Federado (FL) permite que múltiplas partes treinem um modelo colaborativo sem compartilhar dados brutos, preservando a privacidade. No entanto, a gestão desse processo colaborativo exige mecanismos robustos de avaliação dos participantes (clientes) para garantir estabilidade e sucesso.

O problema central identificado no artigo é que os métodos existentes de avaliação de clientes no FL são excessivamente focados em uma única dimensão: o desempenho do modelo (geralmente medido por acurácia ou perda).

• Limitação Atual: Avaliar clientes apenas pela melhoria da acurácia fornece uma visão incompleta e potencialmente enganosa do seu valor real.
• Consequência: Um cliente que melhora a acurácia pode, inadvertidamente, degradar a confiabilidade, a resiliência ou a justiça do modelo global.
• Objetivo: A comunidade precisa de uma avaliação multidimensional que considere a confiabilidade do modelo (Trustworthiness), alinhada com regulamentações como o AI Act da UE.

2. Metodologia

Os autores propõem uma estrutura de avaliação que estende a atribuição de valor dos clientes para além da acurácia, focando em três pilares da IA Confiável, além do desempenho tradicional:

1. Métricas de Avaliação Propostas:

   • Desempenho (Performance): Medido pela acurácia padrão.
   • Justiça (Fairness): Medida pela Paridade Demográfica. Avalia se as previsões do modelo são estatisticamente independentes de atributos sensíveis (ex: gênero).
   • Confiabilidade (Reliability): Medida pela tolerância a ruído aleatório (ex: ruído gaussiano). Avalia a estabilidade das previsões diante de perturbações naturais.
   • Resiliência (Resilience): Medida pela resistência a ataques adversariais (ex: ataques PGD - Projected Gradient Descent). Avalia a capacidade do modelo de manter a performance sob perturbações maliciosas e otimizadas.

2. Métodos de Atribuição de Valor:
   Para quantificar a contribuição de cada cliente nessas quatro dimensões, o estudo utiliza duas abordagens baseadas no Valor de Shapley (um conceito da teoria dos jogos para distribuição justa de ganhos):

   • GTG (Guided-Truncated-Gradient Shapley): Uma aproximação de última geração (SotA) que é computacionalmente eficiente, pulando rodadas de treinamento com melhoria insignificante e amostrando subconjuntos de clientes.
   • LOO (Leave-One-Out): Uma heurística mais leve e amplamente utilizada, que calcula a mudança na utilidade do modelo quando um cliente é removido da coalizão.

3. Configuração Experimental:

   • Domínios: Três tipos de dados diferentes foram testados: Visão Computacional (CIFAR-10), Processamento de Linguagem Natural (IMDB) e Dados Tabulares (ADULT).
   • Cenários: Simulações em ambientes cross-silo com distribuições de dados IID (independente e identicamente distribuídas) e não-IID (heterogêneas).
   • Implementação: Uso do framework Flower e TensorFlow, com repetições de 5 folds.

3. Principais Contribuições

• Expansão Multidimensional: A primeira avaliação sistemática de contribuições de clientes no FL baseada simultaneamente em desempenho, justiça, confiabilidade e resiliência.
• Descoberta de Independência Estatística: Evidência empírica de que as pontuações de confiança (justiça, confiabilidade, resiliência) são estatisticamente não correlacionadas com as pontuações de desempenho e entre si.
• Validação Metodológica: Demonstração de que os achados são consistentes ao utilizar tanto métodos de avaliação leves (LOO) quanto avançados (GTG).
• Estudo Empírico Abrangente: Validação da generalização das conclusões através de três domínios distintos de ML e diferentes configurações de clientes.

4. Resultados Chave

• Inconsistência nas Classificações: Não existe um único cliente que se destaque em todas as dimensões. Clientes que são altamente valiosos para a acurácia podem ser neutros ou até mesmo prejudiciais para a justiça, confiabilidade ou resiliência do modelo.
• Independência das Métricas: A correlação de Spearman entre as pontuações de desempenho e as métricas de confiança é extremamente baixa (geralmente < 0,1 em valor absoluto). Isso confirma que otimizar para acurácia não garante um modelo confiável.
• Correlação entre Robustez: As métricas de confiabilidade (ruído) e resiliência (ataques) tendem a estar mais correlacionadas entre si (correlação > 0,5), pois ambas medem robustez, mas ainda assim diferem significativamente da acurácia.
• Impacto do Tipo de Dados: A concentração das pontuações varia conforme o domínio (ex: dados tabulares mostram maior concentração em confiabilidade, enquanto visão computacional em resiliência), indicando que diferentes modalidades de dados são sensíveis a diferentes dimensões de confiança.
• Falha do Sistema Atual: Um sistema de recompensas baseado apenas na acurácia penalizaria injustamente clientes essenciais para a segurança e ética do modelo, e recompensaria clientes que melhoram a acurácia às custas da justiça ou segurança.

5. Significado e Implicações

O trabalho tem implicações profundas para o design de sistemas de FL e governança de IA:

• Revisão de Incentivos: Mecanismos de recompensa em FL não podem depender de uma única métrica. Para construir sistemas de IA confiáveis, é necessário um esquema de alocação de recompensas multidimensional que considere explicitamente a justiça, a confiabilidade e a resiliência.
• Governança e Regulamentação: A abordagem alinha-se com o quadro de IA Confiável da UE e o AI Act, fornecendo ferramentas técnicas para garantir que os modelos federados não sejam apenas precisos, mas também éticos e robustos.
• Diagnóstico de Sistema: A avaliação proposta permite identificar quais clientes contribuem positivamente para a segurança do sistema e quais introduzem vulnerabilidades, permitindo mecanismos de governança mais sofisticados (ex: ponderação diferenciada de clientes).

Em resumo, o artigo argumenta que a "confiabilidade" é uma propriedade emergente complexa que não pode ser inferida apenas pelo desempenho preditivo, exigindo uma reavaliação fundamental de como valorizamos a contribuição dos participantes no Aprendizado Federado.