Towards Explainable Federated Learning: Understanding the Impact of Differential Privacy

Resumo Técnico: FEXT-DP e o Impacto da Privacidade na Explicabilidade

1. Problema e Motivação

Os sistemas modernos de Aprendizado de Máquina (ML) enfrentam dois desafios críticos e frequentemente conflitantes:

• Privacidade de Dados: A necessidade de cumprir regulamentações rigorosas e proteger dados sensíveis contra ataques (como injeção de gradientes ou ataques de associação) em ambientes distribuídos.
• Explicabilidade (XAI): A demanda da indústria por modelos cujas decisões sejam rastreáveis e compreensíveis, especialmente em setores críticos.

A Aprendizado Federado (FL) permite treinar modelos sem centralizar os dados, mas os parâmetros compartilhados ainda podem ser vulneráveis. A Privacidade Diferencial (DP) adiciona ruído para proteger os dados, mas o artigo identifica um "efeito colateral" crítico: a aplicação de DP pode degradar a explicabilidade do modelo, tornando as decisões menos claras e rastreáveis. O objetivo deste trabalho é propor uma solução que equilibre privacidade, desempenho e explicabilidade.

2. Metodologia Proposta: FEXT-DP

Os autores propõem o FEXT-DP (Federated EXplainable Trees with Differential Privacy), uma solução de FL baseada em Árvores de Decisão em vez de Redes Neurais (que são "caixas pretas").

Arquitetura e Funcionamento:
O processo de treinamento ocorre em três etapas por rodada:

1. Treinamento Local: Os clientes (FL Clients) treinam árvores de decisão locais usando seus dados privados.
2. Agregação no Servidor: O servidor recebe as árvores, filtra aquelas que não atingem um limiar de precisão mínimo ($K$) para evitar envenenamento de dados por clientes maliciosos, e agrega as árvores válidas.
3. Distribuição: O novo modelo global é enviado de volta aos clientes.

Implementação da Privacidade Diferencial (DP):
A inovação central reside na modificação do algoritmo de treinamento da árvore de decisão (Algoritmo 1). Em vez de selecionar deterministicamente a divisão (split) com o maior ganho de informação, o FEXT-DP utiliza o Mecanismo Exponencial:

• Calcula-se o ganho de informação para todas as divisões possíveis.
• Aplica-se o orçamento de privacidade ($\epsilon$) para atribuir probabilidades a cada divisão, onde divisões com maior ganho têm maior probabilidade, mas não certeza absoluta.
• A seleção final é feita aleatoriamente ("roleta") baseada nessas probabilidades.
• Isso garante que a escolha da divisão não dependa diretamente de um único ponto de dados, protegendo contra ataques de associação.

3. Contribuições Principais

1. Modelo Híbrido: Proposição de um modelo de FL baseado em Árvores de Decisão que é inerentemente mais leve e explicável do que os sistemas baseados em Redes Neurais.
2. Integração de DP: Aplicação direta da Privacidade Diferencial no processo de construção da árvore de decisão federada.
3. Análise de Impacto: Estudo detalhado de como a introdução de DP afeta a explicabilidade do modelo, utilizando métricas como MDI (Mean Decrease in Impurity) e SHAP (SHapley Additive exPlanations).

4. Resultados Experimentais

O modelo foi avaliado usando o conjunto de dados AEPD (Previsão de Energia de Eletrodomésticos), simulando 20 clientes em um cenário de aprendizado federado horizontal. Foram comparados: FEXT-DP (com vários valores de $\epsilon$), Árvores de Decisão sem DP e FedAVG (baseado em Redes Neurais).

Desempenho (Precisão):

• MSE (Erro Quadrático Médio): O FEXT-DP superou o FedAVG (Redes Neurais) em todos os cenários, começando com um erro 35% menor.
• Impacto do $\epsilon$: O valor de $\epsilon = 0.01$ (privacidade máxima) resultou no pior desempenho (MSE 1,18% maior que a árvore sem DP), mas manteve-se competitivo. Valores maiores de $\epsilon$ (menos privacidade) aproximaram-se do desempenho da árvore sem DP.

Explicabilidade (MDI e SHAP):

• MDI: A aplicação de DP alterou significativamente a ordem de importância das características. Com $\epsilon = 0.01$, a relevância das características foi "espalhada" uniformemente, reduzindo a clareza sobre quais variáveis realmente dirigem a decisão do modelo.
• SHAP: As visualizações SHAP mostraram que, embora a ordem das características mais importantes mude com a privacidade máxima, as operações internas do modelo permanecem consistentes. No entanto, a presença de ruído torna a interpretação das contribuições individuais das características menos precisa.

5. Significado e Conclusões

O artigo demonstra que é possível construir sistemas de ML federados que são ao mesmo tempo privados e explicáveis, mas existe um trade-off inevitável.

• Conclusão Principal: A Privacidade Diferencial protege os dados contra ataques, mas degrada a qualidade da explicabilidade do modelo, tornando as decisões menos rastreáveis e alterando a hierarquia de importância das características.
• Implicação Prática: Para cenários onde a explicabilidade é crítica (ex: saúde, finanças), deve-se escolher um orçamento de privacidade ($\epsilon$) que equilibre a proteção de dados com a necessidade de transparência do modelo.
• Trabalhos Futuros: Os autores planejam incorporar algoritmos de poda (pruning) e mecanismos de seleção de clientes para melhorar a eficiência, além de analisar métricas de latência e uso de memória.

Em suma, o FEXT-DP oferece uma alternativa viável e mais transparente aos modelos de FL baseados em redes neurais, desde que o impacto da privacidade na explicabilidade seja gerenciado cuidadosamente.