Resumo Técnico: FedeKD

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em clientes descentralizados sem compartilhar dados brutos. No entanto, implementações reais de FL enfrentam desafios significativos devido à heterogeneidade de dados (distribuições não-IID) e assimetria de modelos. Essas condições frequentemente levam à transferência negativa, onde o conhecimento compartilhado entre clientes degrada o desempenho local em vez de melhorá-lo.

Os métodos existentes de Destilação de Conhecimento Federado (FKD) tentam mitigar isso trocando saídas de modelos (logits ou representações) em vez de parâmetros. Contudo, as abordagens atuais sofrem com duas limitações primárias:

1. Suposição de Confiabilidade Uniforme: Elas tipicamente assumem que o conhecimento transferido é uniformemente confiável em todas as amostras e clientes, ignorando a variabilidade na qualidade do conhecimento causada por deslocamentos de distribuição ou diferenças arquitetônicas.
2. Dependência de Dados Públicos: Muitos métodos dependem de conjuntos de dados públicos adicionais ou representações de dados compartilhadas para estabilizar o treinamento, o que frequentemente não está disponível ou levanta preocupações de privacidade em cenários práticos.

Consequentemente, transferir cegamente conhecimento de um "professor" (proxy global) para um "aluno" (modelo privado local) pode introduzir sinais enganosos, causando degradação severa de desempenho em comparação com o treinamento local.

Metodologia: FedeKD

O artigo propõe o FedeKD (Gatilho Baseado em Energia para Destilação de Conhecimento Federado Robusta), um framework projetado para realizar estimação de confiança por amostra durante a transferência de conhecimento sem exigir dados públicos.

Arquitetura

O FedeKD emprega uma arquitetura privada-proxy assimétrica em cada cliente:

• Modelo Privado ($f_k$): Uma rede de alta capacidade responsável pela tarefa principal de aprendizado local.
• Modelo Proxy ($g_k$): Uma rede leve usada exclusivamente para troca de conhecimento entre clientes. Todos os modelos proxy compartilham uma arquitetura comum.

Processo de Treinamento

O framework opera em etapas sequenciais por rodada de comunicação:

1. Destilação Forward do Proxy: Cada cliente congela seu modelo privado e treina o proxy local para imitar as previsões do modelo privado nos dados locais.
2. Agregação de Proxy: Os proxies locais são enviados ao servidor, agregados em um proxy global e transmitidos de volta a todos os clientes.
3. Destilação Backward Gatilhada por Energia: O proxy global guia as atualizações do modelo privado local. Crucialmente, esta etapa utiliza um mecanismo de gatilho consciente de confiabilidade para determinar quanto confiar no guia do proxy para cada amostra específica.

O Mecanismo de Gatilho Baseado em Energia

A inovação central é a conversão do desacordo privado-proxy em pesos de confiança por amostra.

• Pontuação de Energia ($E(x)$): Mede o desacordo entre o modelo privado e o proxy global.
  • Para Classificação: Usa uma divergência Kullback-Leibler (KL) simétrica normalizada por entropia. Isso normaliza o desacordo pela entropia preditiva total, garantindo que contradições de alta confiança sejam penalizadas mais severamente do que desacordos difusos de alta entropia.
  • Para Regressão: Usa o erro quadrático entre as previsões.
• Peso de Confiança ($w_i$): As pontuações de energia são normalizadas em lote e passadas por um gatilho logístico para produzir pesos de confiança contínuos:
  $$w_i = \rho(-\beta \tilde{E}_i)$$
  onde $\tilde{E}_i$ é a energia normalizada em lote e $\beta$ controla a nitidez.
• Regra de Atualização: O modelo privado é atualizado usando uma combinação ponderada da perda supervisionada e da perda de destilação. Amostras com alto desacordo (alta energia) recebem pesos de confiança mais baixos, efetivamente reduzindo o peso do conhecimento não confiável, enquanto amostras com baixo desacordo recebem pesos mais altos.

O mecanismo de gatilho é relativo ao lote, o que significa que a confiança é atribuída com base em como o desacordo de uma amostra se compara ao de outras no mesmo mini-lote, em vez de um limiar global fixo. Os pesos são desconectados durante a retropropagação para garantir que atuem como escalares de confiabilidade sem introduzir novos caminhos de otimização.

Contribuições Principais

1. Destilação Backward Consciente de Confiabilidade: O artigo introduz um objetivo inovador que desloca o foco de como trocar conhecimento para quanto cada sinal transferido deve ser confiável. Isso é alcançado sem dados públicos, aproveitando o desacordo privado-proxy específico da tarefa.
2. Framework Assimétrico Privado-Proxy: O design separa o aprendizado local (modelo privado de alta capacidade) da comunicação (proxy leve), reduzindo a exposição de parâmetros sensíveis enquanto permite uma troca de conhecimento robusta.
3. Gatilho Baseado em Energia: Um mecanismo de gatilho contínuo e diferenciável que mapeia desacordos em pesos de confiança. Ele lida tanto com classificação (via divergência KL calibrada por entropia) quanto com regressão (via erro quadrático) dentro de um framework unificado.
4. Propriedades Teóricas: Os autores estabelecem que o mecanismo de gatilho preserva a direção dos gradientes de destilação (impedindo a reversão do sinal de aprendizado) e fornece pesos de confiança limitados e não degenerados.

Resultados Experimentais

O FedeKD foi avaliado em seis conjuntos de dados do mundo real (quatro de classificação: FashionMNIST, CIFAR-10, OCTMNIST, OrganAMNIST; dois de regressão: RetinaMNIST, Diabetic Retinopathy) sob níveis variados de heterogeneidade (controlados pelo parâmetro de concentração de Dirichlet $\alpha$).

• Mitigação de Transferência Negativa: O FedeKD consistentemente alcançou a menor transferência negativa de caso médio ($\Delta_{avg}$) e de pior caso ($\Delta_{worst}$) em todos os conjuntos de dados e níveis de heterogeneidade. Sob heterogeneidade severa ($\alpha=0.1$), superou significativamente linhas de base como FedAvg, FedProx, FedDyn e o recente FedType.
• Robustez: O método demonstrou robustez superior na cauda inferior da distribuição de desempenho dos clientes ($\Delta$ P10 para classificação) e na cauda superior da distribuição de erro ($\Delta$ P90 para regressão), indicando que protege os clientes mais vulneráveis e mitiga erros extremos.
• Desempenho Preditivo: Apesar de priorizar a robustez, o FedeKD manteve precisão média dos clientes e RMSE competitivas ou superiores em comparação com as linhas de base, provando que reduzir a transferência negativa não ocorre às custas do desempenho preditivo geral.
• Estudos de Ablação:
  • Remover o mecanismo de gatilho ("Sem Gatilho") resultou em transferência negativa significativamente maior, confirmando a necessidade de ponderação consciente de confiabilidade.
  • Funções de energia alternativas (entropia, margem, distância de características) foram menos consistentes do que a energia baseada em KL proposta.
  • O parâmetro de nitidez do gatilho $\beta$ e o peso de destilação $\lambda_{kd}$ mostraram desempenho ótimo em faixas moderadas, equilibrando o compromisso entre utilizar conhecimento compartilhado e preservar o aprendizado local.

Significado e Alegações

O artigo alega que o FedeKD aborda uma lacuna fundamental no FL heterogêneo: a falta de mecanismos para avaliar dinamicamente a confiabilidade do conhecimento transferido. Ao tratar a confiabilidade do conhecimento como um objeto de primeira classe, o FedeKD mitiga a transferência negativa sem os riscos de privacidade ou requisitos de dados dos métodos existentes.

Os autores posicionam o FedeKD como um passo em direção a um aprendizado federado mais robusto e escalável, particularmente para domínios sensíveis à privacidade como saúde, onde a heterogeneidade de dados é prevalente e o custo da transferência negativa (por exemplo, diagnóstico incorreto) é alto. O trabalho enfatiza que a estimação de confiança adaptativa e por amostra é essencial para uma colaboração eficaz em ambientes não-IID, indo além da suposição de que todos os sinais transferidos são igualmente benéficos.

O artigo reconhece limitações, notando que os experimentos foram conduzidos em benchmarks públicos com partições simuladas e que as medidas de energia de regressão medem desacordo funcional em vez de incerteza calibrada. Trabalhos futuros são sugeridos para focar em implantações reais multi-sítio, avaliação consciente de equidade e estimação de confiança adaptativa.