Communication-Efficient Byzantine-Robust Federated Conformal Prediction via Partial Model Sharing

Resumo Técnico: PRISM-FCP – Predição Conformal Federada com Eficiência de Comunicação e Robustez Bizantina via Compartilhamento Parcial de Modelos

Problema
O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos sem compartilhar dados brutos, mas introduz vulnerabilidades a clientes bizantinos (maliciosos) que podem envenenar atualizações durante o treinamento ou manipular dados de calibração. Embora os métodos existentes abordem essas ameaças isoladamente, uma lacuna crítica permanece: as defesas atuais são tipicamente específicas para cada etapa. Regras de agregação robustas protegem a fase de treinamento, mas ignoram a manipulação da calibração, enquanto a calibração conformal robusta (ex: Rob-FCP) assume uma fase de treinamento segura. Essa separação é insuficiente porque um modelo global mal treinado (devido ao envenenamento na fase de treinamento) produz resíduos instáveis, o que alarga as distribuições de escores de não conformidade benignos e reduz a separabilidade entre clientes benignos e bizantinos durante a calibração. Consequentemente, as abordagens existentes falham em fornecer uma solução de ponta a ponta que garanta tanto predições pontuais precisas quanto quantificação de incerteza calibrada sob condições adversariais, muitas vezes ao custo de um alto overhead de comunicação.

Metodologia: PRISM-FCP
Os autores propõem o PRISM-FCP (Partial shaRing and robust calIbration with Statistical Margins for Federated Conformal Prediction), um framework que integra o compartilhamento parcial de modelos com calibração robusta baseada em histogramas para mitigar ataques bizantinos em ambas as fases de treinamento e calibração.

1. Fase de Treinamento (Compartilhamento Parcial de Modelo):
   Em vez de transmitir atualizações de modelos completos, os clientes trocam apenas um subconjunto selecionado aleatoriamente de $M$ parâmetros de um total de $D$ parâmetros por rodada. Este mecanismo, originalmente projetado para eficiência de comunicação, atua como um filtro estocástico contra ataques de envenenamento de modelo. Quando um cliente bizantino injeta uma perturbação adversária, a máscara aleatória atenua a energia esperada da perturbação que entra na atualização agregada por um fator de $M/D$. Isso reduz o componente induzido pelo bizantino no Erro Quadrático Médio (MSE) de estado estacionário, levando a um modelo global mais preciso e distribuições de resíduos mais estreitas para os clientes benignos.

2. Fase de Calibração (Filtragem Baseada em Histograma):
   Os clientes computam escores de não conformidade (resíduos absolutos) em conjuntos de calibração locais. Para preservar a privacidade e reduzir a comunicação, os clientes convertem esses escores em vetores de caracterização (histogramas de escores normalizados) em vez de compartilhar escores brutos ou valores individuais.

   • O servidor computa distâncias $\ell_2$ par a par entre esses vetores.
   • Um "escore de maliciosidade" é atribuído a cada cliente com base na soma das distâncias para seus $K_b - 1$ vizinhos mais distantes (onde $K_b$ é o número de clientes benignos).
   • Clientes com os maiores escores de maliciosidade (suspeitos de serem bizantinos) são filtrados.
   • O quantil conformal é estimado usando apenas os resumos de escores seguros dos clientes benignos restantes.

Principais Contribuições

• Robustez de Ponta a Ponta: O artigo demonstra que o compartilhamento parcial não é meramente uma técnica de economia de comunicação, mas um mecanismo de defesa principiológico. Ao atenuar as perturções da fase de treinamento, ele indiretamente fortalece a robustez da fase de calibração.
• Análise Teórica:
  • Os autores provam que o compartilhamento parcial atenua a energia da perturbação bizantina injetada por um fator proporcional a $M/D$.
  • Eles derivam limites mostrando que a redução do erro de treinamento leva a distribuições de resíduos mais estreitas, o que, por sua vez, reduz o desvio do quantil conformal e estreita os intervalos de predição.
  • A análise estabelece que a redução do erro de treinamento concentra os vetores de caracterização benignos, aumentando a margem de separação de outliers bizantinos e melhorando a confiabilidade da filtragem baseada em distância.
• Eficiência de Comunicação: O framework reduz significamente o overhead de comunicação (transmitindo apenas $M/D$ dos parâmetros) enquanto mantém ou melhora a robustez em comparação com baselines de compartilhamento total.

Resultados Experimentais
Experimentos extensos foram conduzidos em dados sintéticos e no conjunto de dados UCI Superconductivity sob três cenários de ataque: ataques de eficiência (deflação de escores), ataques de cobertura (inflação de escores) e ataques aleatórios (adição de ruído).

• Cobertura e Largura do Intervalo: O PRISM-FCP manteve uma cobertura empírica próxima da nominal (aprox. 90%) em todos os tipos de ataque. Em contraste, a Predição Conformal Federada (FCP) padrão sofreu com inflação significativa dos intervalos (ex: 4,4x mais largos sob ataques de cobertura) ou subcobertura.
• Comparação com Rob-FCP: Embora o Rob-FCP (que utiliza compartilhamento total com filtragem de calibração) tenha mantido a cobertura correta, o PRISM-FCP produziu intervalos de predição significativamente mais estreitos (ex: 1,2x mais estreitos em experimentos sintéticos). Esse melhoria é atribuída à redução do erro de treinamento alcançada via compartilhamento parcial.
• Robustez a Tamanho de Ataque Desconhecido: O método permaneceu eficaz mesmo quando o número de clientes bizantinos era desconhecido, utilizando uma regra de outlier baseada em Desvio Absoluto da Mediana (MAD).
• Modelos Não Lineares: A abordagem foi estendida com sucesso para regressão não linear usando um Perceptron Multicamadas (MLP) com um mecanismo de compartilhamento parcial camada a camada, demonstrando aplicabilidade além de modelos lineares.
• Ataques de Furtividade (Stealth Attacks): O PRISM-FCP mostrou resiliência contra ataques adaptativos "ALIE", mantendo cobertura próxima da nominal onde outras baselines de agregação robusta (como Krum) tiveram dificuldades.

Significância e Alegações
O artigo afirma que o PRISM-FCP oferece uma abordagem robusta e eficiente em termos de comunicação para a quantificação de incerteza federada. Sua principal significância reside no tratamento conjunto das fases de treinamento e calibração. Os autores argumentam que o treinamento robusto e a calibração robusta são interdependentes; ao mitigar a influência bizantina durante o treinamento via compartilhamento parcial, o framework naturalmente melhora a separabilidade de clientes benignos e maliciosos durante a calibração. Esse acoplamento permite que o PRISM-FCP alcance intervalos de predição mais estreitos do que métodos que apenas filtram durante a calibração, tudo isso reduzindo os custos de comunicação. O trabalho posiciona o compartilhamento parcial de modelo como uma ferramenta de duplo propósito: um mecanismo para eficiência e uma defesa estocástica contra perturbações adversariais.

Limitações e Trabalhos Futuros
Os autores observam que sua análise teórica depende de um modelo de regressão linear e um modelo de perturbação Gaussiana estocástica para ataques de treinamento. Eles reconhecem que estender a teoria para adversários totalmente adaptativos que possam explorar as máscaras de seleção aleatória é uma direção aberta. Além disso, embora o método tenha sido testado em MLPs não lineares, um framework teórico abrangente para redes profundas permanece como um trabalho futuro. O artigo também nota que estender a abordagem para tarefas de classificação exigiria escores de não conformidade específicos e regras de predição baseadas em conjuntos.