Partial Model Sharing Improves Byzantine Resilience in Federated Conformal Prediction

Resumo Técnico: Compartilhamento Parcial de Modelos Melhora a Resiliência Bizantina na Predição Conformal Federada

Declaração do Problema
A Aprendizagem Federada (AF) permite o treinamento colaborativo de modelos em dispositivos descentralizados sem compartilhar dados brutos, mas permanece vulnerável a adversários bizantinos. Esses clientes maliciosos podem manipular o processo de aprendizado enviando gradientes corrompidos ou informações enganosas, degradando o modelo global. Embora a Predição Conformal Federada (PCF) ofereça quantificação de incerteza livre de distribuição com garantias estatísticas de cobertura, a PCF padrão herda as vulnerabilidades da AF. Abordagens robustas existentes, como a Rob-PCF, focam principalmente no endurecimento da fase de calibração, detectando clientes maliciosos com base em escores de não conformidade. No entanto, elas falham em abordar o envenenamento durante a fase de treinamento federado, onde adversários já podem corromper o modelo aprendido, propagando assim erros para os intervalos conformais. Além disso, métodos de calibração robustos frequentemente acarretam sobrecarga adicional de comunicação.

Metodologia
Os autores propõem um framework de PCF resiliente a ataques bizantinos que integra o Aprendizado Federado Online com Compartilhamento Parcial (PSO-Fed) com calibração conformal robusta. O método opera em duas fases distintas:

1. Fase de Treinamento (Compartilhamento Parcial de Modelos):
   Em vez de trocar vetores completos de parâmetros do modelo, clientes e servidor trocam apenas um subconjunto de coordenadas do modelo em cada iteração. Esse mecanismo, definido por uma matriz de seleção diagonal $S_{k,n}$, restringe inerentemente a superfície de ataque. Ao limitar a fração de parâmetros que um adversário pode influenciar no modelo agregado, o compartilhamento parcial atenua o impacto de atualizações envenenadas, reduzindo simultaneamente os custos de comunicação. A análise teórica de trabalhos anteriores indica que o PSO-Fed mantém a convergência mesmo quando clientes bizantinos injetam ruído.

2. Fase de Calibração (Detecção Baseada em Histograma):
   Para defender-se contra a manipulação bizantina dos escores de não conformidade, clientes benignos comprimem seus escores locais em vetores de caracterização baseados em histograma. Esses vetores representam a distribuição de probabilidade empírica dos escores através de $H$ bins. O servidor então calcula as distâncias $\ell_2$ pareadas entre esses vetores para atribuir um escore de malícia ($m_k$) a cada cliente, definido como a distância média aos seus $K_b - 1$ vizinhos mais próximos. Clientes com os menores escores de malícia são identificados como benignos e retidos para estimar o quantil conformal, enquanto outliers (clientes bizantinos) são excluídos.

Principais Contribuições

• Resiliência de Dupla Fase: Diferentemente de trabalhos anteriores que focam exclusivamente na calibração, esta abordagem protege tanto a fase de treinamento federado quanto a fase de calibração conformal. Ela aproveita o compartilhamento parcial para mitigar o envenenamento durante o treinamento e a análise de vetores baseada em histograma para filtrar ataques durante a calibração.
• Eficiência de Comunicação: O método reduz a sobrecarga de comunicação transmitindo apenas uma fração dos parâmetros do modelo durante o treinamento e vetores de histograma comprimidos durante a calibração, evitando a transmissão de escores brutos ou estatísticas completas.
• Estimativa Robusta de Quantis: Ao filtrar contribuintes bizantinos com base em escores de malícia baseados em distância, o servidor estima o quantil conformal usando apenas dados benignos, garantindo intervalos de predição válidos.

Resultados Experimentais
Os autores avaliaram o método proposto contra a PCF padrão e a Rob-PCF sob três cenários de ataque bizantino: ataques de eficiência (relatando escores anormalmente pequenos), ataques de cobertura (relatando escores artificialmente grandes) e ataques aleatórios.

• Eficácia de Detecção: Os escores de malícia distinguiram claramente clientes bizantinos de benignos em todos os tipos de ataque, permitindo exclusão confiável.
• Cobertura e Largura do Intervalo: Sob vários cenários de ataque, o método proposto alcançou uma cobertura mais próxima do alvo nominal de 90% em comparação com a PCF padrão (que sofreu com cobertura inflada e intervalos largos) e a Rob-PCF.
• Ganhos de Desempenho: A abordagem proposta produziu intervalos de predição que foram 1,8 vezes mais estreitos que a Rob-PCF e 2,2 vezes mais estreitos que a PCF padrão. Essa melhoria é atribuída à atenuação do envenenamento de modelos durante o treinamento (via compartilhamento parcial) e à estimativa robusta de quantis durante a calibração.

Significado e Alegações
O artigo afirma estabelecer uma abordagem robusta e eficiente em termos de comunicação para quantificação de incerteza federada. Ao acoplar a troca eficiente de parâmetros parciais com calibração conformal robusta, o método alcança resiliência contra ataques bizantinos em todo o pipeline da PCF. Os autores afirmam que sua abordagem produz intervalos de predição válidos e confiáveis com limites substancialmente mais estreitos que os métodos existentes, mesmo quando uma parte significativa dos clientes (por exemplo, 20%) é bizantina. Eles concluem que integrar o PSO-Fed em frameworks de calibração robusta oferece uma direção promissora para AF confiável, embora observem que estabelecer garantias teóricas que quantifiquem os efeitos específicos do compartilhamento parcial na robustez e na cobertura permaneça uma direção para trabalhos futuros.