Proof of Reasoning for Privacy Enhanced Federated Blockchain Learning at the Edge

Resumo Técnico: Prova de Raciocínio para Aprendizado Federado com Privacidade Aprimorada em Blockchain na Borda

Definição do Problema
O artigo aborda os desafios críticos da implementação de aprendizado federado (FL) em ambientes de Internet das Coisas (IoT), particularmente na área da saúde. Embora o aprendizado profundo ofereça um potencial significativo, o treinamento direto em dispositivos de borda é frequentemente proibitivo do ponto de vista computacional. Além disso, as abordagens de FL existentes enfrentam uma dicotomia: a agregação centralizada exige confiança em um servidor, enquanto o aprendizado federado descentralizado baseado em blockchain introduz uma transparência que compromete a privacidade dos dados. Os mecanismos de consenso de blockchain padrão (ex: Prova de Trabalho, Prova de Participação) não foram projetados para FL; eles falham em validar a qualidade das contribuições do modelo sem expor os dados brutos ou os pesos do modelo a ataques de inversão. Adicionalmente, distinguir entre modelos maliciosos e modelos não conformes (devido a distribuições de dados não-IID) permanece difícil, e as técnicas atuais de preservação de privacidade, como criptografia homomórfica ou privacidade diferencial, frequentemente incorrem em altos custos computacionais ou reduzem a precisão do modelo.

Metodologia: Prova de Raciocínio (PoR)
Os autores propõem a Prova de Raciocínio (PoR), um novo mecanismo de consenso especificamente adaptado para o aprendizado federado em blockchain. A PoR integra um processo de três estágios projetado para preservar a privacidade ao mesmo tempo em que permite uma agregação verificável:

1. Codificação de Dados Preservando a Privacidade via Autoencoders Mascarados (MAE):

   • Ao contrário dos MAEs padrão, onde a entrada não é mascarada durante a inferência, a PoR utiliza um encoder transformer treinado que continua a mascarar uma alta porcentagem de patches de entrada (ex: 75–90%) durante a fase de classificação downstream.
   • O sistema emprega um encoder leve (implantado na borda) e um decoder maior (usado apenas durante o pré-treinamento).
   • O encoder gera um mapa de características a partir dos patches não mascarados. Esses dados codificados são ofuscados, tornando-os resistentes à reconstrução humana e a ataques de inversão de modelo, pois o decoder não é compartilhado e os patches de entrada são insuficientes para reconstruir a imagem original.

2. Treinamento de Classificador Downstream na Borda:

   • Um classificador downstream leve é treinado na borda usando os mapas de características codificados.
   • Os participantes podem treinar localmente, utilizar redes "mist" de IoT distribuídas ou terceirizar o treinamento para instituições externas, desde que compartilhem apenas os dados codificados e os pesos do modelo, não as entradas brutas.
   • Para lidar com a escassez e variância de dados em ambientes federados, os autores utilizam aprendizado por transferência (pré-treinamento no ImageNet ou conjuntos de dados específicos de domínio como o ChestMnist) e introduzem uma camada de gargalo residual à arquitetura do classificador.

3. Integração com Blockchain e Consenso:

   • Os participantes fazem o upload de uma transação de Interface Encoder-Decoder (EDI) para o blockchain. Esta transação contém:
     • Os pesos do classificador downstream ($\omega_i$).
     • Um dado pontual codificado ($\kappa_i$).
     • A saída do classificador sobre esse dado pontual ($\hat{y}_i$).
     • O rótulo de verdade fundamental (ground truth) ($y_i$).
   • Crucialmente, a transação não inclui a entrada bruta ($x_i$) ou os pesos do encoder ($\lambda_i$), garantindo que a natureza unidirecional da codificação impeça a inversão.
   • Validação PoR: O mecanismo de consenso verifica se a saída de cada rede sobre o dado pontual codificado está dentro de uma tolerância especificada ($\epsilon$).
   • Classificação e Agregação: Uma função de pontuação ($S_\pi$) avalia o desempenho de cada classificador em todos os dados pontuais codificados carregados. Uma função de redução ($R_\pi$) agrega essas pontuações para classificar os participantes. O modelo global é então atualizado com base nessas classificações, permitindo políticas de agregação complexas que pesam as contribuições pelo desempenho verificado em vez de contagens de amostras não verificáveis.

Principais Contribuições

• Novo Mecanismo de Consenso: Introdução da PoR, que substitui o consenso genérico (PoW/PoS) por um mecanismo que valida as contribuições do modelo com base no desempenho real em dados codificados, mitigando o impacto de modelos maliciosos sem eliminar modelos não conformes, mas úteis.
• Privacidade Robusta via MAE: Demonstração de que os Autoencoders Mascarados podem manter altas taxas de mascaramento (até 90%) durante tarefas downstream sem perda catastrófica de precisão, permitindo o uso de dados codificados para validação enquanto impede a inversão do modelo.
• Agregação Verificável: O framework permite métodos de agregação mais sofisticados ao fornecer métricas de desempenho transparentes e verificáveis (via transações EDI) em vez de depender de estatísticas autorrelatadas.
• Arquitetura Otimizada para a Borda: Um design de sistema que minimiza a complexidade computacional na borda ao limitar o treinamento apenas ao classificador downstream leve, enquanto o encoder pesado é pré-treinado e compartilhado.

Resultos Experimentais
Os autores avaliaram o framework utilizando os datasets Cifar-10, Cifar-100, ImageNet, ChestMnist e PneumoniaMnist:

• Eficácia do Mascaramento: Experimentos no Cifar-10 mostraram que maiores porcentagens de mascaramento (ex: 90%) melhoraram a precisão da classificação downstream, apesar de reduzirem a precisão da reconstrução, indicando que o encoder aprendeu representações eficazes para classificação. O mascaramento aleatório superou o mascaramento baseado em correlação.
• Aprendizado por Transferência: O pré-treinamento de MAEs no ImageNet e o congelamento dos pesos (exceto o transformer do encoder) melhoraram significativamente o desempenho federado no Cifar-10 em comparação ao treinamento do zero.
• Imagens Médicas: No dataset PneumoniaMnist (classificação binária), a abordagem federada PoR superou as bases não federadas em pelo menos 2,56%. O sistema alcançou alta precisão (até 98,97%) e recall (até 97,95%) com baixas contagens de épocas entre as rodadas de agregação.
• Escalabilidade: O sistema demonstrou baixa latência e crescimento gerenciável de armazenamento, sendo adequado para redes IoT de larga escala.

Significância e Alegações
O artigo afirma que a PoR oferece uma solução equilibrada para o aprendizado de IA descentralizado e sensível à privacidade na saúde. Ao desacoplar a validação da qualidade do modelo da exposição dos dados brutos, a PoR permite a colaboração segura entre instituições com objetivos distintos (ex: hospitais privados vs. públicos). Os autores afirmam que esta abordagem:

• Aumenta a robustez das redes federadas contra ataques maliciosos e envenenamento (poisoning).
• Reduz a complexidade computacional na borda ao limitar o treinamento local a classificadores leves.
• Fornece uma alternativa verificável ao FedAvg (Federated Averaging) padrão, que depende de metadados não verificáveis.
• Adapta-se a regulamentações de dados em evolução e condições de rede, suportando o aprendizado contínuo em ambientes dinâmicos de IoT.

Os autores concluem que, embora a federação total do encoder em cenários multicanais apresente compromissos de privacidade, agregar os pesos do encoder antes do aprendizado federado oferece um compromisso viável. Eles sugerem que trabalhos futuros em processamento de imagem de canal único e pré-treinamento de domínio específico possam otimizar ainda mais a privacidade e o desempenho.