Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

Resumo Técnico: Computação Codificada Distribuída Aproximada, Preservadora de Privacidade e Verificável

Definição do Problema
Paradigmas de aprendizado de máquina distribuído, especificamente Aprendizado Federado (FL) e Aprendizado Descentralizado (DL), permitem o treinamento colaborativo de modelos sem a centralização de dados brutos. No entanto, esses sistemas permanecem vulneráveis a duas classes distintas de ameaças: vazamento de privacidade (onde adversários inferem dados sensíveis a partir de atualizações de modelos) e manipulação maliciosa (ataques bizantinos onde participantes injetam atualizações envenenadas). As defesas existentes geralmente abordam essas ameaças de forma isolada. Tecnologias de preservação de privacidade (PETs), como criptografia homomórfica ou privacidade diferencial, frequentemente impõem sobrecargas computacionais proibitivas ou degradam a utilidade do modelo. Por outro lado, técnicas de agregação robustas mitigam o comportamento malicioso, mas raramente abordam o vazamento de privacidade e são frequentemente adaptadas a arquiteturas específicas. Além disso, a maioria dos trabalhos anteriores foca em FL com um agregador central, deixando os cenários descentralizados — onde os dados são trocados em vez de atualizações de modelos — subexplorados em relação à resiliência unificada contra adversários.

Metodologia
Os autores propõem um framework unificado e agnóstico ao modelo que aborda conjuntamente a privacidade e a integridade em ambos os cenários de FL e DL. A base técnica central é a Computação Codificada Aproximada com Generalização de Privacidade (GPBACC - Generalized Privacy-aware Berrut Approximated Coded Computing), uma técnica de computação codificada que preserva a privacidade e é aplicável a modelos de aprendizado de máquina arbitrários.

1. Mecanismo Central (GPBACC):

   • Baseia-se na Computação Codificada Aproximada por Berrut (BACC), que utiliza interpolação racional (formulação bariétrica de Berrut) para distribuir a computação de funções arbitrárias enquanto tolera stragglers (atrasados).
   • Extensão de Privacidade: A GPBACC introduz ruído aleatório Gaussiano no processo de codificação. O nó mestre codifica tensores de dados usando uma função de interpolação racional aumentada com termos de ruído aleatórios. Isso cria um efeito de canal de Ruído Branco Gaussiano Aditivo (AWGN), limitando a informação mútua acessível a nós semi-honestos coludidos.
   • Generalização: Diferente de esquemas anteriores, a GPBCC suporta configurações de múltiplas fontes e entradas de tensores de posto arbitrário, tornando-a adequada para cargas de trabalho de aprendizado profundo (deep learning).

2. Integração com Aprendizado Federado (FL):

   • No FL, onde existe um agregador central, o framework integra a GPBACC com estratégias de agregação robustas (ex: Mediana por Coordenada, Média Aparada, Krum, Multi-Krum).
   • A regra de agregação é incorporada como a função alvo $f$ avaliada pelos trabalhadores. O sistema define a dimensão de compressão de codificação $K=1$ para permitir a decodificação por coordenada, permitindo que o agregador reconstrua a atualização agregada de forma robusta com alta precisão numérica, apesar da natureza aproximada da codificação.

3. Integração com Aprendizado Descentralizado (DL):

   • No DL, onde não existe um agregador central, o framework emprega um pipeline de verificação combinando Decodificação e Comparação Aproximada (ADC) e Teste de Grupo (GT).
   • ADC: Como a GPBACC introduz perturbações controladas para privacidade, verificações de igualdade exatas são insuficientes. A ADC estabelece um limiar dinâmico ($\tau$) baseado em uma estratégia de bootstrap para determinar se os resultados reconstruídos de diferentes subconjuntos de trabalhadores são consistentes dentro de um envelope de erro aceitável.
   • Teste de Grupo: Para isolar eficientemente trabalhadores maliciosos sem a decodificação completa, o sistema utiliza matrizes de agrupamento (pooling) não adaptativas. Os trabalhadores são agrupados, e seus resultados agrupados são testados contra o limiar da ADC; um decodificador de Teste de Grupo ruidoso (ex: COMP, DD) identifica o conjunto de trabalhadores adversários, que são então podados antes da reconstrução final.

Principais Contribuições

• Framework Unificado: Definição de um único framework que aborda simultaneamente o vazamento de privacidade e o comportamento malicioso em ambos os paradigmas de FL e DL, sem restringir a aplicabilidade a arquiteturas de modelos específicas.
• Adaptação para FL: Proposta de combinar GPBACC com estratégias de agregação robustas, preservando a natureza agnóstica ao modelo do esquema de codificação.
• Adaptação para DL: Proposta de complementar GPBACC com técnicas de decodificação e comparação aproximada e teste de grupo, permitindo verificação leve e isolamento de adversários sem um agregador confiável.
• Avaliação Baseada em Ataques: Uma metodologia de avaliação prática que implementa explicitamente ataques de privacidade representativos (Ataques de Inferência de Membros) e comportamentos maliciosos (Inversão de Rótulos, Adição de Ruído, Ruído Gaussiano) para validar empiricamente a eficácia do framework, em vez de depender apenas de garantias teóricas.

Resultados Experimentais
O framework foi avaliado em Redes Neurais Convolucionais (CNNs) utilizando os conjuntos de dados MNIST e CIFAR10.

• Aprendizado Federado:

  • Privacidade: Sob Ataques de Inferência de Membros (RMIA), a GPBACC reduziu significativamente a Área Sob a Curva (AUC) para níveis próximos ao acaso (~0,50), comparável à Criptografia Homomórfica de Múltiplas Chaves (MKHE) e à Privacidade Diferencial (DP-SVT), mas sem a severa degradação de utilidade observada na DP.
  • Robustez: Sob ataques de Inversão de Rótulos e Adição de Ruído, a GPBACC combinada com agregadores robustos (Mediana, Multi-Krum) manteve alta precisão, aproximando-se das linhas de base robustas não protegidas. Embora a agregação Krum tenha mostrado sensibilidade ao ruído de decodificação aproximada, o sistema ainda convergiu.
  • Utilidade: A GPBACC preservou a utilidade do modelo limpo quase perfeitamente, com desvios de precisão abaixo de $4 \times 10^{-4}$ em relação às linhas de base não protegidas.

• Aprendizado Descentralizado:

  • Robustez: Sob ataques de adição de ruído, o DL não protegido colapsou (precisão ~0,63), enquanto a GPBCC com ADC+GT manteve alta precisão (>0,96), demonstrando resiliência comparável à computação codificada exata (ALCC), mas com maior flexibilidade.
  • Privacidade: A informação mútua entre os conjuntos de dados originais e codificados foi estimada usando o estimador KSG, resultando em ~1,012 bits, o que se alinha de perto com os limites de privacidade teóricos derivados da análise informacional.

Significância e Alegações
O artigo afirma que a combinação da computação codificada com preservação de privacidade (GPBCC) com estratégias de resistência a adversários específicas de cada paradigma fornece uma base prática e implantável para o aprendizado de máquina distribuído seguro. Ao contrário de trabalhos anteriores que tratam privacidade e robustez de forma isolada ou dependem de primitivas criptográficas pesadas, esta abordagem oferece uma solução unificada e validada por ataques, que equilibra garantias de privacidade, robustez contra adversários ativos e utilidade do modelo. Os autores enfatizam que sua contribuição reside em preencher essas lacunas entre os paradigmas de aprendizado, oferecendo um mecanismo de defesa independente de arquitetura adequado para implantação no mundo real. O trabalho não pretende resolver todos os modelos de ameaça, mas demonstra que a integração explícita e orientada por ataques dessas técnicas reduz significamente o vazamento de privacidade e melhora a resiliência em comparação com defesas isoladas existentes.