Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)

Este trabalho apresenta o método de codificação de matrizes "Volley Revolver", que permite a execução eficiente de redes neurais convolucionais para classificação de imagens manuscritas sobre dados criptografados em nuvens públicas, preservando a privacidade com um único upload de cifratura.

O essencial

Imagine que você tem uma receita secreta de bolo (o seu modelo de Inteligência Artificial) e quer que um chef famoso (a nuvem pública) faça o bolo para você, mas sem que o chef saiba quais ingredientes você usou e sem que ele veja a receita.

Normalmente, para fazer isso, você teria que enviar os ingredientes crus, o que é um risco. Ou enviar a receita inteira, o que também é perigoso.

A solução proposta neste artigo, chamada "Volley Revolver" (uma mistura de "Volley" - como uma troca de bolas de vôlei - e "Revolver" - como um revólver de 6 tiros), é uma nova forma de "embalar" os dados para que a nuvem possa cozinhar (fazer os cálculos) sem nunca abrir a caixa.

Aqui está a explicação simples, passo a passo:

1. O Problema: A Caixa de Presente Mágica

A tecnologia usada aqui é chamada de Criptografia Homomórfica. Pense nela como uma "caixa de presente mágica" feita de vidro indestrutível.

• Você coloca seus dados (imagens de dígitos manuscritos, como os do MNIST) dentro dessa caixa.
• A nuvem pode mexer na caixa, sacudi-la, bater nela e até misturar o conteúdo com outras caixas, mas não consegue ver o que tem dentro.
• Quando a nuvem termina de mexer, ela devolve a caixa. Só você, com a chave mágica, pode abrir e ver o resultado (se é um número 1, 5 ou 9).

O problema é que mexer nessas caixas é muito lento e difícil. A nuvem precisa fazer milhões de cálculos para somar e multiplicar números que estão "trancados" dentro da caixa.

2. A Solução: O "Volley Revolver"

Os autores criaram um novo método para organizar os dados dentro dessas caixas mágicas. Eles chamam de Volley Revolver.

A Analogia do Revólver:
Imagine que você tem um revólver com 6 câmaras (slots). Em vez de colocar apenas uma bala em cada câmara, você organiza as balas de forma que, ao girar o tambor (rotacionar os dados), você possa disparar várias balas de uma vez de forma inteligente.

• O Truque do Espelho: Para multiplicar duas matrizes (duas tabelas de números) dentro da caixa, o método pega uma tabela, vira ela de cabeça para baixo (transpõe) e a organiza em camadas, como se fosse um rolo de papel higiênico.
• O Giro (Rotacionar): A nuvem "gira" esse rolo de papel dentro da caixa. Cada giro alinha os números corretos para serem multiplicados, como se estivesse apontando o cano do revólver para o alvo certo.
• O Resultado: Em vez de fazer uma conta de cada vez, a nuvem faz centenas de contas simultaneamente (como um "vôlei" de bolas sendo batidas ao mesmo tempo) dentro de uma única caixa.

3. A Convolução (O Olho da Máquina)

Para reconhecer imagens, a IA usa "filtros" (kernels) que deslizam sobre a imagem, como se fosse um carimbo.

• O Problema Antigo: Antes, para carimbar uma imagem inteira, a nuvem tinha que parar, pegar o carimbo, mudar a posição, carimbar de novo, mudar a posição... Isso era muito lento.
• O Método Volley Revolver: Eles preparam o carimbo (o filtro) de uma forma especial. Eles "esticam" o carimbo para cobrir toda a imagem de uma vez só, criando várias versões do carimbo dentro da caixa.
• O Resultado: A nuvem aplica todos os carimbos de uma vez só, soma os resultados e entrega a imagem processada. É como se você tivesse 100 carimbos prontos e os usasse todos ao mesmo tempo, em vez de um por um.

4. O "Cérebro Virtual" (Ciphertexts Virtuais)

Aqui está a parte mais genial. O artigo diz que, dentro de uma única caixa gigante (um único texto cifrado), eles conseguem simular várias caixas pequenas (imagens virtuais).

• Imagine que você tem um caminhão gigante (o texto cifrado).
• Em vez de carregar apenas um pacote, você organiza o caminhão para parecer que ele está carregando 32 pacotes separados, lado a lado.
• Quando a nuvem faz uma operação no caminhão, ela está, na verdade, fazendo a mesma operação nos 32 pacotes ao mesmo tempo, sem que eles se misturem.
• Isso é chamado de SIMD (Single Instruction, Multiple Data), mas o papel explica que é como ter "células virtuais" vivendo dentro de uma célula real.

5. Os Resultados na Vida Real

Os autores testaram isso em um servidor na nuvem com 40 processadores (vCPUs).

• O que fizeram: Processaram 32 imagens de dígitos manuscritos (28x28 pixels) de uma só vez.
• Tempo: Levou cerca de 287 segundos (quase 5 minutos) para fazer tudo isso.
• Segurança: O dono dos dados só precisou enviar uma única caixa (de 19,8 MB) para a nuvem. A nuvem não viu nenhuma imagem, apenas números embaralhados.
• Precisão: O sistema acertou 98,6% dos números, quase o mesmo que um sistema normal que não é criptografado.

Resumo em uma Frase

O "Volley Revolver" é um novo jeito de organizar dados dentro de caixas criptografadas, permitindo que a nuvem faça cálculos complexos de reconhecimento de imagem de forma super rápida e segura, como se estivesse girando um revólver de dados para acertar todos os alvos de uma vez só, sem nunca precisar abrir a caixa.

Por que isso importa?
Isso permite que hospitais, bancos e empresas usem Inteligência Artificial na nuvem para analisar dados sensíveis (como raio-X ou extratos bancários) sem que a empresa de nuvem (como Google ou AWS) precise saber o que está sendo analisado. A privacidade é mantida, e o cálculo é possível.

Resumo técnico

Resumo Técnico: Volley Revolver

1. O Problema

A execução de redes neurais convolucionais (CNNs) em dados sensíveis (como saúde e finanças) exige que a privacidade seja mantida durante o processamento na nuvem. A Criptografia Homomórfica (HE) permite realizar cálculos sobre dados criptografados sem precisar descriptografá-los, oferecendo a garantia de segurança mais rigorosa. No entanto, a inferência de CNNs em dados criptografados enfrenta desafios significativos:

• Ineficiência Computacional: Operações como convolução e multiplicação de matrizes são extremamente custosas em HE devido à profundidade do circuito e ao ruído acumulado.
• Codificação de Dados: Métodos existentes muitas vezes não aproveitam eficientemente a capacidade de SIMD (Single Instruction Multiple Data) dos esquemas HE, resultando em desperdício de slots de texto plano ou necessidade de múltiplos cifradores para um único lote de dados.
• Latência: A necessidade de operações de rotação e a gestão de profundidade multiplicativa limitam a escalabilidade para grandes conjuntos de dados.

2. Metodologia: O Método "Volley Revolver"

O artigo propõe uma nova técnica de codificação baseada em matrizes chamada Volley Revolver, projetada especificamente para otimizar a multiplicação de matrizes e a operação de convolução em dados criptografados.

Principais Componentes da Metodologia:

• Codificação de Matrizes para Multiplicação:

  • Para multiplicar duas matrizes $A$ ($m \times n$) e $B$ ($n \times p$) homomorficamente, o método codifica a matriz $A$ diretamente.
  • Para a matriz $B$, o método utiliza uma transposição e um "telhamento" (tiling) vertical específico, criando uma matriz de tamanho $m \times n$ que permite alinhar os dados para multiplicação simultânea.
  • O algoritmo utiliza um operador chamado RowShifter (que funciona como um "revólver"), que desloca as linhas da matriz codificada de $B$ iterativamente. Isso permite calcular o produto escalar de linhas e colunas através de rotações e somas, acumulando os resultados em um cifrador acumulador.

• Operação de Convolução Eficiente:

  • O método introduz uma técnica chamada Kernelspanner, que expande o kernel de convolução ($k \times k$) em múltiplos cifradores, espalhando os pesos do kernel sobre o espaço da imagem de entrada.
  • Utiliza-se uma função auxiliar chamada SumForConv, que realiza somas parciais de blocos da imagem criptografada para simular a janela deslizante da convolução.
  • Em vez de processar imagens individualmente, o método trata um único cifrador como contendo múltiplos "cifradores virtuais" (uma estrutura 3D simulada), permitindo a convolução paralela de várias imagens simultaneamente.

• Simulação de Cifradores Virtuais:

  • O framework simula operações em múltiplos cifradores virtuais dentro de um único cifrador real. Isso inclui operações virtuais de rotação (vRot), adição e multiplicação, permitindo que uma única operação no cifrador real afete todas as imagens encapsuladas nele.

• Gerenciamento de Camadas:

  • Para camadas totalmente conectadas (FC), os pesos são transpostos e codificados para maximizar o throughput SIMD.
  • Funções de ativação não polinomiais (como ReLU) são aproximadas por polinômios de grau 3, compatíveis com o esquema CKKS (HEAAN).

3. Contribuições Chave

1. Novo Esquema de Codificação (Volley Revolver): Um método que permite multiplicar matrizes de formas arbitrárias de forma eficiente em HE, utilizando um mecanismo de "rotação de revólver" para alinhar os dados.
2. Estratégia de Convolução Viável: Um algoritmo homomórfico que soma resultados intermediários de forma eficiente, permitindo a execução de convoluções sem a necessidade de descriptografar ou usar múltiplos cifradores para cada imagem.
3. Abordagem 3D Simulada: A capacidade de visualizar e processar um conjunto de dados como uma estrutura tridimensional dentro de um único cifrador, tratando-o como múltiplos cifradores virtuais, o que simplifica a lógica de processamento em lote.
4. Otimização de Parâmetros: Uso inteligente de preenchimento (padding) e alinhamento de dimensões para potências de dois, reduzindo a necessidade de operações de rotação complexas em camadas totalmente conectadas.

4. Resultados Experimentais

Os autores implementaram o sistema utilizando a biblioteca HEAAN (esquema CKKS) em um ambiente de nuvem pública com 40 vCPUs.

• Dataset: MNIST (60.000 imagens de treinamento, 10.000 de teste, 28x28 pixels).
• Configuração: Processamento de 32 imagens simultaneamente em um único cifrador (aprox. 19.8 MB).
• Desempenho:
  • Tempo de inferência para 32 imagens (calculando 10 probabilidades de likelihood): ~287 segundos.
  • Acurácia: 98,61% (comparado a 98,66% no modelo em texto plano).
• Comparação com Baseline:
  • O método proposto alcança uma eficiência de empacotamento (packing) superior, utilizando 1 cifrador para 32 imagens, enquanto métodos anteriores (como o baseline citado) exigiriam dezenas de cifradores para o mesmo lote.
  • Isso resulta em uma melhoria de throughput de 6,125x em termos de número de imagens processadas por conjunto de cifradores.
  • Trade-off: A latência por lote é maior que em implementações otimizadas para profundidade mínima, devido ao alto custo das operações de rotação e à maior profundidade multiplicativa exigida pelo polinômio de grau 3 e pela codificação complexa. No entanto, a escalabilidade horizontal é superior.

5. Significância e Impacto

• Privacidade na Nuvem: O método permite que proprietários de dados enviem apenas um único cifrador para a nuvem, minimizando a sobrecarga de comunicação e garantindo que o provedor de nuvem nunca tenha acesso aos dados brutos ou ao modelo.
• Escalabilidade: A abordagem é altamente escalável em ambientes de hardware paralelo (muitos vCPUs), pois as rotações de cifrador podem ser distribuídas eficientemente.
• Futuro do Treinamento: Os autores indicam que a técnica "Volley Revolver" é promissora não apenas para inferência, mas também para o treinamento de redes neurais privadas (backpropagation), onde a multiplicação de matrizes é igualmente crítica.
• Versatilidade: Embora testado em imagens em escala de cinza, o framework foi projetado para ser extensível a imagens coloridas de alta resolução e diferentes tamanhos de stride, superando limitações de trabalhos anteriores que exigiam estruturas de dados planas.

Em resumo, o Volley Revolver representa um avanço significativo na viabilidade prática de inferência de CNNs em dados criptografados, equilibrando a complexidade computacional com a eficiência de empacotamento de dados, tornando a privacidade em aprendizado de máquina na nuvem mais acessível e escalável.