🤖 machine learning

Towards Deep Encrypted Training: Low-Latency, Memory-Efficient, and High-Throughput Inference for Privacy-Preserving Neural Networks

Este trabalho preenche uma lacuna na aprendizagem de máquina com preservação de privacidade ao desenvolver algoritmos otimizados e uma arquitetura de pipeline para inferência de redes neurais criptografadas em lote, alcançando melhorias significativas em latência e eficiência de memória em comparação com soluções anteriores.

Autores originais: Nges Brian Njungle, Eric Jahns, Michel A. Kinsy

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nges Brian Njungle, Eric Jahns, Michel A. Kinsy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cofre super seguro onde guarda seus dados mais sensíveis: suas fotos médicas, seus extratos bancários ou suas mensagens privadas. O problema é que, para que uma Inteligência Artificial (IA) possa ajudar você a analisar essas informações (como diagnosticar uma doença ou detectar uma fraude), ela precisa "abrir" o cofre e olhar os dados. Mas, se você abrir o cofre, perde a privacidade.

A Criptografia Homomórfica é como um truque de mágica: ela permite que a IA faça os cálculos dentro do cofre, sem nunca precisar abri-lo. O resultado sai do cofre ainda trancado, e só você, com a chave certa, pode ler o que a IA descobriu.

O problema é que, até agora, esse truque era muito lento e consumia muita energia, como se você estivesse tentando abrir uma porta pesada de cada vez, uma foto de cada vez.

Este artigo apresenta uma nova maneira de fazer isso, transformando o processo de "abrir uma porta por vez" em uma esteira rolante de alta velocidade. Aqui está a explicação simplificada:

1. O Problema: A "Fila de Um por Um"

Antes deste trabalho, se um hospital quisesse analisar 500 exames de raio-X criptografados, a IA tinha que processar o exame 1, depois o 2, depois o 3... um por um. Era como se você tivesse que abrir a porta do cofre, pegar uma foto, analisar, fechar a porta, abrir de novo para a próxima. Isso demorava horas e exigia um computador gigante (e caro) para aguentar o peso.

2. A Solução: A "Esteira Rolante Inteligente"

Os autores criaram um sistema que permite processar centenas de imagens ao mesmo tempo, como se fosse uma esteira rolante em uma fábrica.

O Empacotamento (A Caixa de Ferramentas): Em vez de levar uma ferramenta de cada vez para o cofre, eles criaram uma "caixa de ferramentas" gigante (chamada de ciphertext) que cabe muitas imagens de uma só vez. É como se você encaixasse 512 fotos em um único envelope e mandasse para a IA.
A Pipeline (A Linha de Montagem): Eles redesenharam a "fábrica" (o pipeline). Quando a IA processa as imagens, ela não deixa espaços vazios. Se uma parte da imagem fica menor (como quando você dá zoom out), eles pegam as imagens que estavam esperando na fila e as encaixam nos espaços vazios que surgiram. É como um jogo de Tetris perfeito, onde não sobra nenhum espaço desperdiçado.
O Acumulador (O Mestre de Obras): Eles adicionaram um "acumulador" que funciona como um supervisor. Ele pega os resultados parciais de várias etapas e os junta rapidamente, garantindo que a esteira rolante nunca pare e que os trabalhadores (os processadores do computador) estejam sempre ocupados.

3. Os Resultados: Mais Rápido e Mais Barato

O resultado dessa nova "fábrica" é impressionante:

Velocidade: Eles conseguiram processar 512 imagens criptografadas em apenas 8,86 segundos por imagem (em média). Isso é quase duas vezes mais rápido do que os melhores sistemas anteriores.
Memória (O Espaço no Computador): O sistema anterior precisava de um computador com 370 GB de memória RAM (como se fosse um servidor gigante de banco de dados). O novo sistema faz o mesmo trabalho usando apenas 98 GB (menos de um quarto do espaço).
Custo: Eles conseguiram isso usando um computador "comum" de servidor (32 núcleos), enquanto os sistemas anteriores exigiam máquinas superpotentes e extremamente caras.

4. Por que isso importa?

Imagine que, no futuro, você possa enviar seus dados médicos para um hospital na nuvem para obter um diagnóstico de IA, e o hospital nunca veja seus dados reais. Eles só veem números embaralhados.

Antes, isso era teoricamente possível, mas na prática era muito lento e caro para ser usado em massa. Com essa nova técnica de "esteira rolante", torna-se viável processar grandes quantidades de dados (como todos os exames de um hospital em uma noite) de forma rápida e segura.

Resumo da Ópera:
Os autores pegaram uma tecnologia mágica (criptografia homomórfica) que era lenta e pesada, e criaram um sistema de "tráfego inteligente" que permite que ela processe muitos dados de uma vez só. É como transformar um carro de corrida lento e pesado em um trem de alta velocidade que carrega muitos passageiros ao mesmo tempo, gastando menos combustível e usando trilhos mais baratos. Isso abre as portas para que a IA segura e privada seja usada no dia a dia de hospitais, bancos e empresas.

Resumo Técnico: Inference de Redes Neurais Criptografadas de Alto Desempenho

1. Problema e Motivação

O aprendizado de máquina privativo (PPML) é essencial para proteger dados sensíveis em cenários como saúde e finanças. A Criptografia Homomórfica (HE) permite realizar computações diretamente sobre dados criptografados, mas enfrenta barreiras significativas de desempenho:

Ineficiência em Lotes (Batching): A maioria das soluções atuais foca no processamento de uma única imagem criptografada por vez. Embora eficaz para consultas em tempo real, essa abordagem é ineficiente para cenários de alto rendimento (ex: hospitais processando centenas de exames simultaneamente) e para o treinamento de redes neurais, que dependem intrinsecamente de operações em lote.
Custos de Recursos: Processar lotes grandes de dados criptografados exige quantidades massivas de memória e tempo de computação. Trabalhos anteriores (como o de Cheon et al.) demonstraram melhorias, mas ainda exigem hardware de ponta (ex: 1 TB de RAM) e apresentam latências elevadas, limitando a viabilidade prática.
Gargalo de Memória: A necessidade de armazenar chaves de rotação e intermediários de criptografia para grandes lotes torna o uso de memória proibitivo em servidores padrão.

2. Metodologia

Os autores propõem uma arquitetura otimizada para inferência em lote de redes neurais compatíveis com HE, baseada na biblioteca OpenFHE e no framework FHEON, utilizando o esquema CKKS (aproximação de números reais).

Principais Componentes da Metodologia:

Empacotamento de Entrada (Channel-By-Channel - CBC):
- Adotam uma estratégia onde os canais de múltiplas imagens de entrada são codificados em vetores SIMD (Single Instruction, Multiple Data) dentro de um único texto cifrado.
- Isso permite que uma única operação de multiplicação texto-plano/texto-cifrado aplique os pesos do kernel a todas as imagens do lote simultaneamente.
Otimização de Camadas Convolucionais:
- Redução de Chaves de Rotação: Em vez de gerar chaves de rotação para cada deslocamento espacial (o que exigiria $k^2$ chaves para um kernel $k \times k$ ), propõem uma estratégia que utiliza apenas 4 chaves de rotação ( $\pm 1, \pm W$ ) para gerar todos os alinhamentos espaciais necessários.
- Eliminação de Rotações Intermediárias: Graças ao empacotamento CBC, a acumulação entre canais não requer rotação adicional, reduzindo drasticamente o custo computacional e o uso de memória.
Otimização de Camadas Totalmente Conectadas (FC):
- Reformulam a multiplicação matriz-vetor usando rotações e somas de slots.
- Introduzem uma decomposição de rotação para reutilizar chaves, reduzindo o número de chaves necessárias para alinhar os resultados de saída do lote.
Arquitetura de Pipeline com Acumuladores:
- Recuperação de Slots: Redes neurais como ResNet utilizam downsampling (redução de dimensão espacial), o que cria "slots vazios" nos textos cifrados. O pipeline proposto utiliza Acumuladores para fundir múltiplos textos cifrados intermediários, preenchendo esses slots vazios e aumentando efetivamente o tamanho do lote sem novos dados de entrada.
- Reutilização de Chaves: As chaves de rotação e bootstrapping são carregadas dinamicamente apenas para o grupo de blocos ativo, descarregando-as para liberar memória antes de passar para a próxima etapa.
- Paralelismo Multithread: As camadas são decompostas em submódulos independentes (alinhamento de entrada e avaliação de convolução) que podem ser executados em paralelo em múltiplos núcleos de CPU, minimizando dependências de dados.

3. Contribuições Principais

Algoritmos Otimizados para Lotes: Desenvolvimento de algoritmos que melhoram a eficiência do empacotamento de textos cifrados, reduzem rotações desnecessárias e simplificam operações em camadas para suportar inferência em lote em larga escala.
Arquitetura de Pipeline com Acumuladores: Um design que mantém as camadas da rede ativas continuamente, fundindo textos cifrados intermediários para maximizar a utilização de slots e controlar o tamanho do lote efetivo, equilibrando latência e throughput.
Implementação e Avaliação em Escala: Implementação completa no FHEON/OpenFHE e avaliação extensiva com modelos ResNet-20 e ResNet-34 nos conjuntos de dados CIFAR-10 e CIFAR-100, cobrindo lotes de 16 a 512 imagens.
Viabilidade em Hardware Comum: Demonstração de que é possível alcançar alto desempenho em configurações de servidor de médio porte (32 núcleos, 256 GB de RAM), eliminando a dependência de hardware extremamente caro (1 TB+ de RAM) exigido por trabalhos anteriores.

4. Resultados Experimentais

Os experimentos foram realizados em um servidor com Intel Xeon Gold 5418Y (32 núcleos, 256 GB RAM).

Desempenho (ResNet-20, CIFAR-10, Lote 512):
- Latência Amortizada: 8,86 segundos por imagem.
- Uso de Memória: 98,96 GB.
- Comparação com o Estado da Arte (Cheon et al.):
  - Melhoria de 1,78x no tempo de execução (redução de 15,76s para 8,86s).
  - Redução de 3,74x no uso de memória (redução de 370,28 GB para 98,96 GB).
Desempenho (ResNet-34, CIFAR-100, Lote 256):
- Latência amortizada de 28,14 segundos por imagem com uso de 246,78 GB de RAM.
Precisão: A precisão dos modelos criptografados foi quase idêntica à dos modelos em texto plano (ex: ResNet-20: 92,2% criptografado vs 92,8% texto plano), confirmando a integridade numérica das otimizações.

5. Significado e Impacto

Este trabalho representa um avanço significativo na viabilidade prática do Aprendizado de Máquina Privativo em cenários industriais:

Escalabilidade: Ao resolver o gargalo de memória e latência em processamento em lote, torna-se possível processar grandes volumes de dados sensíveis (ex: diagnósticos médicos em massa, detecção de fraude bancária) sem expor os dados.
Acessibilidade: A redução drástica nos requisitos de hardware (de 1 TB para ~100 GB de RAM) democratiza o acesso a inferência criptografada, permitindo que organizações utilizem hardware de servidor padrão em vez de clusters especializados caros.
Caminho para Treinamento: Embora o foco atual seja a inferência, a arquitetura proposta (especialmente o gerenciamento de slots e o paralelismo) estabelece as bases necessárias para futuros trabalhos em treinamento de redes neurais criptografadas, um desafio ainda maior devido à necessidade de cálculos de gradiente e atualizações de pesos.

Em resumo, o artigo preenche a lacuna entre a pesquisa teórica de HE e a implementação prática de alto rendimento, oferecendo uma solução robusta, eficiente e economicamente viável para a inferência de redes neurais profundas em dados criptografados.