💻 computer science

Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

Este artigo propõe uma aproximação polinomial de segundo grau baseada em kernel da função de ativação ReLU para permitir a implantação de Modelos de Linguagem de Grande Escala em frameworks de Criptografia Homomórfica, facilitando assim a inferência segura e que preserva a privacidade sem descriptografia.

Autores originais: Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer enviar uma mensagem secreta a um amigo, mas não confia no carteiro. Então, você coloca sua mensagem em uma caixa trancada (criptografia) e a envia. O problema é que seu amigo precisa ler a mensagem para fazer algo com ela, mas não consegue abrir a caixa sem uma chave, e se ele a abrir, o segredo será revelado.

Criptografia Homomórfica (HE) é como uma caixa trancada mágica. Ela permite que seu amigo realize cálculos dentro da caixa trancada sem nunca abri-la. Ele pode somar ou multiplicar números, e o resultado dentro da caixa permanece correto quando finalmente a abre. Isso é algo enorme para a privacidade, especialmente para a Inteligência Artificial (IA), porque significa que uma empresa pode analisar seus dados privados (como registros de saúde ou conversas pessoais) sem nunca ver os dados brutos em si.

No entanto, há um porém. A caixa trancada mágica só entende adição e multiplicação. Ela não entende "pensamento" ou "decisões".

O Problema: A Porta "ReLU"

Modelos de Aprendizado Profundo (os cérebros por trás da IA moderna, como chatbots) dependem de um interruptor especial chamado ReLU (Unidade Linear Retificada). Pense no ReLU como um porteiro de boate:

Se um número é positivo (um VIP), o porteiro deixa-o passar.
Se um número é negativo (não é um VIP), o porteiro o impede completamente (transforma-o em zero).

Esse comportamento de "porteiro" é essencial para que a IA aprenda padrões complexos. Mas, como o porteiro precisa tomar uma decisão de "parar ou seguir", trata-se de uma função não linear e irregular. A caixa trancada mágica (HE) não consegue lidar com essa tomada de decisão irregular, pois ela só gosta de matemática suave e simples (somar e multiplicar).

A Solução: Um "Falso" Porteiro Suave

Os autores deste artigo quiseram substituir o porteiro irregular por um substituto suave e educado que a caixa trancada possa entender, mas que aja exatamente como o porteiro original.

Eles usaram uma receita em duas etapas:

Etapa 1: O Criador de "Smoothies" (Aproximação de Kernel)
Primeiro, perceberam que tentar aproximar o porteiro irregular diretamente é confuso. Então, usaram um método de "Kernel" (uma ferramenta matemática que suaviza as coisas) para transformar o ReLU irregular em uma colina suave e curva. Imagine pegar uma pedra irregular e moê-la até transformá-la em um seixo liso e redondo. Esse seixo ainda parece a pedra à distância, mas é muito mais fácil de manusear.
Etapa 2: O Truque de Matemática Simples (Regressão Polinomial)
Agora que tinham uma colina suave, precisavam descrevê-la usando apenas adição e multiplicação. Eles testaram diferentes níveis de complexidade:
- Grau baixo (Simples): Uma curva simples (como uma parábola).
- Grau alto (Complexo): Uma curva muito ondulada e complicada, com muitas voltas.
A Surpresa: Eles esperavam que as curvas complicadas e onduladas fossem mais precisas. Em vez disso, descobriram que a curva simples de segundo grau (uma simples forma de U) foi, na verdade, a vencedora.
- Por quê? As curvas complexas eram muito "tremidas". No mundo da matemática criptografada, adicionar muitas voltas faz com que "ruído" (estática) se acumule, eventualmente afogando o sinal. É como tentar sussurrar um segredo através de um túnel longo e sinuoso; se o túnel for muito tortuoso, o som se perde. A curva simples manteve a mensagem clara e a matemática rápida.

O Que Eles Testaram

Os pesquisadores não fizeram isso apenas no papel. Eles testaram seu "porteiro suave" em cenários reais:

Em Dados: Alimentaram-no com dados de texto reais de modelos de IA pré-treinados (como RoBERTa e DistilBERT) para ver se poderia imitar o comportamento do porteiro original.
Em Modelos de IA: Substituíram o ReLU real pelo novo "porteiro suave" em diferentes tipos de cérebros de IA (redes simples, reconhecedores de imagens e Transformers complexos).
Na Caixa Trancada: Executaram tudo dentro da caixa trancada de Criptografia Homomórfica para ver quão rápido era e quão precisos os resultados permaneciam.

Os Resultados

Precisão: Seu porteiro suave e simples foi quase tão bom quanto o real e muito melhor do que outras tentativas "suaves" encontradas em pesquisas anteriores.
Velocidade: Como sua solução era matematicamente simples, foi incrivelmente rápida. Outros métodos que tentaram usar curvas complexas de alto grau foram até 100 vezes mais lentos ao trabalhar dentro da caixa trancada criptografada.
Privacidade: Eles provaram com sucesso que é possível executar tarefas complexas de IA em dados criptografados sem perder muita precisão, desde que se use o tipo certo de matemática simples.

A Conclusão

Este artigo apresenta uma maneira inteligente de tornar a IA amigável à privacidade. Ao suavizar a função do "porteiro" e substituí-la por uma curva simples e de baixa complexidade, eles permitiram que a IA funcionasse dentro de uma caixa trancada sem quebrar o cadeado ou retardar o processo. É um lembrete de que, às vezes, a solução mais simples é a mais poderosa.

Resumo Técnico: Aproximação ReLU Baseada em Kernel para Modelos de Aprendizado Profundo Preservadores de Privacidade Compatíveis com Criptografia Homomórfica

1. Declaração do Problema

A adoção generalizada de Modelos de Linguagem de Grande Escala (LLMs) e Aprendizado Profundo (DL) intensificou as preocupações com a privacidade, particularmente no que diz respeito ao processamento de dados sensíveis do usuário (por exemplo, informações de saúde) em formas não criptografadas. A Criptografia Homomórfica (HE), especificamente esquemas como o CKKS, oferece uma solução ao permitir computações sobre dados criptografados sem a necessidade de descriptografia. No entanto, a HE é fundamentalmente limitada a operações de adição e multiplicação. Isso cria uma incompatibilidade crítica com arquiteturas padrão de DL, que dependem fortemente de funções de ativação não lineares, como a Unidade Linear Retificada (ReLU).

A função ReLU, definida como $ReLU(x) = \max(0, x)$ , é não suave (não diferenciável em zero). A aproximação direta de tal função não suave com polinômios de baixo grau — necessária para minimizar a profundidade multiplicativa na HE — resulta em erros de aproximação significativos. Métodos existentes, como a função $x^2$ ou polinômios de Chebyshev de grau superior, ou falham em capturar o comportamento de anulação para entradas negativas, ou introduzem custos computacionais proibitivos e instabilidade (por exemplo, fenômeno de Runge) quando implantados em ambientes criptografados.

2. Metodologia

O artigo propõe um método de Aproximação ReLU Baseada em Kernel em duas etapas, projetado para gerar um polinômio de segundo grau compatível com HE que imita o comportamento da ReLU com alta fidelidade e baixa profundidade multiplicativa.

Suavização via Regressão por Kernel: Para abordar a não suavidade da ReLU, os autores transformam primeiro a função em uma aproximação suave usando um método baseado em Kernel. Especificamente, eles empregam o kernel tangente hiperbólica ( $k(x, x') = \tanh(\langle x, x' \rangle + 1)$ ) treinado em dados de entrada. Esta etapa aproveita o princípio de que funções mais suaves podem ser aproximadas com maior precisão por polinômios, conforme apoiado pelo Teorema de Jackson.
Ajuste Polinomial: A saída da função Kernel treinada é então aproximada usando um polinômio de segundo grau ( $p(x) = a_0 + a_1x + a_2x^2$ ) via regressão de Mínimos Quadrados Ordinários (OLS).
Fonte de Dados: O método é treinado e avaliado diretamente em embeddings de tokens extraídos de LLMs pré-treinados (RoBERTa e DistilBERT) usando o conjunto de dados Stanford Sentiment Treebank (SST-2). Isso garante que a aproximação seja fundamentada em dados reais de PLN, em vez de distribuições sintéticas.
Seleção de Grau: Os autores avaliaram sistematicamente os graus polinomiais de 2 a 5. Eles constataram que, embora graus superiores ofereçam teoricamente um melhor ajuste, eles introduzem instabilidade e taxas de erro exponencialmente mais altas em domínios criptografados devido ao aumento da profundidade multiplicativa e ao crescimento de ruído no esquema CKKS. Consequentemente, o polinômio de segundo grau foi selecionado como o compromisso ótimo entre precisão e eficiência computacional.

O polinômio final resultante é:
$p(x) = 0.082261 + 0.495588x + 0.444488x^2$

3. Contribuições Principais

Uma Estratégia de Aproximação Novel: A introdução de uma técnica de suavização baseada em Kernel seguida de ajuste polinomial de baixo grau, especificamente adaptada para restrições de HE.
Validação no Mundo Real: Diferentemente de trabalhos anteriores que frequentemente dependem de dados sintéticos ou avaliação indireta via precisão de classificação, este método é treinado e avaliado em embeddings de tokens reais de LLMs pré-treinados.
Benchmarks Abrangentes: O método proposto é rigorosamente comparado a aproximações estabelecidas, incluindo $x^2$ , FasterCryptoNets e polinômios de Chebyshev (graus 3 e 5), através de múltiplas dimensões: erro de aproximação (MSE), precisão do modelo (FeedForward, CNN, ViT) e custo computacional.

4. Resultados

A avaliação foi conduzida em seis cenários experimentais, cobrindo ambientes de texto claro e criptografado (CKKS):

Precisão de Aproximação: O método Polinomial Baseado em Kernel alcançou o menor Erro Quadrático Médio (MSE) em ambos os ambientes de texto claro e criptografado (0.056862) em comparação com polinômios de grau superior, que exibiram instabilidade significativa (por exemplo, MSE > 390 para grau 5). Em testes com dados estruturados usando embeddings de RoBERTa e DistilBERT, o método proposto manteve um MSE de 0.002, superando $x^2$ e FasterCryptoNets.
Desempenho do Modelo:
- Modelos de DL: Nas arquiteturas FeedForward e CNN no conjunto de dados MNIST, o Polinômio Baseado em Kernel alcançou 99% e 99,2% de precisão, respectivamente, comparável ou ligeiramente abaixo do melhor desempenho do FasterCryptoNets (99,3%).
- Transformers: Na arquitetura ViT com CIFAR-10 e CIFAR-100, o método demonstrou forte generalização, alcançando 38,5% de precisão no CIFAR-100 (o mais alto entre os métodos testados), enquanto aproximações de grau superior como Chebyshev-5 mostraram desempenho inferior.
Desempenho em Ambiente Criptografado:
- Diferença de Precisão: O método proposto exibiu a menor diferença de precisão entre a execução em texto claro e criptografada (29,3%), superando Chebyshev-3 (35,3%) e Chebyshev-5 (33,6%).
- Eficiência Computacional: O polinômio de segundo grau ofereceu uma vantagem significativa em velocidade. O tempo total de experimento para o Polinômio Baseado em Kernel foi de 1.864 segundos, enquanto Chebyshev-5 exigiu 11.348 segundos (um fator de lentidão de ~109x). O método manteve uma baixa profundidade multiplicativa, prevenindo o rápido crescimento de ruído associado a polinômios de grau superior no CKKS.

5. Significado e Alegações

O artigo afirma que o método Polinomial Baseado em Kernel proposto representa uma solução robusta e eficiente para inferência preservadora de privacidade em LLMs e modelos de DL. Seu significado reside em:

Preenchendo a Lacuna: Ele efetivamente preenche a lacuna de desempenho entre a execução criptografada e não criptografada, permitindo a implantação de modelos complexos como Transformers em configurações de PLN sensíveis à privacidade sem a degradação severa de precisão observada em aproximações de grau superior.
Compromisso Ótimo: O estudo demonstra que, para funções suaves baseadas em Kernel, polinômios de baixo grau (especificamente grau 2) podem alcançar erros de aproximação excepcionalmente baixos enquanto mantêm alta precisão de classificação e custos computacionais menores. Isso desafia a suposição de que polinômios de grau superior são inerentemente superiores para aproximação em contextos de HE.
Viabilidade Prática: Ao minimizar a profundidade multiplicativa, o método reduz o "custo da privacidade" (latência e acúmulo de ruído), tornando-o um candidato viável para aplicações de inferência segura de alto rendimento.

Os autores concluem que, embora trabalhos futuros possam explorar modelos híbridos adaptativos e aceleração de hardware, o método atual aborda com sucesso o desafio crítico de integrar funções de ativação não lineares em pipelines de aprendizado profundo compatíveis com Criptografia Homomórfica.