💻 computer science

Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

Este artigo propõe um método de substituição ReLU quadrática consciente de decisão para inferência em Criptografia Homomórfica Totalmente (FHE) que, ao formular o problema como uma tarefa de separação linear em um espaço elevado, preserva as decisões do conjunto de calibração sem retreinamento enquanto acelera significativamente a velocidade de inferência em comparação com técnicas de aproximação polinomial existentes.

Autores originais: Rui Li, Wenyuan Wu, Weijie Miao

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rui Li, Wenyuan Wu, Weijie Miao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: O Problema da "Caixa Trancada"

Imagine que você tem uma IA muito inteligente (uma rede neural) capaz de dizer se um e-mail é spam ou não. Você deseja enviar seu e-mail privado para um servidor para obter essa resposta, mas não confia no servidor com seus dados. Portanto, você tranca seu e-mail em uma "caixa mágica" especial (chamada de Criptografia Homomórfica Total ou FHE).

O servidor pode abrir a caixa, realizar cálculos matemáticos nos dados trancados e fornecer uma resposta trancada, tudo sem jamais ver o e-mail real. Isso é ótimo para a privacidade.

O Problema: A IA precisa tomar uma decisão como "Este número é positivo ou negativo?" (um passo chamado ReLU). No mundo real, isso é fácil. Mas dentro da "caixa mágica", o servidor só pode realizar adição e multiplicação simples. Ele não consegue facilmente tomar decisões do tipo "se/então". Para fazer a IA funcionar dentro da caixa, os cientistas geralmente substituem a decisão por uma curva matemática complexa (um polinômio de alto grau).

O Jeito Antigo: Pense nisso como tentar desenhar um círculo perfeito usando uma régua. Você precisa usar uma régua muito longa e complicada (um polinômio de alto grau) para chegar perto o suficiente de um círculo. Isso exige muito tempo e esforço (poder de computação) do servidor.

A Nova Ideia: Substituição "Consciente da Decisão"

Os autores deste artigo fizeram uma pergunta diferente: Precisamos que a curva se pareça exatamente com a decisão em cada ponto individual? Ou precisamos apenas que a resposta final seja a mesma?

A Analogia:
Imagine que você está navegando em um labirinto.

O Jeito Antigo: Você tenta traçar o caminho exato das paredes do labirinto com uma caneta. Se você errar a parede por um pouquinho, acha que falhou. Você precisa de uma caneta muito precisa (matemática complexa).
O Jeito Novo: Você só se importa em chegar à saída. Se você seguir um caminho ligeiramente diferente que ainda leve à mesma saída, você está feliz. Você não precisa de uma caneta complexa; um caminho simples e curto (uma curva quadrática de baixo grau) é suficiente, desde que o leve à porta correta.

O artigo chama isso de "Consciente da Decisão". Em vez de tentar imitar perfeitamente o "pensamento" interno da IA (a ativação), eles só se importam em que a decisão final "Sim/Não" ou "Classe A/Classe B" permaneça a mesma para um conjunto específico de dados de teste (o conjunto de calibração).

A Solução: O Atalho "Quadrático"

Os autores descobriram que uma simples equação quadrática (uma curva em forma de U, como $x^2$ ) é o "ponto ideal".

É simples o suficiente para que a "caixa mágica" a processe rapidamente.
É flexível o suficiente para guiar a IA até a decisão final correta.

Eles desenvolveram um método para encontrar as configurações perfeitas (coeficientes) para essa curva em forma de U. Eles tratam o problema como um jogo de geometria:

O Caso Binário (Sim/Não): Eles pegam todos os exemplos de "Sim" e todos os exemplos de "Não" e os transformam em pontos em um mapa 2D. Se os pontos "Sim" e os pontos "Não" puderem ser separados por uma linha reta com um pouco de espaço de respiro (uma margem positiva), eles podem provar matematicamente que uma simples curva em forma de U funcionará perfeitamente.
Os Casos Difíceis: Às vezes, os pontos estão misturados e você não consegue desenhar uma linha limpa. Neste caso, eles usam uma versão "suave" da matemática (como um elástico) que ignora alguns outliers bagunçados. Isso lhes dá uma curva "boa o suficiente" que funciona para quase todos os casos.

Os Resultados: Mais Rápido e Tão Inteligente

Eles testaram isso em tarefas do mundo real (como reconhecimento de imagens ou classificação de texto) usando a "caixa mágica" (FHE).

Precisão: Seu método manteve a precisão da IA quase exatamente a mesma da IA original (e muito melhor do que o antigo método de "quadrado simples").
Velocidade: Como a curva deles é tão simples (apenas uma forma de U), o servidor não precisou realizar tantos cálculos pesados.
- Foi 3,7 a 4,1 vezes mais rápido no passo específico onde a decisão é tomada, comparado ao melhor método anterior (Remez-7).
- Todo o processo, do início ao fim, foi 1,18 a 1,68 vezes mais rápido.

Resumo

Pense neste artigo como encontrar um atalho através de uma floresta.

Método Antigo: Você tenta caminhar exatamente ao longo do rio sinuoso (a curva matemática complexa). É preciso, mas lento e cansativo.
Método Novo: Você olha para onde o rio leva (a decisão final) e corta um caminho reto através das árvores usando uma curva simples. Você chega ao mesmo destino, mas chega lá muito mais rápido e com menos esforço, mantendo todo o tempo seu mapa (dados) escondido em uma caixa trancada.

Os autores também lançaram uma biblioteca de software gratuita chamada QUAD4FHE para que outros possam usar este atalho.

Resumo Técnico: Substituição Quadrática Consciente de Decisão para ReLU em Inferência Amigável a HE

Declaração do Problema
A Criptografia Homomórfica Total (FHE) permite a inferência de redes neurais com preservação de privacidade, permitindo cálculos sobre dados criptografados sem descriptografia. No entanto, a FHE suporta nativamente apenas adições e multiplicações, tornando funções de ativação não lineares como ReLU ( $\max\{0, u\}$ ) computacionalmente caras. Abordagens existentes baseadas apenas em FHE tipicamente substituem ReLU por polinômios de alto grau (por exemplo, aproximações de Remez ou Chebyshev) ajustados sobre intervalos de ativação empíricos. Embora esses métodos evitem comparações, frequentemente exigem polinômios de alto grau para controlar o erro de aproximação, levando ao aumento da profundidade multiplicativa, operações de reescalonamento e latência. Além disso, esses métodos otimizam a fidelidade de aproximação pontual local em vez do objetivo global de classificação: preservar a ordenação final dos logits top-1.

Metodologia
Os autores propõem um framework consciente de decisão que substitui ReLU por um polinômio quadrático de baixo grau compartilhado ( $q(u) = \alpha u^2 + \beta u + \eta$ ) sem retreinar o modelo. A ideia central é que, para um Perceptron Multicamadas (MLP) com uma única camada oculta ReLU treinado ou uma cabeça MLP em características congeladas, a decisão final depende da ordenação dos logits. Portanto, o polinômio de substituição não precisa aproximar ReLU pontualmente; ele apenas precisa preservar a ordenação relativa das pontuações finais em um conjunto de calibração declarado.

A metodologia procede em duas fases:

Construção de Coeficientes Offline: Dado um modelo treinado e um conjunto de calibração, os autores formulam a busca pelos coeficientes $(\alpha, \beta, \eta)$ $(α, β, η)$ como um problema de viabilidade geométrica.
- Caso Binário: O problema é reduzido a encontrar um separador de hiperplano com margem positiva entre duas cascas convexas elevadas em um espaço 2D definido pelas estatísticas $Q(x) = \sum a_j y_j(x)^2$ e $H(x) = \sum a_j y_j(x) + b$ . Se as cascas forem disjuntas, a substituição sem perda de calibração é possível. Os coeficientes ótimos são derivados do par de pontos mais próximos entre as cascas.
- Caso Multiclasse: A condição torna-se a viabilidade estrita de desigualdades de margem de logit afins pareadas.
- Relaxações: Quando a separação exata falha (devido a amostras mal classificadas ou margens pequenas), os autores empregam Cascas Convexas Reduzidas (RCH) e relaxações de margem suave via dual lagrangiano. Essas técnicas limitam a influência de amostras individuais (via um parâmetro $\mu$ ) ou introduzem variáveis de folga, convertendo o problema em programas quadráticos convexos (QPs) que produzem coeficientes aproximadamente viáveis com alta concordância empírica.
Inferência Online: O servidor avalia o circuito aritmético polinomializado resultante em entradas criptografadas. A substituição quadrática requer apenas uma multiplicação de texto cifrado por texto cifrado por ativação, reduzindo significativamente a profundidade multiplicativa em comparação com alternativas de grau superior.

Principais Contribuições

Formulação Consciente de Decisão: O artigo muda o objetivo de minimizar o erro de ativação local para maximizar a concordância na ordenação de logits do conjunto de calibração. Isso permite o uso de um polinômio de grau 2 mesmo que seja uma aproximação pontual pobre de ReLU, desde que preserve as decisões de classificação finais.
Teoria Exata de Amostra Finita: Para classificadores binários, os autores estabelecem condições necessárias e suficientes para substituição sem perda de calibração baseadas na separabilidade de margem positiva de cascas convexas elevadas. Isso fornece um algoritmo construtivo com complexidade $O(n \log n)$ para encontrar coeficientes e um certificado para tolerância de quantização.
Relaxações Geométricas: Para casos onde a separação exata é impossível, o artigo introduz RCH e relaxações de margem suave que estendem continuamente a teoria exata. Esses métodos fornecem substitutos práticos com diagnósticos explícitos (margens, folgas, taxas de concordância) em vez de reivindicar preservação exata onde não pode ser certificada.
Implementação e Validação: Os autores implementaram o pipeline na biblioteca de código aberto QUAD4FHE. Eles validaram a abordagem em diversos conjuntos de dados (tabulares, visão, texto) usando tanto características brutas quanto representações congeladas (DINOv2, Qwen3).

Resultados

Precisão: Sob o esquema CKKS, a substituição quadrática iguala a precisão top-1 em texto claro do modelo ReLU original em múltiplos benchmarks (por exemplo, Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE). Em muitas tarefas multiclasse, supera ou iguala bases fortes como OLA e Aproximação Precisa, apesar de usar um polinômio de grau inferior.
Eficiência: A substituição quadrática executa 3,7–4,1× mais rápido no módulo de ativação e 1,18–1,68× mais rápido de ponta a ponta em comparação com Remez-7 (uma base de alto grau). Isso é alcançado porque o circuito de grau 2 se encaixa em uma profundidade multiplicativa mais rasa (profundidade 4 vs. profundidade 5 para Remez-7), permitindo uma cadeia de coeficiente-módulo mais eficiente e reduzindo a sobrecarga de reescalonamento.
Robustez: O método permanece eficaz mesmo quando o pool de calibração é pequeno (tão pouco quanto 1–5% do conjunto de dados) e lida efetivamente com extratores de características congelados.

Significado e Reivindicações
O artigo reivindica que, ao reformular a substituição de ReLU como um problema de preservação de decisão em vez de um problema de aproximação de função, é possível alcançar inferência FHE de alta precisão com sobrecarga computacional mínima. O significado reside em demonstrar que um polinômio de grau 2 é suficiente para inferência criptografada de alta fidelidade quando escolhido através de um framework geométrico consciente de decisão, evitando assim as penalidades de latência associadas a polinômios de grau superior. Os autores enfatizam que suas garantias são delimitadas ao conjunto de calibração declarado e não fornecem garantias livres de distribuição para entradas não vistas, mas os resultados empíricos mostram forte generalização para conjuntos de teste. O trabalho fornece um caminho matematicamente transparente para otimizar o trade-off entre precisão e latência na inferência neural baseada apenas em FHE.