💻 computer science

Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

Ce papier propose une approximation polynomiale de degré deux, basée sur un noyau, de la fonction d'activation ReLU afin de permettre le déploiement de modèles de langage de grande taille dans des cadres de chiffrement homomorphe, facilitant ainsi une inférence sécurisée et respectueuse de la vie privée sans déchiffrement.

Auteurs originaux : Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez envoyer un message secret à un ami, mais que vous ne faites pas confiance au facteur. Vous placez donc votre message dans une boîte verrouillée (chiffrement) et vous l'envoyez. Le problème est que votre ami doit lire le message pour en faire quelque chose, mais il ne peut pas ouvrir la boîte sans clé, et s'il l'ouvre, le secret est divulgué.

Le Chiffrement Homomorphe (HE) est comme un coffre-fort magique. Il permet à votre ami d'effectuer des calculs à l'intérieur de la boîte verrouillée sans jamais l'ouvrir. Il peut additionner ou multiplier des nombres, et le résultat à l'intérieur de la boîte reste correct lorsqu'il l'ouvre enfin. C'est une avancée majeure pour la vie privée, en particulier pour l'Intelligence Artificielle (IA), car cela signifie qu'une entreprise peut analyser vos données privées (comme vos dossiers de santé ou vos conversations personnelles) sans jamais voir les données brutes elles-mêmes.

Cependant, il y a un piège. Le coffre-fort magique ne comprend que l'addition et la multiplication. Il ne comprend pas la « réflexion » ni la « prise de décision ».

Le Problème : La porte « ReLU »

Les modèles d'apprentissage profond (les cerveaux derrière l'IA moderne comme les chatbots) reposent sur un interrupteur spécial appelé ReLU (Unité Linéaire Rectifiée). Imaginez ReLU comme un videur dans une boîte de nuit :

Si un nombre est positif (un VIP), le videur le laisse passer.
Si un nombre est négatif (pas un VIP), le videur l'arrête complètement (le transforme en zéro).

Ce comportement de « videur » est essentiel pour que l'IA apprenne des motifs complexes. Mais comme le videur doit prendre une décision « stop ou passe », il s'agit d'une fonction non linéaire et irrégulière. Le coffre-fort magique (HE) ne peut pas gérer cette prise de décision irrégulière car il n'aime que les mathématiques simples et lisses (addition et multiplication).

La Solution : Un « Faux » Videur Lisse

Les auteurs de cet article voulaient remplacer le videur irrégulier par un substitut lisse et poli que le coffre-fort puisse comprendre, mais qui se comporte exactement comme le videur original.

Ils ont utilisé une recette en deux étapes :

Étape 1 : Le Fabricant de « Smoothies » (Approximation par noyau)
D'abord, ils ont réalisé que tenter d'approximer directement le videur irrégulier était désordonné. Ils ont donc utilisé une méthode « Noyau » (un outil mathématique qui lisse les choses) pour transformer le ReLU irrégulier en une colline lisse et courbe. Imaginez prendre un rocher irrégulier et le broyer jusqu'à en faire un galet lisse et rond. Ce galet ressemble encore au rocher de loin, mais il est beaucoup plus facile à manipuler.
Étape 2 : L'Astuce Mathématique Simple (Régression Polynomiale)
Maintenant qu'ils avaient une colline lisse, ils devaient la décrire en utilisant uniquement l'addition et la multiplication. Ils ont testé différents niveaux de complexité :
- Degré faible (Simple) : Une courbe simple (comme une parabole).
- Degré élevé (Complexe) : Une courbe très sinueuse et compliquée avec de nombreux virages.
La Surprise : Ils s'attendaient à ce que les courbes complexes et sinueuses soient plus précises. Au lieu de cela, ils ont découvert que la courbe simple de second degré (une simple forme de U) était en réalité la gagnante.
- Pourquoi ? Les courbes complexes étaient trop « tremblantes ». Dans le monde des mathématiques chiffrées, ajouter trop de virages provoque l'accumulation de « bruit » (statique), finissant par noyer le signal. C'est comme essayer de chuchoter un secret à travers un tunnel long et sinueux ; si le tunnel est trop tourmenté, le son se perd. La courbe simple a maintenu le message clair et les mathématiques rapides.

Ce Qu'ils Ont Testé

Les chercheurs ne se sont pas contentés de le faire sur le papier. Ils ont testé leur « faux videur lisse » dans des scénarios réels :

Sur des Données : Ils l'ont alimenté avec de vraies données textuelles provenant de modèles d'IA pré-entraînés (comme RoBERTa et DistilBERT) pour voir s'il pouvait imiter le comportement du videur original.
Sur des Modèles d'IA : Ils ont remplacé le vrai ReLU par leur nouveau « faux videur lisse » dans différents types de cerveaux d'IA (réseaux simples, reconnaissance d'images et Transformers complexes).
Dans le Coffre-fort : Ils ont tout exécuté à l'intérieur du coffre-fort de Chiffrement Homomorphe pour voir sa rapidité et la précision des résultats.

Les Résultats

Précision : Leur faux videur lisse et simple était presque aussi bon que l'original et bien meilleur que d'autres tentatives « lisses » trouvées dans des recherches précédentes.
Vitesse : Parce que leur solution était mathématiquement simple, elle était incroyablement rapide. D'autres méthodes qui tentaient d'utiliser des courbes complexes de haut degré étaient jusqu'à 100 fois plus lentes lorsqu'elles travaillaient à l'intérieur du coffre-fort chiffré.
Vie Privée : Ils ont prouvé avec succès que l'on peut exécuter des tâches d'IA complexes sur des données chiffrées sans perdre beaucoup de précision, à condition d'utiliser le bon type de mathématiques simples.

La Conclusion

Cet article présente une manière ingénieuse de rendre l'IA respectueuse de la vie privée. En lissant la fonction « videur » et en la remplaçant par une courbe simple et de faible complexité, ils ont permis à l'IA de fonctionner à l'intérieur d'une boîte verrouillée sans casser la serrure ni ralentir le processus. C'est un rappel que parfois, la solution la plus simple est la plus puissante.

Résumé Technique : Approximation ReLU à Base de Noyaux pour des Modèles d'Apprentissage Profond Préservant la Vie Privée Compatibles avec le Chiffrement Homomorphe

1. Énoncé du Problème

L'adoption généralisée des Grands Modèles de Langage (LLM) et de l'Apprentissage Profond (DL) a accru les préoccupations en matière de confidentialité, notamment concernant le traitement de données utilisateur sensibles (par exemple, les informations de santé) sous forme non chiffrée. Le chiffrement homomorphe (HE), en particulier des schémas comme CKKS, offre une solution en permettant des calculs sur des données chiffrées sans déchiffrement. Cependant, le HE est fondamentalement limité aux opérations d'addition et de multiplication. Cela crée une incompatibilité critique avec les architectures DL standard, qui reposent fortement sur des fonctions d'activation non linéaires telles que l'unité linéaire rectifiée (ReLU).

La fonction ReLU, définie par $ReLU(x) = \max(0, x)$ , est non lisse (non dérivable en zéro). L'approximation directe d'une telle fonction non lisse par des polynômes de faible degré — requis pour minimiser la profondeur multiplicative dans le HE — entraîne des erreurs d'approximation significatives. Les méthodes existantes, telles que la fonction $x^2$ ou les polynômes de Tchebychev de degré supérieur, soit échouent à capturer le comportement de mise à zéro pour les entrées négatives, soit introduisent des coûts computationnels prohibitifs et une instabilité (par exemple, le phénomène de Runge) lorsqu'elles sont déployées dans des environnements chiffrés.

2. Méthodologie

L'article propose une méthode en deux étapes d'Approximation ReLU à Base de Noyaux conçue pour générer un polynôme de second degré compatible avec le HE, imitant le comportement de ReLU avec une grande fidélité et une faible profondeur multiplicative.

Lissage par Régression à Noyaux : Pour remédier à la non-lissité de ReLU, les auteurs transforment d'abord la fonction en une approximation lisse utilisant une méthode à base de noyaux. Plus précisément, ils emploient le noyau tangente hyperbolique ( $k(x, x') = \tanh(\langle x, x' \rangle + 1)$ ) entraîné sur des données d'entrée. Cette étape exploite le principe selon lequel les fonctions plus lisses peuvent être approximées plus précisément par des polynômes, comme le soutient le théorème de Jackson.
Ajustement Polynômial : La sortie de la fonction à noyaux entraînée est ensuite approximée à l'aide d'un polynôme de second degré ( $p(x) = a_0 + a_1x + a_2x^2$ ) via une régression des moindres carrés ordinaires (OLS).
Source de Données : La méthode est entraînée et évaluée directement sur des plongements de tokens extraits de LLM pré-entraînés (RoBERTa et DistilBERT) en utilisant l'ensemble de données Stanford Sentiment Treebank (SST-2). Cela garantit que l'approximation est ancrée dans des données NLP réelles plutôt que dans des distributions synthétiques.
Sélection du Degré : Les auteurs ont systématiquement évalué les degrés polynomiaux de 2 à 5. Ils ont constaté que, bien que des degrés supérieurs offrent théoriquement un meilleur ajustement, ils introduisent une instabilité et des taux d'erreur exponentiellement plus élevés dans les domaines chiffrés en raison de l'augmentation de la profondeur multiplicative et de la croissance du bruit dans le schéma CKKS. Par conséquent, le polynôme de second degré a été sélectionné comme le compromis optimal entre précision et efficacité computationnelle.

Le polynôme final résultant est :
$p(x) = 0.082261 + 0.495588x + 0.444488x^2$

3. Contributions Clés

Une Stratégie d'Approximation Nouvelle : L'introduction d'une technique de lissage à base de noyaux suivie d'un ajustement polynômial de faible degré, spécifiquement adaptée aux contraintes du HE.
Validation dans le Monde Réel : Contrairement aux travaux antérieurs qui reposent souvent sur des données synthétiques ou une évaluation indirecte via la précision de classification, cette méthode est entraînée et évaluée sur de véritables plongements de tokens issus de LLM pré-entraînés.
Étalonnage Complet : La méthode proposée est rigoureusement comparée à des approximations établies, notamment $x^2$ , FasterCryptoNets et les polynômes de Tchebychev (degrés 3 et 5), selon plusieurs dimensions : erreur d'approximation (MSE), précision du modèle (FeedForward, CNN, ViT) et coût computationnel.

4. Résultats

L'évaluation a été menée sur six scénarios expérimentaux, couvrant à la fois les environnements en clair et chiffrés (CKKS) :

Précision d'Approximation : La méthode Polynôme à Noyaux a obtenu la plus faible erreur quadratique moyenne (MSE) dans les environnements en clair et chiffrés (0,056862) par rapport aux polynômes de degré supérieur, qui ont présenté une instabilité significative (par exemple, MSE > 390 pour le degré 5). Dans les tests sur des données structurées utilisant les plongements RoBERTa et DistilBERT, la méthode proposée a maintenu un MSE de 0,002, surpassant $x^2$ et FasterCryptoNets.
Performance des Modèles :
- Modèles DL : Dans les architectures FeedForward et CNN sur l'ensemble de données MNIST, le Polynôme à Noyaux a atteint des précisions de 99 % et 99,2 % respectivement, comparables ou légèrement inférieures à celle du meilleur performant FasterCryptoNets (99,3 %).
- Transformers : Sur l'architecture ViT avec CIFAR-10 et CIFAR-100, la méthode a démontré une forte généralisation, atteignant une précision de 38,5 % sur CIFAR-100 (la plus élevée parmi les méthodes testées), tandis que des approximations de degré supérieur comme Tchebychev-5 ont montré des performances inférieures.
Performance en Environnement Chiffré :
- Écart de Précision : La méthode proposée a présenté le plus petit écart de précision entre l'exécution en clair et chiffrée (29,3 %), surpassant Tchebychev-3 (35,3 %) et Tchebychev-5 (33,6 %).
- Efficacité Computationnelle : Le polynôme de second degré a offert un avantage significatif en termes de vitesse. Le temps total de l'expérience pour le Polynôme à Noyaux était de 1 864 secondes, tandis que Tchebychev-5 nécessitait 11 348 secondes (un facteur de ralentissement d'environ 109x). La méthode a maintenu une faible profondeur multiplicative, empêchant la croissance rapide du bruit associée aux polynômes de degré supérieur dans CKKS.

5. Importance et Revendications

L'article revendique que la méthode Polynôme à Noyaux proposée représente une solution robuste et efficace pour l'inférence préservant la vie privée dans les LLM et les modèles DL. Son importance réside dans :

Combler le Fossé : Elle comble efficacement l'écart de performance entre l'exécution chiffrée et non chiffrée, permettant le déploiement de modèles complexes comme les Transformers dans des contextes NLP sensibles à la vie privée, sans la dégradation sévère de la précision observée avec les approximations de degré supérieur.
Compromis Optimal : L'étude démontre que pour des fonctions lisses à base de noyaux, les polynômes de faible degré (spécifiquement le degré 2) peuvent atteindre des erreurs d'approximation exceptionnellement faibles tout en maintenant une haute précision de classification et des coûts computationnels réduits. Cela remet en question l'hypothèse selon laquelle les polynômes de degré supérieur sont intrinsèquement supérieurs pour l'approximation dans les contextes HE.
Viabilité Pratique : En minimisant la profondeur multiplicative, la méthode réduit le « coût de la confidentialité » (latence et accumulation de bruit), la rendant un candidat viable pour des applications d'inférence sécurisées à haut débit.

Les auteurs concluent que, bien que des travaux futurs puissent explorer des modèles hybrides adaptatifs et l'accélération matérielle, la méthode actuelle répond avec succès au défi critique d'intégrer des fonctions d'activation non linéaires dans des pipelines d'apprentissage profond compatibles avec le chiffrement homomorphe.