Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

Technische Samenvatting: Kernel-gebaseerde ReLU-approximatie voor privacybehoudende Deep Learning-modellen compatibel met Homomorf Versleuteling

1. Probleemstelling

De wijdverbreide adoptie van Large Language Models (LLM's) en Deep Learning (DL) heeft privacyzorgen verhoogd, met name met betrekking tot de verwerking van gevoelige gebruikersgegevens (bijvoorbeeld gezondheidsinformatie) in onversleutelde vorm. Homomorf Versleuteling (HE), en specifiek schema's zoals CKKS, biedt een oplossing door berekeningen op versleutelde data mogelijk te maken zonder decryptie. HE is echter fundamenteel beperkt tot optel- en vermenigvuldigingsoperaties. Dit creëert een kritieke incompatibiliteit met standaard DL-architecturen, die zwaar vertrouwen op niet-lineaire activatiefuncties zoals de Rectified Linear Unit (ReLU).

De ReLU-functie, gedefinieerd als $ReLU(x) = \max(0, x)$, is niet-glad (niet differentieerbaar bij nul). Het direct benaderen van een dergelijke niet-gladde functie met veeltermen van lage graad – vereist om de multiplicatieve diepte in HE te minimaliseren – resulteert in aanzienlijke benaderingsfouten. Bestaande methoden, zoals de $x^2$-functie of Chebyshev-muchtermen van hogere graad, falen ofwel om het nulstellingsgedrag voor negatieve invoer vast te leggen, of introduceren prohibitieve rekentkosten en instabiliteit (bijvoorbeeld het Runge-fenomeen) wanneer ze worden ingezet in versleutelde omgevingen.

2. Methodologie

Het artikel stelt een tweestaps Kernel-gebaseerde ReLU-approximatiemethode voor, ontworpen om een HE-compatibele, tweede-grads veelterm te genereren die ReLU-gedrag nabootst met hoge fideliteit en lage multiplicatieve diepte.

• Gladdening via Kernel-regressie: Om de niet-gladheid van ReLU aan te pakken, transformeren de auteurs de functie eerst naar een gladde approximatie met behulp van een op kernel gebaseerde methode. Specifiek maken ze gebruik van de hyperbolische tangens-kernel ($k(x, x') = \tanh(\langle x, x' \rangle + 1)$), getraind op invoergegevens. Deze stap maakt gebruik van het principe dat gladde functies nauwkeuriger kunnen worden benaderd door veeltermen, zoals ondersteund door de stelling van Jackson.
• Polynoomfitting: De output van de getrainde kernel-functie wordt vervolgens benaderd met een veelterm van de tweede graad ($p(x) = a_0 + a_1x + a_2x^2$) via Ordinary Least Squares (OLS)-regressie.
• Gegevensbron: De methode wordt getraind en beoordeeld direct op token-embeddings die zijn onttrokken aan voorgetrainde LLM's (RoBERTa en DistilBERT) met behulp van het Stanford Sentiment Treebank (SST-2)-dataset. Dit zorgt ervoor dat de approximatie is geworteld in real-world NLP-gegevens in plaats van synthetische verdelingen.
• Selectie van de graad: De auteurs hebben systematisch veeltermen van graad 2 tot en met 5 geëvalueerd. Ze constateerden dat hoewel hogere graden theoretisch een betere fit bieden, ze instabiliteit en exponentieel hogere foutpercentages introduceren in versleutelde domeinen als gevolg van toegenomen multiplicatieve diepte en ruisgroei in het CKKS-schema. Bijgevolg werd de veelterm van de tweede graad geselecteerd als de optimale afweging tussen nauwkeurigheid en rekenefficiëntie.

De resulterende uiteindelijke veelterm is:
$$p(x) = 0.082261 + 0.495588x + 0.444488x^2$$

3. Belangrijkste Bijdragen

• Een Nieuwe Benaderingsstrategie: De introductie van een op kernel gebaseerde gladmakende techniek gevolgd door fitting van veeltermen van lage graad, specifiek toegespitst op HE-beperkingen.
• Validatie in de Realiteit: In tegenstelling tot eerdere werken die vaak vertrouwen op synthetische gegevens of indirecte evaluatie via classificienauwkeurigheid, wordt deze methode getraind en geëvalueerd op daadwerkelijke token-embeddings van voorgetrainde LLM's.
• Uitgebreide Benchmarking: De voorgestelde methode wordt rigoureus vergeleken met gevestigde approximaties, waaronder $x^2$, FasterCryptoNets en Chebyshev-muchtermen (graden 3 en 5), over meerdere dimensies: benaderingsfout (MSE), modelnauwkeurigheid (FeedForward, CNN, ViT) en rekentkosten.

4. Resultaten

De evaluatie werd uitgevoerd over zes experimentele scenario's, die zowel platte tekst- als versleutelde (CKKS) omgevingen omvatten:

• Benaderingsnauwkeurigheid: De Kernel-multipolynoom-methode behaalde de laagste Mean Squared Error (MSE) in zowel platte tekst- als versleutelde omgevingen (0.056862) in vergelijking met veeltermen van hogere graad, die aanzienlijke instabiliteit vertoonden (bijvoorbeeld MSE > 390 voor graad 5). In tests met gestructureerde data met behulp van RoBERTa- en DistilBERT-embeddings behield de voorgestelde methode een MSE van 0.002, waarmee ze $x^2$ en FasterCryptoNets overtrof.
• Modelprestaties:
  • DL-modellen: In FeedForward- en CNN-architecturen op het MNIST-dataset behaalde de Kernel-multipolynoom respectievelijk 99% en 99,2% nauwkeurigheid, vergelijkbaar met of licht onder de best presterende FasterCryptoNets (99,3%).
  • Transformers: Op de ViT-architectuur met CIFAR-10 en CIFAR-100 toonde de methode sterke generalisatie, met een nauwkeurigheid van 38,5% op CIFAR-100 (de hoogste onder de geteste methoden), terwijl approximaties van hogere graad zoals Chebyshev-5 een lagere prestatie lieten zien.
• Prestaties in Versleutelde Omgeving:
  • Nauwkeurigheidsgap: De voorgestelde methode vertoonde de kleinste nauwkeurigheidsgap tussen uitvoering in platte tekst en versleutelde uitvoering (29,3%), waarmee ze Chebyshev-3 (35,3%) en Chebyshev-5 (33,6%) overtrof.
  • Rekenefficiëntie: De veelterm van de tweede graad bood een aanzienlijk snelheidsvoordeel. De totale experimentele tijd voor de Kernel-multipolynoom bedroeg 1.864 seconden, terwijl Chebyshev-5 11.348 seconden vereiste (een vertragingfactor van ~109x). De methode behield een lage multiplicatieve diepte, waardoor de snelle ruisgroei die geassocieerd is met veeltermen van hogere graad in CKKS werd voorkomen.

5. Betekenis en Claims

Het artikel beweert dat de voorgestelde Kernel-multipolynoom-methode een robuuste en efficiënte oplossing vertegenwoordigt voor privacybehoudende inferentie in LLM's en DL-modellen. De betekenis hiervan ligt in:

• Het Overbruggen van de Kloof: Het overbrugt effectief de prestatiekloof tussen versleutelde en onversleutelde uitvoering, waardoor de implementatie van complexe modellen zoals Transformers in privacygevoelige NLP-omgevingen mogelijk wordt zonder de ernstige degradatie van nauwkeurigheid die wordt waargenomen bij approximaties van hogere graad.
• Optimale Afweging: De studie toont aan dat voor gladde, op kernel gebaseerde functies, veeltermen van lagere graad (specifiek graad 2) uitzonderlijk lage benaderingsfouten kunnen bereiken terwijl ze hoge classificienauwkeurigheid en lagere rekentkosten behouden. Dit daagt de aanname uit dat veeltermen van hogere graad inherent superieur zijn voor approximatie in HE-contexten.
• Praktische Haalbaarheid: Door de multiplicatieve diepte te minimaliseren, verlaagt de methode de "kosten van privacy" (latentie en ruisaccumulatie), waardoor het een levensvatbare kandidaat wordt voor toepassingen met hoge doorvoer en veilige inferentie.

De auteurs concluderen dat hoewel toekomstig werk adaptieve hybride modellen en hardwareversnelling kan verkennen, de huidige methode succesvol de kritieke uitdaging aanpakt van het integreren van niet-lineaire activatiefuncties in met Homomorf Versleuteling compatibele Deep Learning-pijplijnen.