💻 computer science

Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

Dit artikel stelt een besluitbewuste kwadratische ReLU-vervanging voor Fully Homomorphic Encryption (FHE)-inferentie voor die, door het probleem te formuleren als een lineaire scheidingsopgave in een verheven ruimte, behoud van beslissingen op de kalibratie-set bereikt zonder hertraining, terwijl het de inferentiesnelheid aanzienlijk versnelt in vergelijking met bestaande polynoombenaderingstechnieken.

Oorspronkelijke auteurs: Rui Li, Wenyuan Wu, Weijie Miao

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rui Li, Wenyuan Wu, Weijie Miao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het Probleem van de "Vergrendelde Doos"

Stel je hebt een zeer slimme AI (een neurale netwerken) die kan vertellen of een e-mail spam is of niet. Je wilt je privé-e-mail naar een server sturen om dit antwoord te krijgen, maar je vertrouwt de server met je gegevens niet. Dus vergrendel je je e-mail in een speciale "magische doos" (genaamd Fully Homomorphic Encryption of FHE).

De server kan de doos openen, wiskunde doen op de vergrendelde gegevens en je een vergrendeld antwoord geven, allemaal zonder de daadwerkelijke e-mail ooit te zien. Dit is geweldig voor privacy.

Het Probleem: De AI moet een beslissing nemen zoals "Is dit getal positief of negatief?" (een stap genaamd ReLU). In de echte wereld is dit makkelijk. Maar binnen de "magische doos" kan de server alleen eenvoudige optelling en vermenigvuldiging doen. Het kan niet makkelijk "if/then"-beslissingen nemen. Om de AI binnen de doos te laten werken, vervangen wetenschappers de beslissing meestal door een complexe wiskundige kromme (een polynoom van hoge graad).

De Oude Manier: Denk hieraan als het proberen om een perfecte cirkel te tekenen met een liniaal. Je moet een zeer lange, ingewikkelde liniaal gebruiken (een polynoom van hoge graad) om dicht genoeg bij een cirkel te komen. Dit kost veel tijd en moeite (rekenkracht) voor de server.

Het Nieuwe Idee: "Decision-Aware" Vervanging

De auteurs van dit artikel stelden een andere vraag: Moet de kromme op elk enkel punt exact lijken op de beslissing? Of hebben we alleen maar nodig dat het eindantwoord hetzelfde is?

De Analogie:
Stel je voor dat je door een doolhof navigeert.

De Oude Manier: Je probeert het exacte pad van de doolhofmuren met een pen na te trekken. Als je de muur een heel klein beetje mist, denk je dat je gefaald hebt. Je hebt een zeer precieze pen nodig (complexe wiskunde).
De Nieuwe Manier: Je geeft alleen om het bereiken van de uitgang. Als je een iets ander pad neemt dat toch naar dezelfde uitgang leidt, ben je blij. Je hebt geen complexe pen nodig; een eenvoudig, kort pad (een kwadratische kromme van lage graad) is genoeg, zolang het je maar naar de juiste deur brengt.

Het artikel noemt dit "Decision-Aware". In plaats van te proberen het interne "denken" van de AI (de activatie) perfect na te bootsen, geven ze alleen om het feit dat de uiteindelijke "Ja/Nee"- of "Klasse A/Klasse B"-beslissing hetzelfde blijft voor een specifieke set testgegevens (de kalibratieset).

De Oplossing: De "Kwadratische" Afkorting

De auteurs ontdekten dat een eenvoudige kwadratische vergelijking (een U-vormige kromme, zoals $x^2$ ) het "sweet spot" is.

Het is simpel genoeg voor de "magische doos" om snel mee om te gaan.
Het is flexibel genoeg om de AI naar het juiste eindantwoord te leiden.

Ze ontwikkelden een methode om de perfecte instellingen (coëfficiënten) voor deze U-vormige kromme te vinden. Ze behandelen het probleem als een geometrisch spel:

Het Binaire Geval (Ja/Nee): Ze nemen alle "Ja"-voorbeelden en alle "Nee"-voorbeelden en zetten ze om in punten op een 2D-kaart. Als de "Ja"-punten en "Nee"-punten gescheiden kunnen worden door een rechte lijn met een beetje ademruimte (een positieve marge), kunnen ze wiskundig bewijzen dat een eenvoudige U-vormige kromme perfect zal werken.
De Moeilijke Gevallen: Soms zijn de punten door elkaar gehusseld en kun je geen schone lijn trekken. In dit geval gebruiken ze een "zachte" versie van de wiskunde (zoals een elastiek) die een paar rommelige uitschieters negeert. Dit geeft hen een "goed genoeg" kromme die werkt voor bijna alle gevallen.

De Resultaten: Sneller en Even Slim

Ze testten dit op real-world taken (zoals het herkennen van afbeeldingen of het classificeren van tekst) met behulp van de "magische doos" (FHE).

Nauwkeurigheid: Hun methode behield de nauwkeurigheid van de AI bijna exact hetzelfde als de originele AI (en veel beter dan de oude "eenvoudige vierkant"-methode).
Snelheid: Omdat hun kromme zo simpel is (alleen een U-vorm), hoefde de server niet zo zware berekeningen te doen.
- Het was 3,7 tot 4,1 keer sneller bij de specifieke stap waar de beslissing wordt genomen, vergeleken met de vorige beste methode (Remez-7).
- Het hele proces van begin tot eind was 1,18 tot 1,68 keer sneller.

Samenvatting

Zie dit artikel als het vinden van een afkorting door een bos.

Oude Methode: Je probeert precies langs de kronkelende rivier te lopen (de complexe wiskundige kromme). Het is precies, maar traag en vermoeiend.
Nieuwe Methode: Je kijkt waar de rivier naartoe leidt (de uiteindelijke beslissing) en hakkt een rechte pad door de bomen met een eenvoudige kromme. Je komt op dezelfde bestemming aan, maar je komt er veel sneller en met minder moeite, terwijl je je kaart (gegevens) verborgen houdt in een vergrendelde doos.

De auteurs hebben ook een gratis softwarebibliotheek uitgebracht genaamd QUAD4FHE zodat anderen deze afkorting kunnen gebruiken.

Technische Samenvatting: Beslissingsbewuste Quadratische ReLU-vervanging voor HE-vriendelijke Inferentie

Probleemstelling
Volledig Homomorf Versleuteling (FHE) maakt privacybehoudende neurale netwerkinferentie mogelijk door berekeningen op versleutelde data zonder decryptie toe te staan. FHE ondersteunt echter van nature alleen optellingen en vermenigvuldigingen, waardoor niet-lineaire activatiefuncties zoals ReLU ( $\max\{0, u\}$ ) rekenkundig duur zijn. Bestaande FHE-only benaderingen vervangen ReLU doorgaans door polynomen van hoge graad (bijvoorbeeld Remez- of Chebyshev-benaderingen) die zijn aangepast aan empirische activatie-intervallen. Hoewel deze methoden vergelijkingen vermijden, vereisen ze vaak polynomen van hoge graad om de benaderingsfout te beheersen, wat leidt tot een toename van de multiplicatieve diepte, herschaaloperaties en latentie. Bovendien optimaliseren deze methoden voor lokale puntsgewijze benaderingsnauwkeurigheid in plaats van voor het globale classificatiedoel: het behoud van de volgorde van de top-1 logits.

Methodologie
De auteurs stellen een beslissingsbewust kader voor dat ReLU vervangt door een gedeeld kwadratisch polynoom van lage graad ( $q(u) = \alpha u^2 + \beta u + \eta$ ) zonder het model opnieuw te trainen. Het kerninzicht is dat voor een getraind ReLU Multi-Layer Perceptron (MLP) met één verborgen laag of een MLP-kop op bevroren kenmerken, de uiteindelijke beslissing afhangt van de volgorde van de logits. Het vervangende polynoom hoeft ReLU dus niet puntsgewijs te benaderen; het moet alleen de relatieve volgorde van de uiteindelijke scores op een gedeclareerde kalibratieset behouden.

De methodologie verloopt in twee fasen:

Offline Coëfficiëntenconstructie: Gegeven een getraind model en een kalibratieset, formuleren de auteurs het zoeken naar coëfficiënten $(\alpha, \beta, \eta)$ $(α, β, η)$ als een geometrisch haalbaarheidsprobleem.
- Binair Geval: Het probleem wordt gereduceerd tot het vinden van een positieve-marge hypervlakseparator tussen twee opgeheven convexe omhulsels in een 2D-ruimte gedefinieerd door statistieken $Q(x) = \sum a_j y_j(x)^2$ en $H(x) = \sum a_j y_j(x) + b$ . Als de omhulsels disjunct zijn, is een exacte, verliesvrije vervanging mogelijk. De optimale coëfficiënten worden afgeleid uit het dichtste paar punten tussen de omhulsels.
- Multiclas Geval: De voorwaarde wordt de strikte haalbaarheid van paarsgewijze affiene logit-marge-ongelijkheden.
- Relaxaties: Wanneer exacte scheiding faalt (door verkeerd geclassificeerde samples of kleine marges), maken de auteurs gebruik van Gereduceerde Convexe Omhulsels (RCH) en Lagrangiaanse-dual soft-margin relaxaties. Deze technieken beperken de invloed van individuele samples (via een parameter $\mu$ ) of introduceren slackvariabelen, waardoor het probleem wordt omgezet in convexe kwadratische programma's (QP's) die ongeveer haalbare coëfficiënten opleveren met een hoge empirische overeenstemming.
Online Inferentie: De server evalueert het resulterende gepolynomeerde arithmetische circuit op versleutelde invoer. De kwadratische vervanging vereist slechts één ciphertext-ciphertext vermenigvuldiging per activatie, wat de multiplicatieve diepte aanzienlijk verlaagt in vergelijking met alternatieven van hogere graad.

Belangrijkste Bijdragen

Beslissingsbewuste Formulering: Het artikel verschuift het doel van het minimaliseren van lokale activatiefouten naar het maximaliseren van de overeenstemming in de logit-volgorde op de kalibratieset. Dit maakt het gebruik van een polynoom van graad 2 mogelijk, zelfs als dit een slechte puntsgewijze benadering van ReLU is, mits het de uiteindelijke classificatiebeslissingen behoudt.
Exacte Theorie voor Eindige Steekproeven: Voor binaire classifiers stellen de auteurs noodzakelijke en voldoende voorwaarden vast voor een verliesvrije vervanging op basis van de positieve-marge scheidbaarheid van opgeheven convexe omhulsels. Dit biedt een constructief algoritme met $O(n \log n)$ complexiteit voor het vinden van coëfficiënten en een certificaat voor quantisatietolerantie.
Geometrische Relaxaties: Voor gevallen waarin exacte scheiding onmogelijk is, introduceert het artikel RCH en soft-margin relaxaties die de exacte theorie continu uitbreiden. Deze methoden bieden praktische surrogaten met expliciete diagnostiek (marges, slacks, overeenstemmingspercentages) in plaats van exacte behoud te claimen waar dit niet kan worden gecertificeerd.
Implementatie en Validatie: De auteurs hebben de pijplijn geïmplementeerd in de open-source QUAD4FHE bibliotheek. Ze hebben de benadering gevalideerd op diverse datasets (tabellen, visie, tekst) met zowel ruwe kenmerken als bevroren representaties (DINOv2, Qwen3).

Resultaten

Nauwkeurigheid: Onder het CKKS-schema komt de kwadratische vervanging overeen met de plaintext top-1 nauwkeurigheid van het originele ReLU-model op meerdere benchmarks (bijvoorbeeld Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE). In veel multiclas-taken presteert het beter dan of gelijk aan sterke baselines zoals OLA en Precise Approximation, ondanks het gebruik van een polynoom van lagere graad.
Efficiëntie: De kwadratische vervanging is 3,7–4,1× sneller in de activatiemodule en 1,18–1,68× sneller end-to-end in vergelijking met Remez-7 (een baseline van hoge graad). Dit wordt bereikt omdat het circuit van graad 2 past binnen een ondiepere multiplicatieve diepte (diepte 4 versus diepte 5 voor Remez-7), wat een efficiëntere coëfficiënt-modulusketen en verminderde overhead voor herschaling mogelijk maakt.
Robuustheid: De methode blijft effectief zelfs wanneer de kalibratiepool klein is (zoveel als 1–5% van de dataset) en werkt effectief met bevroren kenmerkextractoren.

Betekenis en Claims
Het artikel beweert dat door ReLU-vervanging te herformuleren als een probleem van behoud van beslissingen in plaats van een functiebenaderingsprobleem, hoge-nauwkeurige FHE-inferentie met minimale rekenkundige overhead haalbaar is. De betekenis ligt in het aantonen dat een polynoom van graad 2 voldoende is voor hoogtrouw versleutelde inferentie wanneer deze wordt gekozen via een beslissingsbewust geometrisch kader, waardoor de latentieboetes die gepaard gaan met polynomen van hogere graad worden vermeden. De auteurs benadrukken dat hun garanties zijn beperkt tot de gedeclareerde kalibratieset en geen distributie-vrije garanties bieden voor ongezette invoer, maar de empirische resultaten tonen sterke generalisatie naar testsets. Het werk biedt een wiskundig transparant pad om de afweging tussen nauwkeurigheid en latentie in FHE-only neurale inferentie te optimaliseren.