💻 computer science

Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

Dieser Beitrag schlägt eine kernelbasierte Approximation der ReLU-Aktivierungsfunktion mittels eines Polynoms zweiten Grades vor, um den Einsatz von Large Language Models in Homomorphic-Encryption-Frameworks zu ermöglichen und damit eine sichere und datenschutzkonforme Inferenz ohne Entschlüsselung zu erleichtern.

Ursprüngliche Autoren: Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dimitrios Sygletos, Dimitra Papatsaroucha, Marios Choudetsanakis, Ilias Politis, Evangelos K. Markakis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten eine geheime Nachricht an einen Freund senden, aber dem Briefträger nicht vertrauen. Also legen Sie Ihre Nachricht in einen verschlossenen Kasten (Verschlüsselung) und senden ihn. Das Problem ist: Ihr Freund muss die Nachricht lesen, um etwas damit zu tun, kann den Kasten aber ohne Schlüssel nicht öffnen, und wenn er ihn öffnet, ist das Geheimnis gelüftet.

Homomorphe Verschlüsselung (HE) ist wie ein magischer verschlossener Kasten. Sie ermöglicht es Ihrem Freund, Berechnungen innerhalb des verschlossenen Kastens durchzuführen, ohne ihn jemals zu öffnen. Er kann Zahlen addieren oder multiplizieren, und das Ergebnis im Inneren des Kastens ist korrekt, wenn er ihn schließlich öffnet. Dies ist ein großer Durchbruch für die Privatsphäre, insbesondere für Künstliche Intelligenz (KI), denn es bedeutet, dass ein Unternehmen Ihre privaten Daten (wie Ihre Gesundheitsakten oder private Chats) analysieren kann, ohne jemals die Rohdaten selbst zu sehen.

Allerdings gibt es einen Haken. Der magische verschlossene Kasten versteht nur Addition und Multiplikation. Er versteht kein „Denken" oder „Entscheiden".

Das Problem: Das „ReLU"-Tor

Deep-Learning-Modelle (die Gehirne hinter moderner KI wie Chatbots) verlassen sich auf einen speziellen Schalter namens ReLU (Rectified Linear Unit). Stellen Sie sich ReLU als Türsteher in einem Club vor:

Wenn eine Zahl positiv ist (ein VIP), lässt der Türsteher sie passieren.
Wenn eine Zahl negativ ist (kein VIP), stoppt der Türsteher sie vollständig (setzt sie auf Null).

Dieses „Türsteher"-Verhalten ist für KI essenziell, um komplexe Muster zu lernen. Da der Türsteher jedoch eine „Stopp-oder-Geh"-Entscheidung treffen muss, handelt es sich um eine nichtlineare, gezackte Funktion. Der magische verschlossene Kasten (HE) kann diese gezackte Entscheidungsfindung nicht bewältigen, da er nur glatte, einfache Mathematik (Addieren und Multiplizieren) mag.

Die Lösung: Ein glatter „falscher" Türsteher

Die Autoren dieses Papers wollten den gezackten Türsteher durch einen glatten, höflichen Ersatz ersetzen, den der verschlossene Kasten versteht, der sich aber exakt wie der ursprüngliche Türsteher verhält.

Sie verwendeten ein zweistufiges Rezept:

Schritt 1: Der „Smoothie"-Hersteller (Kernel-Näherung)
Zuerst stellten sie fest, dass der Versuch, den gezackten Türsteher direkt zu approximieren, chaotisch ist. Daher verwendeten sie eine „Kernel"-Methode (ein mathematisches Werkzeug, das Dinge glättet), um den gezackten ReLU in einen glatten, gekrümmten Hügel zu verwandeln. Stellen Sie sich vor, Sie nehmen einen gezackten Felsen und schleifen ihn zu einem glatten, runden Kieselstein ab. Dieser Kieselstein sieht aus der Ferne immer noch wie der Felsen aus, ist aber viel einfacher zu handhaben.
Schritt 2: Der einfache mathematische Trick (Polynomregression)
Jetzt, da sie einen glatten Hügel hatten, mussten sie ihn ausschließlich mit Addition und Multiplikation beschreiben. Sie probierten verschiedene Komplexitätsstufen aus:
- Niedriger Grad (Einfach): Eine einfache Kurve (wie eine Parabel).
- Hoher Grad (Komplex): Eine sehr gewellte, komplizierte Kurve mit vielen Wendungen.
Die Überraschung: Sie erwarteten, dass die komplexen, gewellten Kurven genauer sein würden. Stattdessen stellten sie fest, dass die einfache Kurve zweiten Grades (eine einfache U-Form) tatsächlich die Gewinnerin war.
- Warum? Die komplexen Kurven waren zu „zitterig". In der Welt der verschlüsselten Mathematik führt das Hinzufügen zu vieler Wendungen dazu, dass sich „Rauschen" (Störungen) aufbaut, das schließlich das Signal übertönt. Es ist, als würde man versuchen, ein Geheimnis durch einen langen, gewundenen Tunnel zu flüstern; wenn der Tunnel zu gewunden ist, geht der Klang verloren. Die einfache Kurve hielt die Nachricht klar und die Mathematik schnell.

Was sie testeten

Die Forscher beschränkten sich nicht nur auf Papier. Sie testeten ihren „glatten Türsteher" in realen Szenarien:

Auf Daten: Sie fütterten ihn mit echten Textdaten aus vortrainierten KI-Modellen (wie RoBERTa und DistilBERT), um zu sehen, ob er das Verhalten des ursprünglichen Türstehers nachahmen konnte.
Auf KI-Modellen: Sie ersetzten den echten ReLU durch ihren neuen „glatten Türsteher" in verschiedenen Arten von KI-Gehirnen (einfache Netzwerke, Bilderkennungsmodelle und komplexe Transformer).
Im verschlossenen Kasten: Sie führten alles innerhalb des verschlüsselten Kastens der homomorphen Verschlüsselung aus, um zu sehen, wie schnell es war und wie genau die Ergebnisse blieben.

Die Ergebnisse

Genauigkeit: Ihr einfacher, glatter Türsteher war fast so gut wie das Original und deutlich besser als andere „glatte" Versuche aus früheren Forschungen.
Geschwindigkeit: Da ihre Lösung mathematisch einfach war, war sie unglaublich schnell. Andere Methoden, die komplexe Kurven hohen Grades verwendeten, waren im verschlüsselten verschlossenen Kasten bis zu 100-mal langsamer.
Privatsphäre: Sie bewiesen erfolgreich, dass Sie komplexe KI-Aufgaben auf verschlüsselten Daten ausführen können, ohne viel Genauigkeit zu verlieren, sofern Sie die richtige Art einfacher Mathematik verwenden.

Das Fazit

Dieses Paper stellt einen cleveren Weg vor, KI privatsphärefreundlich zu machen. Indem sie die „Türsteher"-Funktion glätteten und durch eine einfache Kurve mit geringer Komplexität ersetzten, ermöglichten sie es der KI, innerhalb eines verschlossenen Kastens zu arbeiten, ohne das Schloss zu brechen oder den Prozess zu verlangsamen. Es ist eine Erinnerung daran, dass manchmal die einfachste Lösung die mächtigste ist.

Technische Zusammenfassung: Kernel-basierte ReLU-Approximation für Homomorph-Verschlüsselungs-kompatible, datenschutzkonforme Deep-Learning-Modelle

1. Problemstellung

Die weit verbreitete Einführung von Large Language Models (LLMs) und Deep Learning (DL) hat Bedenken hinsichtlich des Datenschutzes verschärft, insbesondere im Hinblick auf die Verarbeitung sensibler Benutzerdaten (z. B. Gesundheitsinformationen) in unverschlüsselten Formen. Homomorphe Verschlüsselung (HE), insbesondere Schemata wie CKKS, bietet eine Lösung, indem sie Berechnungen auf verschlüsselten Daten ohne Entschlüsselung ermöglicht. HE ist jedoch grundlegend auf Additions- und Multiplikationsoperationen beschränkt. Dies führt zu einer kritischen Inkompatibilität mit Standard-DL-Architekturen, die stark auf nichtlineare Aktivierungsfunktionen wie die Rectified Linear Unit (ReLU) angewiesen sind.

Die ReLU-Funktion, definiert als $ReLU(x) = \max(0, x)$ , ist nicht glatt (an der Null nicht differenzierbar). Die direkte Approximation einer solchen nicht glatten Funktion durch Polynome niedrigen Grades – erforderlich, um die multiplikative Tiefe in HE zu minimieren – führt zu erheblichen Approximationsfehlern. Bestehende Methoden, wie die $x^2$ -Funktion oder Polynome höheren Grades nach Chebyshev, erfassen entweder das Nullsetzen für negative Eingaben nicht oder führen bei der Bereitstellung in verschlüsselten Umgebungen zu prohibitiven Rechenkosten und Instabilität (z. B. Runge-Phänomen).

2. Methodik

Der Artikel schlägt eine zweistufige Kernel-basierte ReLU-Approximation vor, die entwickelt wurde, um ein HE-kompatibles Polynom zweiten Grades zu erzeugen, das das ReLU-Verhalten mit hoher Genauigkeit und geringer multiplikativer Tiefe nachahmt.

Glättung durch Kernel-Regression: Um die Nicht-Glattheit von ReLU zu adressieren, transformieren die Autoren die Funktion zunächst mittels einer Kernel-Methode in eine glatte Approximation. Konkret verwenden sie den hyperbolischen Tangens-Kernel ( $k(x, x') = \tanh(\langle x, x' \rangle + 1)$ ), der auf Eingabedaten trainiert wird. Dieser Schritt nutzt das Prinzip aus, dass glattere Funktionen durch Polynome genauer approximiert werden können, wie durch den Satz von Jackson gestützt.
Polynom-Anpassung: Die Ausgabe der trainierten Kernel-Funktion wird anschließend mittels einer gewöhnlichen Kleinst-Quadrate-Regression (OLS) durch ein Polynom zweiten Grades ( $p(x) = a_0 + a_1x + a_2x^2$ ) approximiert.
Datenquelle: Die Methode wird direkt auf Token-Einbettungen trainiert und bewertet, die aus vortrainierten LLMs (RoBERTa und DistilBERT) unter Verwendung des Stanford Sentiment Treebank (SST-2)-Datensatzes extrahiert wurden. Dies stellt sicher, dass die Approximation auf realen NLP-Daten basiert und nicht auf synthetischen Verteilungen.
Auswahl des Grades: Die Autoren evaluierten systematisch Polynomgrade von 2 bis 5. Sie stellten fest, dass höhere Grade zwar theoretisch eine bessere Anpassung bieten, jedoch Instabilität und exponentiell höhere Fehlerraten in verschlüsselten Domänen einführen, bedingt durch die erhöhte multiplikative Tiefe und das Noise-Wachstum im CKKS-Schema. Folglich wurde das Polynom zweiten Grades als optimaler Kompromiss zwischen Genauigkeit und Recheneffizienz ausgewählt.

Das resultierende finale Polynom lautet:
$p(x) = 0.082261 + 0.495588x + 0.444488x^2$

3. Hauptbeiträge

Eine neue Approximationsstrategie: Die Einführung einer Kernel-basierten Glättungstechnik gefolgt von einer Anpassung durch Polynome niedrigen Grades, speziell zugeschnitten auf HE-Beschränkungen.
Validierung in der realen Welt: Im Gegensatz zu früheren Arbeiten, die oft auf synthetischen Daten oder einer indirekten Bewertung über Klassifikationsgenauigkeit basieren, wird diese Methode auf tatsächlichen Token-Einbettungen aus vortrainierten LLMs trainiert und evaluiert.
Umfassendes Benchmarking: Die vorgeschlagene Methode wird rigoros mit etablierten Approximationen verglichen, einschließlich $x^2$ , FasterCryptoNets und Chebyshev-Polynomen (Grade 3 und 5), über mehrere Dimensionen hinweg: Approximationsfehler (MSE), Modellgenauigkeit (FeedForward, CNN, ViT) und Rechenkosten.

4. Ergebnisse

Die Evaluation wurde über sechs experimentelle Szenarien hinweg durchgeführt, die sowohl Klartext- als auch verschlüsselte (CKKS) Umgebungen abdecken:

Approximationsgenauigkeit: Die Kernel-Polynom-Methode erzielte sowohl in Klartext- als auch in verschlüsselten Umgebungen den niedrigsten mittleren quadratischen Fehler (MSE) von 0,056862 im Vergleich zu Polynomen höheren Grades, die eine signifikante Instabilität aufwiesen (z. B. MSE > 390 für Grad 5). In Tests mit strukturierten Daten unter Verwendung von RoBERTa- und DistilBERT-Einbettungen behielt die vorgeschlagene Methode einen MSE von 0,002 bei und übertraf dabei $x^2$ und FasterCryptoNets.
Modellleistung:
- DL-Modelle: In FeedForward- und CNN-Architekturen auf dem MNIST-Datensatz erreichte das Kernel-Polynom jeweils 99 % bzw. 99,2 % Genauigkeit, was mit der des am besten abschneidenden FasterCryptoNets (99,3 %) vergleichbar ist oder leicht darunter liegt.
- Transformer: Auf der ViT-Architektur mit CIFAR-10 und CIFAR-100 zeigte die Methode eine starke Generalisierungsfähigkeit und erreichte auf CIFAR-100 eine Genauigkeit von 38,5 % (die höchste unter den getesteten Methoden), wohingegen Approximationen höheren Grades wie Chebyshev-5 eine geringere Leistung zeigten.
Leistung in verschlüsselter Umgebung:
- Genauigkeitslücke: Die vorgeschlagene Methode wies die kleinste Genauigkeitslücke zwischen Klartext- und verschlüsselter Ausführung auf (29,3 %) und übertraf dabei Chebyshev-3 (35,3 %) und Chebyshev-5 (33,6 %).
- Recheneffizienz: Das Polynom zweiten Grades bot einen erheblichen Geschwindigkeitsvorteil. Die gesamte Experimentierzeit für das Kernel-Polynom betrug 1.864 Sekunden, wohingegen Chebyshev-5 11.348 Sekunden benötigte (ein Verlangsamungsfaktor von ca. 109x). Die Methode behielt eine geringe multiplikative Tiefe bei und verhinderte so das schnelle Noise-Wachstum, das mit Polynomen höheren Grades in CKKS verbunden ist.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass die vorgeschlagene Kernel-Polynom-Methode eine robuste und effiziente Lösung für datenschutzkonforme Inferenz in LLMs und DL-Modellen darstellt. Ihre Bedeutung liegt in:

Überbrückung der Lücke: Sie überbrückt effektiv die Leistungslücke zwischen verschlüsselter und unverschlüsselter Ausführung und ermöglicht den Einsatz komplexer Modelle wie Transformer in datenschutzsensiblen NLP-Umgebungen ohne die bei Approximationen höheren Grades beobachtete starke Genauigkeitsverschlechterung.
Optimaler Kompromiss: Die Studie zeigt, dass für glatte, Kernel-basierte Funktionen Polynome niedrigen Grades (speziell Grad 2) außergewöhnlich niedrige Approximationsfehler erreichen können, während sie gleichzeitig eine hohe Klassifikationsgenauigkeit und geringere Rechenkosten aufrechterhalten. Dies stellt die Annahme in Frage, dass Polynome höheren Grades für Approximationen in HE-Kontexten inhärent überlegen sind.
Praktische Machbarkeit: Durch die Minimierung der multiplikativen Tiefe reduziert die Methode die „Kosten des Datenschutzes" (Latenz und Noise-Akkumulation) und macht sie zu einem viablen Kandidaten für hochdurchsatzfähige, sichere Inferenzanwendungen.

Die Autoren kommen zu dem Schluss, dass zukünftige Arbeiten adaptive hybride Modelle und Hardware-Beschleunigung erforschen mögen, die aktuelle Methode jedoch die kritische Herausforderung der Integration nichtlinearer Aktivierungsfunktionen in Homomorph-Verschlüsselungs-kompatible Deep-Learning-Pipelines erfolgreich adressiert.