💻 computer science

Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

Dieser Artikel stellt eine entscheidungsaware quadratische ReLU-Ersatzmethode für die Inferenz mit vollständig homomorpher Verschlüsselung (FHE) vor, die durch die Formulierung des Problems als lineare Trennungsaufgabe in einem erweiterten Raum eine Erhaltung der Entscheidungen auf dem Kalibrierungsdatensatz ohne Nachtraining erreicht und gleichzeitig die Inferenzgeschwindigkeit im Vergleich zu bestehenden polynomialen Approximationstechniken erheblich beschleunigt.

Ursprüngliche Autoren: Rui Li, Wenyuan Wu, Weijie Miao

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rui Li, Wenyuan Wu, Weijie Miao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Bild: Das Problem der „verschlossenen Kiste"

Stellen Sie sich vor, Sie haben eine sehr intelligente KI (ein neuronales Netz), die Ihnen sagen kann, ob eine E-Mail Spam ist oder nicht. Sie möchten Ihre private E-Mail an einen Server senden, um diese Antwort zu erhalten, vertrauen dem Server aber nicht mit Ihren Daten. Also verschließen Sie Ihre E-Mail in einer speziellen „magischen Kiste" (genannt Fully Homomorphic Encryption oder FHE).

Der Server kann die Kiste öffnen, Mathematik auf den verschlüsselten Daten durchführen und Ihnen eine verschlüsselte Antwort geben, ohne jemals die eigentliche E-Mail zu sehen. Das ist großartig für die Privatsphäre.

Das Problem: Die KI muss eine Entscheidung treffen wie „Ist diese Zahl positiv oder negativ?" (ein Schritt namens ReLU). In der realen Welt ist das einfach. Aber innerhalb der „magischen Kiste" kann der Server nur einfache Addition und Multiplikation durchführen. Er kann keine „wenn/dann"-Entscheidungen leicht treffen. Damit die KI innerhalb der Kiste funktioniert, ersetzen Wissenschaftler die Entscheidung normalerweise durch eine komplexe mathematische Kurve (ein Polynom hohen Grades).

Der alte Weg: Stellen Sie sich das so vor, als würden Sie versuchen, einen perfekten Kreis mit einem Lineal zu zeichnen. Sie müssen ein sehr langes, kompliziertes Lineal (ein Polynom hohen Grades) verwenden, um dem Kreis nahe genug zu kommen. Das kostet dem Server viel Zeit und Aufwand (Rechenleistung).

Die neue Idee: „Entscheidungsorientierter" Ersatz

Die Autoren dieses Papiers stellten eine andere Frage: Muss die Kurve an jedem einzelnen Punkt exakt wie die Entscheidung aussehen? Oder reicht es aus, wenn die endgültige Antwort dieselbe ist?

Die Analogie:
Stellen Sie sich vor, Sie navigieren durch ein Labyrinth.

Der alte Weg: Sie versuchen, den genauen Pfad der Labyrinthwände mit einem Stift nachzuzeichnen. Wenn Sie die Wand auch nur um ein winziges Stück verfehlen, denken Sie, Sie haben versagt. Sie benötigen einen sehr präzisen Stift (komplexe Mathematik).
Der neue Weg: Ihnen ist nur wichtig, den Ausgang zu erreichen. Wenn Sie einen etwas anderen Weg nehmen, der dennoch zum selben Ausgang führt, sind Sie zufrieden. Sie brauchen keinen komplexen Stift; ein einfacher, kurzer Pfad (eine quadratische Kurve niedrigen Grades) reicht aus, solange er Sie zur richtigen Tür bringt.

Das Papier nennt dies „Entscheidungsorientiert" (Decision-Aware). Anstatt zu versuchen, das interne „Denken" der KI (die Aktivierung) perfekt nachzuahmen, achten sie nur darauf, dass die endgültige „Ja/Nein"- oder „Klasse A/Klasse B"-Entscheidung für einen bestimmten Satz von Testdaten (der Kalibrierungsdatensatz) gleich bleibt.

Die Lösung: Der „quadratische" Abkürzungsweg

Die Autoren fanden heraus, dass eine einfache quadratische Gleichung (eine U-förmige Kurve, wie $x^2$ ) der „Sweet Spot" ist.

Sie ist einfach genug, damit die „magische Kiste" sie schnell verarbeiten kann.
Sie ist flexibel genug, um die KI zur richtigen endgültigen Entscheidung zu führen.

Sie entwickelten eine Methode, um die perfekten Einstellungen (Koeffizienten) für diese U-förmige Kurve zu finden. Sie behandeln das Problem wie ein geometrisches Spiel:

Der binäre Fall (Ja/Nein): Sie nehmen alle „Ja"-Beispiele und alle „Nein"-Beispiele und verwandeln sie in Punkte auf einer 2D-Karte. Wenn die „Ja"-Punkte und „Nein"-Punkte durch eine gerade Linie mit etwas Spielraum (einem positiven Rand) getrennt werden können, können sie mathematisch beweisen, dass eine einfache U-förmige Kurve perfekt funktioniert.
Die schwierigen Fälle: Manchmal sind die Punkte durcheinandergemischt, und man kann keine saubere Linie ziehen. In diesem Fall verwenden sie eine „weiche" Version der Mathematik (wie ein Gummiband), die ein paar chaotische Ausreißer ignoriert. Das ergibt ihnen eine „gut genug"-Kurve, die für fast alle Fälle funktioniert.

Die Ergebnisse: Schneller und genauso intelligent

Sie testeten dies an realen Aufgaben (wie Bilderkennung oder Textklassifizierung) unter Verwendung der „magischen Kiste" (FHE).

Genauigkeit: Ihre Methode behielt die Genauigkeit der KI fast exakt auf dem Niveau des ursprünglichen KI-Modells bei (und war viel besser als die alte „einfache Quadrat"-Methode).
Geschwindigkeit: Da ihre Kurve so einfach ist (nur eine U-Form), musste der Server nicht so viele schwere Berechnungen durchführen.
- Sie war 3,7 bis 4,1 Mal schneller bei dem spezifischen Schritt, bei dem die Entscheidung getroffen wird, im Vergleich zur bisherigen besten Methode (Remez-7).
- Der gesamte Prozess von Anfang bis Ende war 1,18 bis 1,68 Mal schneller.

Zusammenfassung

Stellen Sie sich dieses Papier als das Finden einer Abkürzung durch einen Wald vor.

Alte Methode: Sie versuchen, genau entlang des gewundenen Flusses (der komplexen mathematischen Kurve) zu gehen. Es ist präzise, aber langsam und anstrengend.
Neue Methode: Sie schauen, wohin der Fluss führt (die endgültige Entscheidung), und schneiden einen geraden Pfad durch die Bäume mit einer einfachen Kurve. Sie kommen am selben Ziel an, aber Sie erreichen es viel schneller und mit weniger Aufwand, während Sie Ihre Karte (Daten) weiterhin in einer verschlossenen Kiste versteckt halten.

Die Autoren haben auch eine kostenlose Softwarebibliothek namens QUAD4FHE veröffentlicht, damit andere diese Abkürzung nutzen können.

Technischer Zusammenfassung: Entscheidungsorientierter quadratischer ReLU-Ersatz für HE-freundliche Inferenz

Problemstellung
Fully Homomorphic Encryption (FHE) ermöglicht privatsphäreschonende Inferenz neuronaler Netze, indem Berechnungen auf verschlüsselten Daten ohne Entschlüsselung erlaubt werden. FHE unterstützt jedoch nativ nur Additionen und Multiplikationen, was nichtlineare Aktivierungsfunktionen wie ReLU ( $\max\{0, u\}$ ) rechnerisch teuer macht. Bestehende rein FHE-basierte Ansätze ersetzen ReLU typischerweise durch Polynome hohen Grades (z. B. Remez- oder Tschebyschow-Approximationen), die über empirische Aktivierungsbereiche angepasst werden. Während diese Methoden Vergleiche vermeiden, erfordern sie oft Polynome hohen Grades, um den Approximationsfehler zu kontrollieren, was zu einer erhöhten multiplikativen Tiefe, Reskalierungsoperationen und Latenz führt. Darüber hinaus optimieren diese Methoden die lokale punktweise Approximationsgenauigkeit statt des globalen Klassifikationsziels: die Erhaltung der endgültigen Top-1-Logit-Reihenfolge.

Methodik
Die Autoren schlagen ein entscheidungsorientiertes Framework vor, das ReLU durch ein gemeinsames Polynom zweiten Grades ( $q(u) = \alpha u^2 + \beta u + \eta$ ) ersetzt, ohne das Modell neu zu trainieren. Die Kernidee besteht darin, dass für ein trainiertes ReLU-Multi-Layer-Perceptron (MLP) mit einer einzigen versteckten Schicht oder einen MLP-Kopf auf eingefrorenen Merkmalen die endgültige Entscheidung von der Reihenfolge der Logits abhängt. Daher muss das Ersatzpolynom ReLU nicht punktweise approximieren; es muss lediglich die relative Reihenfolge der endgültigen Scores auf einem deklarierten Kalibrierungsdatensatz erhalten.

Die Methodik verläuft in zwei Phasen:

Offline-Koeffizientenkonstruktion: Gegeben ein trainiertes Modell und ein Kalibrierungsdatensatz formulieren die Autoren die Suche nach Koeffizienten $(\alpha, \beta, \eta)$ $(α, β, η)$ als geometrisches Machbarkeitsproblem.
- Binärer Fall: Das Problem wird auf das Finden eines positiven Rand-Hyperebenen-Trenners zwischen zwei gehobenen konvexen Hüllen in einem 2D-Raum reduziert, definiert durch die Statistiken $Q(x) = \sum a_j y_j(x)^2$ und $H(x) = \sum a_j y_j(x) + b$ . Wenn die Hüllen disjunkt sind, ist ein exakter, kalibrierungsverlustfreier Ersatz möglich. Die optimalen Koeffizienten werden aus dem nächsten Punktpaar zwischen den Hüllen abgeleitet.
- Multiklassen-Fall: Die Bedingung wird zur strikten Machbarkeit paarweiser affiner Logit-Rand-Ungleichungen.
- Relaxierungen: Wenn eine exakte Trennung fehlschlägt (aufgrund falsch klassifizierter Proben oder kleiner Ränder), setzen die Autoren Reduzierte Konvexe Hüllen (RCH) und Lagrange-duale Soft-Margin-Relaxierungen ein. Diese Techniken begrenzen den Einfluss einzelner Proben (via eines Parameters $\mu$ ) oder führen Schlupfvariablen ein, wodurch das Problem in konvexe quadratische Programme (QP) umgewandelt wird, die annähernd machbare Koeffizienten mit hoher empirischer Übereinstimmung liefern.
Online-Inferenz: Der Server bewertet die resultierende polynomielle arithmetische Schaltung auf verschlüsselten Eingaben. Der quadratische Ersatz erfordert nur eine Chiffretext-Chiffretext-Multiplikation pro Aktivierung, was die multiplikative Tiefe im Vergleich zu Alternativen höheren Grades erheblich reduziert.

Hauptbeiträge

Entscheidungsorientierte Formulierung: Die Arbeit verschiebt das Ziel von der Minimierung des lokalen Aktivierungsfehlers hin zur Maximierung der Übereinstimmung der Logit-Reihenfolge im Kalibrierungsdatensatz. Dies ermöglicht die Verwendung eines Polynoms zweiten Grades, selbst wenn es eine schlechte punktweise Approximation von ReLU darstellt, sofern es die endgültigen Klassifikationsentscheidungen erhält.
Exakte Theorie endlicher Stichproben: Für binäre Klassifikatoren stellen die Autoren notwendige und hinreichende Bedingungen für einen kalibrierungsverlustfreien Ersatz auf Basis der positiven Rand-Trennbarkeit gehobener konvexer Hüllen auf. Dies liefert einen konstruktiven Algorithmus mit $O(n \log n)$ -Komplexität zur Findung von Koeffizienten und ein Zertifikat für die Quantisierungstoleranz.
Geometrische Relaxierungen: Für Fälle, in denen eine exakte Trennung unmöglich ist, führt die Arbeit RCH- und Soft-Margin-Relaxierungen ein, die die exakte Theorie kontinuierlich erweitern. Diese Methoden bieten praktische Surrogate mit expliziten Diagnosen (Ränder, Schlupfvariablen, Übereinstimmungsraten) anstatt eine exakte Erhaltung zu behaupten, wo sie nicht zertifiziert werden kann.
Implementierung und Validierung: Die Autoren implementierten die Pipeline in der Open-Source-Bibliothek QUAD4FHE. Sie validierten den Ansatz auf diversen Datensätzen (tabellarisch, Vision, Text) unter Verwendung sowohl roher Merkmale als auch eingefrorener Repräsentationen (DINOv2, Qwen3).

Ergebnisse

Genauigkeit: Unter dem CKKS-Schema entspricht der quadratische Ersatz der Top-1-Genauigkeit im Klartext des ursprünglichen ReLU-Modells auf mehreren Benchmarks (z. B. Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE). In vielen Multiklassen-Aufgaben übertrifft er oder entspricht starken Baselines wie OLA und Precise Approximation, trotz Verwendung eines Polynoms niedrigeren Grades.
Effizienz: Der quadratische Ersatz läuft im Aktivierungsmodul 3,7–4,1-mal schneller und 1,18–1,68-mal schneller end-to-end im Vergleich zu Remez-7 (eine Baseline hohen Grades). Dies wird erreicht, weil die Schaltung zweiten Grades in eine flachere multiplikative Tiefe passt (Tiefe 4 vs. Tiefe 5 für Remez-7), was eine effizientere Koeffizienten-Modulus-Kette und reduzierten Reskalierungs-Overhead ermöglicht.
Robustheit: Die Methode bleibt effektiv, selbst wenn der Kalibrierungspool klein ist (so wenig wie 1–5 % des Datensatzes), und bewältigt eingefrorene Merkmalsextraktoren effektiv.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass durch die Umformulierung des ReLU-Ersatzes als Entscheidungs-Erhaltungsproblem statt als Funktionsapproximationsproblem eine hochgenaue FHE-Inferenz mit minimalem Rechenaufwand erreichbar ist. Die Bedeutung liegt darin, zu demonstrieren, dass ein Polynom zweiten Grades für hochgenaue verschlüsselte Inferenz ausreicht, wenn es über ein entscheidungsorientiertes geometrisches Framework gewählt wird, wodurch die Latenzstrafen vermieden werden, die mit Polynomen höheren Grades verbunden sind. Die Autoren betonen, dass ihre Garantien auf den deklarierten Kalibrierungsdatensatz beschränkt sind und keine verteilungsfreien Garantien für ungesehene Eingaben bieten, aber die empirischen Ergebnisse zeigen eine starke Generalisierung auf Testdatensätze. Die Arbeit bietet einen mathematisch transparenten Weg zur Optimierung des Kompromisses zwischen Genauigkeit und Latenz bei rein FHE-basierter neuronaler Inferenz.