🤖 machine learning

Power-Softmax: Towards Secure LLM Inference over Encrypted Data

Dieser Beitrag stellt „Power-Softmax" vor, eine neuartige HE-freundliche Variante der Selbstattention, die das Training der ersten milliardenparametrigen polynomialen LLMs ermöglicht, die eine sichere Inferenz über verschlüsselte Daten unterstützen und gleichzeitig Schlussfolgerungs- sowie Kontextlernfähigkeiten aufweisen, die mit denen herkömmlicher Transformer vergleichbar sind.

Ursprüngliche Autoren: Itamar Zimerman, Allon Adir, Ehud Aharoni, Matan Avitan, Moran Baruch, Nir Drucker, Jenny Lerner, Ramy Masalha, Reut Meiri, Omri Soceanu

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Itamar Zimerman, Allon Adir, Ehud Aharoni, Matan Avitan, Moran Baruch, Nir Drucker, Jenny Lerner, Ramy Masalha, Reut Meiri, Omri Soceanu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem superintelligenten Roboter (ein Large Language Model, oder LLM) eine Frage stellen, aber Sie möchten Ihre Frage geheim halten. Sie wollen nicht, dass der Besitzer des Roboters sieht, was Sie gefragt haben, und Sie wollen auch nicht, dass der Roboter Ihr Geheimnis erfährt.

Um dies zu tun, verwenden Sie eine spezielle Art von „magischem Schloss", genannt Homomorphe Verschlüsselung (HE). Dieses Schloss ermöglicht es Ihnen, Ihre Frage in einem verschlüsselten, unlesbaren Format zu senden. Der Roboter kann Mathematik auf die verschlüsselte Frage anwenden und Ihnen eine verschlüsselte Antwort geben, die Sie dann entschlüsseln können. Der Roboter sieht niemals die eigentliche Frage.

Das Problem: Das „Gehirn" des Roboters passt nicht ins Schloss
Das Problem ist, dass diese modernen Roboter mit einer bestimmten Art von Mathematik-Engine gebaut sind, die Transformer genannt wird. Diese Engine verwendet ein sehr verbreitetes Werkzeug namens Softmax, um zu entscheiden, welche Wörter wichtig sind.

Stellen Sie sich Softmax wie einen Koch vor, der eine Suppe probiert und basierend auf einem komplexen, exponentiellen Rezept entscheidet, wie viel Salz hinzuzufügen ist. Es ist großartig zum Kochen, aber das „magische Schloss" (HE) versteht nur einfache, geradlinige Mathematik (Polynome). Es kann mit dem komplexen, exponentiellen Rezept des Kochs nichts anfangen. Wenn Sie versuchen, den Roboter dazu zu zwingen, sein normales Gehirn im verschlossenen Zustand zu nutzen, bricht die Mathematik zusammen, oder der Roboter wird verwirrt und instabil.

Frühere Versuche, dies zu beheben, waren wie der Versuch, einen quadratischen Pflock in ein rundes Loch zu zwängen:

Der „Brute-Force"-Ansatz: Versuchen Sie, das komplexe Rezept mit einem riesigen, unübersichtlichen Polynom zu approximieren. Dies funktioniert, ist aber unglaublich langsam und schwerfällig.
Der „Pre-Training"-Ansatz: Ändern Sie das Gehirn des Roboters, bevor es lernt, indem Sie das komplexe Rezept durch etwas Einfacheres ersetzen. Dies macht den Roboter jedoch oft weniger intelligent oder führt dazu, dass er mit zunehmender Größe Schwierigkeiten bekommt.

Die Lösung: PowerSoftmax
Die Autoren dieses Papiers haben ein neues Werkzeug namens PowerSoftmax erfunden.

Stellen Sie sich vor, anstatt dass der Koch ein komplexes exponentielles Rezept verwendet, nutzt er ein einfaches Potenz-Rezept (wie das Quadrieren von Zahlen).

Die Analogie: Wenn Softmax ein Koch ist, der Zutaten mit einer magischen, wachsenden Zahl multipliziert, ist PowerSoftmax ein Koch, der sie einfach mit sich selbst multipliziert (z. B. $2 \times 2$ , $3 \times 3$ ).
Warum es funktioniert: Dieses „Potenz-Rezept" verhält sich fast exakt wie das ursprüngliche komplexe, passt aber perfekt in das „magische Schloss". Es ist einfach genug für das Schloss, um es zu handhaben, aber intelligent genug, damit der Roboter klar denken kann.

Die Herausforderungen, die sie lösten
Nur das Rezept zu tauschen, reichte nicht aus; sie mussten drei spezifische Probleme beheben, damit es für einen riesigen Roboter funktioniert:

Das „Null"-Problem: Manchmal könnte die Mathematik im neuen Rezept durch Null teilen, was das System zum Absturz bringt.
- Die Lösung: Sie fügten einen winzigen, sicheren Puffer (wie ein Sicherheitsnetz) hinzu, damit die Mathematik niemals Null erreicht, was die Berechnung stabil und einfach zu approximieren macht.
Das „Überlauf"-Problem: Wenn die Zahlen zu groß oder zu klein werden, explodiert das Gehirn des Roboters (oder friert ein).
- Die Lösung: Sie schufen eine „Stabile Variante", die die Zahlen vor der Berechnung auf eine sichere, handhabbare Größe skaliert, ähnlich wie ein Koch, der einen Löffel Suppe probiert, bevor er sie in den ganzen Topf gibt.
Das „Langer-Satz"-Problem: Die ursprüngliche Methode wurde mit länger werdenden Sätzen immer langsamer.
- Die Lösung: Sie erfanden eine „Längen-unabhängige" Methode. Anstatt jedes einzelne Wort in einer langen Geschichte zu zählen, um die Mathematik durchzuführen, betrachteten sie einfach den Durchschnitt der Wörter. Dies bedeutet, dass der Roboter schnell bleibt, egal ob Sie eine kurze Frage stellen oder einen ganzen Roman schreiben.

Die Ergebnisse: Ein riesiger, sicherer Roboter
Mit diesen Tricks baute das Team den ersten sicheren Roboter mit über 1 Milliarde Parametern (ein Maß dafür, wie „groß" und intelligent der Roboter ist).

Größe: Er ist mehr als 10-mal größer als jeder vorherige sichere Roboter.
Intelligenz: Er kann immer noch Kontext verstehen, Probleme durchdenken und aus Beispielen lernen (eine Fähigkeit namens „In-Context Learning") genauso gut wie die standardmäßigen, unverschlüsselten Roboter.
Geschwindigkeit: Da ihre neue Mathematik so effizient ist, läuft sie auf verschlüsselten Daten viel schneller als frühere Methoden.

Zusammenfassung
Das Papier präsentiert einen neuen Weg, KI zu bauen, die Privatsphäre respektiert. Sie ersetzten den komplexen „Aufmerksamkeits"-Mechanismus der KI durch eine einfachere, „potenzbasierte" Version, die in ein Verschlüsselungsschloss passt. Dies ermöglicht es ihnen, massive KI-Modelle mit Milliarden von Parametern zu trainieren, die sicher denken und reasoning können, ohne jemals die Daten des Benutzers oder die Geheimnisse des Modells preiszugeben. Sie haben nicht nur ein kleines Spielzeug gebaut; sie haben ein riesiges, sicheres Gehirn erschaffen, das tatsächlich funktioniert.

Technische Zusammenfassung: PowerSoftmax: Sichere LLM-Inferenz über verschlüsselte Daten

Problemstellung

Moderne datenschutzfreundliche Large Language Models (LLMs) verlassen sich häufig auf Homomorphe Verschlüsselung (HE), insbesondere das CKKS-Schema, das Berechnungen auf verschlüsselten Daten ohne Entschlüsselung ermöglicht. CKKS unterstützt jedoch nur polynomiale Operationen. Standard-Transformer-Architekturen basieren stark auf nicht-polynomialen Komponenten, insbesondere der Softmax-Funktion in der Selbstaufmerksamkeit, die Exponentialfunktionen, Divisionen und logarithmische Operationen beinhaltet (z. B. zur numerischen Stabilität mittels des Log-Sum-Exp-Tricks).

Bestehende Ansätze, um diese Lücke zu schließen, weisen erhebliche Einschränkungen auf:

Approximation nach dem Training (PTA): Direkte Approximation nicht-polynomialer Funktionen in vortrainierten Modellen mittels Polynomen hohen Grades. Dies führt häufig zu einer ineffizienten Inferenz aufgrund hoher multiplikativer Tiefe und akkumulierten Rauschens.
Approximationsbewusstes Training (AAT): Ersetzen nicht-polynomialer Primitive durch leichter zu approximierende Alternativen (z. B. punktweise Aufmerksamkeit oder skaliertes ReLU) vor dem Training. Obwohl diese Methoden bei kleineren Modellen effektiv sind, hatten sie mit Stabilitäts- und Skalierbarkeitsproblemen zu kämpfen und konnten LLMs mit Milliarden von Parametern oder tiefen Architekturen (z. B. 32 Schichten) nicht unterstützen.

Die Kernherausforderung besteht darin, eine Transformer-Architektur zu entwerfen, die inhärent mit HE-Beschränkungen (Polynome niedrigen Grades, stabile numerische Bereiche) kompatibel ist, während sie die Ausdruckskraft, die Schlussfolgerungsfähigkeiten und das In-Context-Learning (ICL) standardmäßiger Softmax-basierter Transformer im Bereich von Milliarden Parametern beibehält.

Methodik

Die Autoren schlagen PowerSoftmax vor, eine neuartige, HE-freundliche Variante der Selbstaufmerksamkeit, die entwickelt wurde, um die Grundprinzipien von Softmax nachzubilden, während sie für polynomiale Approximationen geeignet bleibt. Die Methodik umfasst drei distincte Stufen:

1. HE-freundliches Aufmerksamkeitsdesign

Die Autoren destillieren die wesentlichen Eigenschaften von Softmax: Normalisierung auf $[0, 1]$ , Verstärkung von Score-Unterschieden und Erhaltung der Reihenfolge. Sie ersetzen die Exponentialfunktion $\exp(x)$ in Softmax durch eine Potenzfunktion $x^p$ (wobei $p$ eine positive gerade ganze Zahl ist).
Der vorgeschlagene Aufmerksamkeitsmechanismus ist definiert als:
$\text{PowerSoftmax}(x)_j = \frac{x_j^p}{\sum_i x_i^p}$
Diese Formulierung vermeidet Exponentialfunktionen und Probleme durch Division durch Null, die bei direkten polynomialen Approximationen von Softmax inhärent sind.

2. Trainingsstabilität und numerische Robustheit

Um Trainingsinstabilität zu adressieren, die durch die Potenzfunktion verursacht wird (wobei Eingaben $>1$ explodieren und Eingaben $<1$ verschwinden), führen die Autoren zwei wesentliche Modifikationen ein:

Stabile Variante: Inspiriert vom Log-Sum-Exp-Trick normalisieren sie die Eingaben durch eine Konstante $c = \|x\|_\infty + \delta$ , bevor sie die Potenzfunktion anwenden. Dies stellt sicher, dass die Eingaben innerhalb eines handhabbaren Bereichs $(0, 1)$ bleiben, Überlauf/Unterlauf verhindert werden und die Gleitkomma-Präzision erhalten bleibt.
$\epsilon$ -begrenzte Division: Um die Divisionsoperation zu handhaben, die nicht-polynomial ist und nahe Null empfindlich reagiert, modifizieren sie den Nenner zu $\epsilon + \sum x_i^p$ . Dies erzeugt eine $1/\epsilon^2$ -Lipschitz-stetige Funktion, wodurch die nachfolgende polynomiale Approximation der Division erheblich handhabbarer wird und die erforderliche multiplikative Tiefe reduziert wird.

3. Längenunabhängige Approximation

Standard-Approximationen der Division (z. B. der Goldschmidt-Algorithmus) haben Schwierigkeiten mit der unbeschränkten Summe von Aufmerksamkeits-Scores, die sich linear mit der Sequenzlänge $L$ skaliert. Die Autoren schlagen eine Längenunabhängige PowerSoftmax vor:
$\text{Length-Agnostic}(x)_j = \frac{x_j^p}{L \cdot \text{Mean}(x^p)}$
Da $L$ (Sequenzlänge) öffentlich ist, kann der Term $1/L$ direkt ohne Approximation berechnet werden. Das Modell approximiert die Division des Mittels statt der Summe, wodurch der Approximationsbereich unabhängig von der Sequenzlänge beschränkt bleibt.

4. Konstruktionspipeline (Algorithmus 1)

Die vollständige Pipeline zur Erstellung eines polynomialen LLM umfasst:

Architekturelle Modifikation: Ersetzen von Softmax durch die stabile PowerSoftmax-Variante und Training von Grund auf (oder durch kontinuierliches Vortraining) mit Zielen zur Bereichsminimierung.
Bereichsminimierung: Anwendung einer spezialisierten Verlustfunktion, um die Eingabebereiche nicht-polynomialer Schichten (PowerSoftmax, GELU, LayerNorm) zu beschränken, um sicherzustellen, dass polynomiale Approximationen niedrigen Grades genau sind.
Polynomiale Ersetzung: Nach dem Training werden die verbleibenden nicht-polynomialen Operationen (Division, inverse Quadratwurzel) durch polynomiale Approximationen niedrigen Grades (z. B. Goldschmidt-Methode) ersetzt, um ein vollständig polynomiales Modell zu erhalten.

Hauptbeiträge

PowerSoftmax-Mechanismus: Eine neue Variante der Selbstaufmerksamkeit, die exponentielle Skalierung durch polynomiale Skalierung ersetzt, speziell für HE-Umgebungen zugeschnitten, während die grundlegenden Designprinzipien der Aufmerksamkeit beibehalten werden.
Skalierbare polynomiale LLMs: Die Entwicklung der ersten polynomialen LLMs mit mehr als einer Milliarde Parametern (insbesondere 1,4 Milliarden Parameter mit 32 Schichten). Diese Modelle zeigen Schlussfolgerungs- und In-Context-Learning-Fähigkeiten (ICL), die mit Standard-Transformern gleicher Größe vergleichbar sind.
Stabile Trainings- und Inferenzstrategien: Einführung numerisch stabiler Trainingsvarianten und längenunabhängiger Inferenzstrategien, die die Instabilitäts- und Skalierbarkeitsprobleme früherer polynomialer Transformer-Ansätze überwinden.
Umfassende Evaluierung: Eine detaillierte Latenzaufschlüsselung für verschlüsselte Berechnungen und Ablationsstudien, die die Designentscheidungen validieren, einschließlich des Einflusses des Potenzparameters $p$ und der $\epsilon$ -begrenzten Division.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methode an kausalen (GPT/Pythia) und bidirektionalen (RoBERTa) Architekturen:

Leistung: Das polynomialen Modell mit 1,4 Milliarden Parametern erzielte auf Zero-Shot- und Few-Shot-Benchmarks (z. B. Lambada, PIQA, WinoGrande, ARC) eine Leistung, die mit den ursprünglichen Softmax-basierten Pythia-Modellen vergleichbar war. Bemerkenswerterweise zeigte das Modell eine wettbewerbsfähige Leistung auf Schlussfolgerungs-Benchmarks wie ARC-Challenge, eine Fähigkeit, die bei polynomialen LLMs zuvor nicht beobachtet wurde.
Bidirektionale Modelle: Eine polynomiale RoBERTa-Base-Variante zeigte nur eine Degradation von ca. 1 % im Vergleich zum ursprünglichen Softmax-basierten RoBERTa auf GLUE-Aufgaben (SST-2, QNLI, MNLI) und übertraf frühere polynomiale Ansätze wie Nexus.
HE-Inferenz: Experimente am Pythia-70M-Modell unter Verwendung des HElayers-Frameworks bestätigten, dass die verschlüsselte Inferenz Ergebnisse liefert, die nahezu identisch mit der Klartext-Inferenz sind (maximaler MSE-Verlust von 0,005).
Effizienz: Die vorgeschlagene Methode reduziert die multiplikative Tiefe im Vergleich zu fortschrittlichen Alternativen (Nexus, Cho et al.) erheblich. Für eine 128-Token-Sequenz reduzierte PowerSoftmax die Latenz um einen Faktor von ca. 9,7 im Vergleich zu Taylor/Goldschmidt-Ansätzen und um ca. 20 im Vergleich zu Square-Strategy-Ansätzen.

Bedeutung und Behauptungen

Die Arbeit behauptet einen Durchbruch im Bereich des datenschutzfreundlichen maschinellen Lernens, indem sie demonstriert, dass vollständig polynomiale LLMs bis in den Bereich von Milliarden Parametern skalieren können, ohne Schlussfolgerungs- oder In-Context-Learning-Fähigkeiten zu opfern.

Skalierbarkeit: Im Gegensatz zu früheren Arbeiten, die auf kleine Modelle oder einfache Klassifizierungsaufgaben beschränkt waren, trainiert dieser Ansatz erfolgreich tiefe (32-Schichten-) Transformer mit 1,4 Milliarden Parametern.
Nicht-interaktive Sicherheit: Durch die Nutzung vollständig homogener Verschlüsselung (FHE) mit einem vollständig polynomialen Modell ermöglicht die Lösung nicht-interaktive Inferenz und vermeidet den Kommunikationsaufwand und die potenziellen Schwachstellen, die mit Mehrparteienberechnung (MPC) oder interaktiven Protokollen verbunden sind.
Praktikabilität: Die detaillierte Latenzanalyse und die erfolgreiche Bereitstellung eines Modells mit 1,4 Milliarden Parametern deuten darauf hin, dass eine sichere, private LLM-Inferenz praktisch machbar wird und den Weg für Anwendungen in datensensitiven Sektoren wie Gesundheitswesen und Finanzen ebnet.

Die Autoren räumen ein, dass, obwohl die Modelle gut funktionieren, eine vollständige Evaluierung der auto-regressiven generativen Fähigkeiten bei sequenzieller Dekodierung über verschlüsselten Daten weiterhin eine Richtung für zukünftige Arbeiten bleibt.