🤖 machine learning

Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference

Dieses Paper schlägt ConjFormer vor, eine orthogonal äquivariante Transformer-Architektur, die eine datenschutzfreundliche LLM-Inferenz ermöglicht, indem Clients geheim rotierte Hidden States an einen Server übertragen, was effektiv Token-Rekonstruktionsangriffe verhindert und gleichzeitig eine minimale Leistungseinbußen beibehält.

Ursprüngliche Autoren: Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einer superintelligenten KI (einem Large Language Model) eine Frage zu Ihren privaten Krankenakten stellen. Das Problem ist: Die KI lebt auf einem leistungsstarken Server weit weg, und Sie wollen nicht, dass Sie den Rohtext dorthin senden, weil der Serverbesitzer vielleicht einen Blick darauf werfen könnte.

Normalerweise versuchen Menschen, die Arbeit aufzuteilen: Sie erledigen den ersten Teil des Denkens auf Ihrem Telefon und senden dann nur die „Gedanken“ (verborgene Zahlen) an den Server, um die Aufgabe zu vollenden. Aber es gibt einen Haken: Diese „Gedanken“ sind wie ein Geheimcode, der geknackt werden kann. Wenn der Server ein öffentliches Wörterbuch besitzt, das zeigt, wie Wörter als Zahlen aussehen, kann er Ihre „Gedanken“ mit dem Wörterbuch abgleichen und genau erraten, was Sie getippt haben.

Die Lösung des Papers: Der „Magische Rotator“

Dieses Paper stellt ein neues System namens CONJFORMER vor. Betrachten Sie es als einen magischen Privatsphäre-Schild, der Geometrie statt schwerer Verschlüsselung verwendet.

So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Das Problem: Das „Transparente Glas“

Stellen Sie sich vor, Ihre Daten sind eine Skulptur, die auf einem Tisch steht. Der Server besitzt einen Katalog jeder möglichen Skulptur. Wenn Sie die Skulptur an den Server senden, kann dieser sie einfach betrachten, sie mit seinem Katalog vergleichen und sagen: „Ah, das ist das Bild einer Katze!“ Selbst wenn Sie die Skulptur in einem etwas anderen Licht senden, bleibt die Form dieselbe, und er kann sie immer noch erkennen.

2. Die Lösung: Der „Geheime Dreh“

Die Autoren schlagen vor, dass Sie, bevor Sie Ihre Skulptur senden, sie auf einen Drehtisch legen und sie um 90 Grad (oder einen beliebigen zufälligen Winkel) drehen, wobei Sie einen Geheimschlüssel verwenden, den nur Sie kennen.

Sie: Drehen die Skulptur.
Der Server: Erhält die gedrehte Skulptur. Er weiß nicht mehr, was „oben“ ist.
Die Magie: Die KI des Servers ist auf eine spezielle Weise aufgebaut (unter Verwendung einer neuen Architektur namens CONJFORMER), die es ihr ermöglicht, das Rätsel exakt gleich zu lösen, selbst wenn die Skulptur auf dem Kopf oder seitlich steht. Sie muss nicht wissen, wie die ursprüngliche Ausrichtung war, um ihre Aufgabe zu erfüllen.

3. Die „Architektonische Änderung“ (Das Geheimrezept)

Damit dies funktioniert, muss die KI auf dem Server anders gebaut sein. Standard-KI-Modelle sind wie starre Roboter; wenn man ihre Sicht neigt, werden sie verwirrt.
Die Autoren haben das „Gehirn“ (die Transformer-Architektur) der KI verändert, indem sie:

Die „Normalisierung“ änderten: Sie haben einen kleinen Teil der Mathematik angepasst (indem sie ein komplexes Lineal durch ein einfaches skalares Lineal ersetzten), sodass die KI nicht auf die Richtung der Daten achtet.
Die Gewichte rotierten: Genau wie Sie die Eingabe rotiert haben, werden auch die internen „Regeln“ (Gewichte) des Servers mathematisch rotiert, um passend zu sein.

Das Ergebnis: Der Server führt die Berechnung in einer „rotierten Welt“ durch. Er sieht Ihre Daten nie in ihrer ursprünglichen Form. Er sieht nur die gedrehte Version.

4. Kann der Server schummeln? (Die Angriffe)

Das Paper testet, ob ein hinterlistiger Server den geheimen Dreh erraten und die Daten „entrollen“ kann.

Alter Angriff (Nearest Neighbor): Früher hat der Server einfach Formen abgeglichen. Jetzt ist dies unmöglich, da die Formen rotieren.
Neuer Angriff (Weight Alignment): Der Server versucht, den Dreh zu erraten, indem er sich die „Regeln“ (Gewichte) ansieht, die er erhalten hat. Es ist, als würde man versuchen, wie eine Schachtel rotiert wurde, indem man sich das Bild auf dem Karton ansieht.
Das Ergebnis: Das Paper zeigt, dass, wenn Sie das Modell auf Ihren privaten Daten trainieren (Fine-Tuning), die Fähigkeit des Servers, den Dreh zu erraten, von sehr gut (Wiederherstellung von über 35 % Ihrer Wörter) auf fast zufällig (Wiederherstellung von nur 1,3 %) sinkt.

5. Der Kompromiss

Macht das die KI dümmer?

Nur ganz leicht. Das Paper hat dies an Modellen wie GPT-2 und Llama getestet. Nach den Änderungen sank die Leistung der KI (gemessen an der „Perplexity“, oder wie verwirrt sie ist) nur minimal (weniger als 0,4 % bis 2 %).
Kein Rauschen: Im Gegensatz zu anderen Privatsphäre-Methoden, die „Rauschen“ oder „Störsignale“ zu den Daten hinzufügen (was dazu führt, dass die KI klingt, als hätte sie eine Erkältung), hält diese Methode die Daten sauber; sie dreht sie lediglich.

Zusammenfassung

CONJFORMER ist eine Möglichkeit, eine entfernte KI Ihre privaten Aufgaben erledigen zu lassen, ohne dass sie jemals Ihre Rohdaten sieht. Dies geschieht durch:

Das Drehen Ihrer Daten mit einem Geheimschlüssel, bevor Sie sie senden.
Das Umrüsten der KI, damit sie perfekt auf den gedrehten Daten arbeiten kann, ohne jemals die Notwendigkeit zu haben, sie „entzurollen“.
Das Durchbrechen der Fähigkeit des Servers, Ihre Wörter einfach in einem Wörterbuch nachzuschlagen, indem es ihn zwingt, ein viel schwierigeres mathematisches Rätsel zu lösen, das er nicht knacken kann, sobald Sie das Modell auf Ihre spezifischen Daten trainiert haben.

Es ist eine praktische Verteidigung, die auf Symmetrie (der Idee, dass die Mathematik unabhängig von der Richtung gleich funktioniert) basiert, anstatt auf schwerer, langsamer Verschlüsselung.

Technisches Resümee: Privacy from Symmetry (CONJFORMER)

Problemstellung

Der Einsatz von Large Language Models (LLMs) als Cloud-basierte Dienste erfordert die Übermittlung von Nutzerdaten an Drittanbieter, was erhebliche Datenschutzrisiken schafft. Während Split Inference (SI) dies dadurch mildert, dass die Embedding-Schicht lokal bleibt und nur intermediäre Hidden Representations übertragen werden, bleibt das Verfahren anfällig für Nearest-Neighbor (NN) Embedding Inversion. In Standard-SI-Szenarien ist die Embedding-Tabelle öffentlich zugänglich, was es einem Angreifer ermöglicht, Input-Token durch Abgleich der vom Server beobachteten Hidden States mit der öffentlichen Tabelle mittels Cosinus-Ähnlichkeit zu rekonstruieren. Dieser Angriff bleibt selbst nach dem Fine-Tuning des Modells hochwirksam. Bestehende datenschutzwahrende Methoden, wie etwa Differential Privacy (DP) durch Rauschinjektion oder kryptographische Techniken (Homomorphe Verschlüsselung, Secure Multiparty Computation), leiden entweder unter einer signifikanten Verschlechterung der Modellqualität oder unter prohibitiven Rechenaufwänden, was sie für die autoregressive LLM-Inferenz unpraktikabel macht.

Methodik: CONJFORMER

Das Paper schlägt CONJFORMER vor, ein Framework, das auf architektonischer Ebene eine $O(d)$ -Äquivarianz (Äquivarianz zur orthogonalen Gruppe der Dimension $d$ ) erzwingt. Dies ermöglicht es dem Client, Embeddings mittels einer geheimen orthogonalen Matrix zu verschleiern, während gleichzeitig sichergestellt wird, dass der Server weiterhin korrekte Inferenzen durchführen kann, ohne jemals unrotierte Hidden States zu beobachten.

Kernmechanismen

Orthogonale Obfuskation: Der Client multipliziert die Input-Embeddings mit einer geheimen orthogonalen Matrix $U \in O(d)$ , bevor die Übertragung erfolgt.
Gewichtskonjugation: Um die Funktionalität des Modells unter dieser Rotation zu bewahren, wendet der Client eine zweiseitige lineare Konjugation auf alle linearen Gewichte des Transformers an. Wenn eine lineare Schicht $W$ ist, erhält der Server $\hat{W} = O W U^\top$ , wobei $O$ eine blokkspezifische orthogonale Matrix ist.
Architektonische Modifikationen: Um eine exakte $O(d)$ $O (d)$ -Äquivarianz zu erreichen, führen die Autoren minimale Änderungen an der Transformer-Architektur ein:
- Skalare RMSNorm: Standardisierte Normalisierungsschichten (LayerNorm oder RMSNorm mit lernbaren Vektoren) sind koordinatenabhängig und brechen die Äquivarianz. CONJFORMER ersetzt diese durch eine RMSNorm mit einem skalaren Gain. Dies stellt sicher, dass die Normalisierungsoperation mit orthogonalen Transformationen kommutiert.
- Blockweise Konjugation: Alle linearen Projektionen (Query, Key, Value, Output und FFN-Gewichte) werden konjugiert. Der Server führt den gesamten Forward-Pass in der rotierten Basis durch.

Theoretische Garantie

Das Framework gewährleistet blockweise funktionale Äquivalenz:
$\hat{F}_b(X U^\top) = F_b(X) U^\top$
wobei $F_b$ der ursprüngliche Transformer-Block und $\hat{F}_b$ der konjugierte Block ist. Folglich berechnet der Server exakt dieselbe Logik wie das Originalmodell, operiert jedoch vollständig auf rotierten Repräsentationen. Der Server beobachtet niemals die unrotierte Hidden States, wodurch eine direkte NN-Inversion gegen die öffentliche Embedding-Tabelle unmöglich wird.

Zentrale Beiträge

Architektur: Entwicklung einer Transformer-Variante, die durch leichtgewichtige Modifikationen (skalare RMSNorm) und Gewichtskonjugation exakt $O(d)$ -äquivariant ist und mit beliebigen orthogonalen Transformationen des Embedding-Raums kompatibel ist.
Framework: Vorschlag des CONJFORMER-Frameworks, das eine blockweise orthogonale Konjugation anwendet, um die Funktionalität unter geheimer Obfuskation zu bewahren und somit die direkte Nearest-Neighbor-Embedding-Inversion effektiv zu eliminieren.
Angriffsanalyse: Identifizierung und Analyse neuer Angriffsvektoren, die durch die Obfuskation notwendig werden. Da der direkte Abgleich eliminiert wurde, muss der Angreifer auf Weight Alignment Attacks zurückgreifen, um die verborgenen orthogonalen Transformationen zu rekonstruieren. Das Paper führt und evaluiert:
- Zweiseitiges ALS–Procrustes-Alignment: Eine iterative Methode zur Schätzung von $U$ und $O$ durch Abgleich konjugierter, feinabgestimmter Gewichte mit öffentlichen, vortrainierten Gewichten.
- Gram-basiertes Weight Alignment: Eine Methode, die Informationen über Blöcke hinweg aggregiert, indem sie die Invarianz von Gram-Matrizen unter blokkspezifischen Rotationen ausnutzt, was einen stärkeren Angriff als Procrustes darstellt.
Empirische Validierung: Umfangreiche Experimente auf GPT-2 (Small, Medium, Large) und Llama 3.2 1B Modellen, die auf PubMed-Abstracts feinabgestimmt wurden.

Experimentelle Ergebnisse

Die Autoren evaluierten CONJFORMER auf GPT-2-Varianten und Llama 3.2 1B, feinabgestimmt auf PubMed-Abstracts.

Effektivität des Datenschutzes:
- Originalmodelle: Die Nearest-Neighbor-Embedding-Inversion erreicht eine hohe Genauigkeit (über 35 % Top-10 Token-Rekonstruktion) selbst nach dem Fine-Tuning.
- CONJFORMER: Die orthogonale Obfuskation eliminiert die direkte Cosinus-NN-Inversion. Die stärksten verbleibenden Angriffe (Gram-basiertes Weight Alignment) sinken nach dem Fine-Tuning auf eine nahezu zufällige Performance (maximal 1,3 % Top-10 Token-Rekonstruktion).
Modellleistung:
- Perplexität: Das Framework verursacht minimale Leistungseinbußen. Feinabgestimmte CONJFORMER-Modelle zeigen Perplexitätssteigerungen von lediglich 0,4 % (Llama 3.2 1B) bis zu etwa 2 % (GPT-2 Small) im Vergleich zu den Baseline-Modellen.
- Retrofitting: Vortrainierte Modelle können durch das Ersetzen der Normalisierungsschichten und ein kurzes Fine-Tuning auf die äquivariante Architektur "retrorefittet" werden, wodurch die ursprüngliche Perplexität innerhalb von 2.000 Iterationen wiederhergestellt wird.

Bedeutung und Ansprüche

Das Paper behauptet, dass CONJFORMER einen praktischen Schutz für den datenschutzwahrenden LLM-Inferenz bietet, ohne auf Rauschinjektion (die die Qualität mindert) oder schwere kryptographische Mechanismen (die zu langsam sind) angewiesen zu sein.

Verschiebung des adversariellen Problems: Die primäre Bedeutung liegt darin, dass die Methode die Natur des Angriffs grundlegend verändert. Sie wandelt das Problem des Angreifers von einem einfachen "Lookup"-Problem (Abgleich von Vektoren mit einer öffentlichen Tabelle) in ein komplexes "Basis-Rekonstruktions"-Problem um (Lösen verborgener orthogonaler Transformationen via Weight Alignment).
Architektonische Symmetrie: Die Arbeit demonstriert, dass das Erzwingen von Symmetrie auf architektonischer Ebene robuste Datenschutzgarantien gegen Embedding-Inversion bieten kann.
Limitierungen: Die Autoren stellen explizit klar, dass CONJFORMER kein kryptographischer oder differential privater Mechanismus ist. Es beruht auf der Geheimhaltung des orthogonalen Schlüssels des Clients und der Privatsphäre der feinabgestimmten Embedding-Tabelle. Es schützt nicht vor Angriffen, die orthogonale Invarianten (z. B. Normen, paarweise Distanzen) ausnutzen oder gegen Known-Plaintext-Szenarien, bei denen der Angreifer die unrotierte Eingabe beobachten kann. Die Sicherheit basiert auf der rechnerischen Schwierigkeit des Weight-Alignment-Problems und nicht auf informationstheoretischer Geheimhaltung.