🤖 AI

Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt

Dieses Paper stellt DEL vor, ein Framework für differenziell privaten und kommunikationseffizienten Split-Inference von Large Language Models, das durch stochastische Quantisierung und serverseitige Soft Prompts den Bedarf an lokalen Modellen eliminiert und gleichzeitig Privatsphäre sowie Leistung optimiert.

Ursprüngliche Autoren: Yujie Gu, Richeng Jin, Xiaoyu Ji, Yier Jin, Wenyuan Xu

Veröffentlicht 2026-02-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yujie Gu, Richeng Jin, Xiaoyu Ji, Yier Jin, Wenyuan Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen sehr klugen, aber riesigen Roboter (einen sogenannten "Large Language Model" oder LLM) um Rat fragen. Vielleicht willst du wissen, wie man Rückenschmerzen lindert, oder du möchtest eine Geschichte schreiben. Das Problem: Dieser Roboter lebt nicht bei dir zu Hause, sondern in einer großen Cloud auf einem Server.

Um ihn zu fragen, musst du deine Nachricht dorthin schicken. Aber was, wenn deine Nachricht sensible Dinge enthält? Deine Adresse, deinen Namen oder geheime Firmeninformationen? Wenn du die Nachricht einfach so hinschickst, könnte der Server-Betreiber (der vielleicht nicht ganz vertrauenswürdig ist) oder ein Hacker die Nachricht abfangen und deine Geheimnisse ausspähen.

Das ist das Problem, das diese Forscher lösen wollen. Sie haben eine neue Methode namens DEL entwickelt. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar lustigen Vergleichen:

1. Das Problem: Der dicke Briefumschlag

Normalerweise schickst du deine Nachricht als riesigen, detaillierten Briefumschlag (die "Embeddings" oder Einbettungen).

Das Risiko: Der Umschlag ist so groß und detailliert, dass man ihn leicht öffnen und lesen kann.
Die alte Lösung: Andere Forscher sagten: "Wir mischen etwas Chaos (Rauschen) in den Brief, damit niemand ihn lesen kann." Aber das Chaos machte den Brief so unlesbar, dass der Roboter ihn kaum noch verstand. Um ihn wieder lesbar zu machen, musste der Nutzer einen zweiten, kleinen Roboter auf seinem Handy installieren, der den Brief "entschlüsselt". Das war aber zu schwerfällig und langsam für normale Handys.

2. Die neue Lösung: DEL (Der clevere Kurier)

Die Forscher von DEL haben einen dreistufigen Plan entwickelt, der wie ein genialer Kurierdienst funktioniert:

Schritt 1: Der "Zusammenfassungs-Drucker" (Dimensionalitätsreduktion)

Stell dir vor, du hast einen 500-seitigen Roman, den du dem Roboter schicken musst. Das ist zu viel Papier!

Was DEL macht: Bevor du den Brief verschickst, läuft er durch einen kleinen, vorgefertigten "Zusammenfassungs-Drucker" auf deinem Gerät. Dieser Drucker presst den 500-seitigen Roman auf nur 10 Seiten zusammen, ohne die wichtigsten Punkte zu verlieren.
Der Vorteil: Der Brief ist jetzt viel kleiner (weniger Datenübertragung) und enthält weniger Details, die man direkt ablesen könnte.

Schritt 2: Der "Geheimcode-Mischer" (Stochastische Quantisierung)

Jetzt, wo der Brief nur noch 10 Seiten hat, wollen wir ihn noch sicherer machen.

Was DEL macht: Statt den Text einfach zu verschlüsseln, verwandelt der Drucker die Wörter in eine Art "Würfelspiel". Stell dir vor, du hast eine Liste von Farben. Anstatt zu sagen "Das ist genau Rot", sagt das System: "Es ist zu 70% Rot und zu 30% Orange."
Der Trick: Ein Hacker, der den Brief abfängt, sieht nur diese unscharfen Wahrscheinlichkeiten. Er kann nicht mehr genau sagen, welches Wort du ursprünglich gemeint hast. Aber für den Roboter ist es immer noch gut genug, um den Sinn zu verstehen. Das nennt man "Differential Privacy" (Differenzieller Datenschutz).

Schritt 3: Der "Magische Anker" (Soft Prompt)

Jetzt kommt das Geniale: Da wir den Brief so stark verändert (zusammengepresst und verschleiert) haben, versteht der Roboter ihn vielleicht nicht mehr perfekt. Früher hätte der Nutzer jetzt einen zweiten Roboter auf dem Handy brauchen müssen, um den Brief zu reparieren.

Was DEL macht: Der Roboter auf dem Server hat einen eigenen "Magischen Anker" (einen Soft Prompt). Stell dir das wie einen speziellen Schlüssel oder eine Anweisung vor, die der Roboter vor dem Lesen des Briefes in sein Gehirn legt.
Die Wirkung: Dieser Anker sagt dem Roboter: "Hey, der Brief kommt von einem verschleierten Kurierdienst. Ignoriere das Rauschen und konzentriere dich auf die Essenz!"
Das Ergebnis: Der Roboter repariert die Nachricht selbst, ohne dass du etwas auf deinem Handy installieren musst. Das spart enorm viel Rechenleistung auf deinem Gerät.

Warum ist das so toll?

Datenschutz: Deine Geheimnisse sind sicher. Selbst wenn jemand den verschleierten Brief abfängt, kann er deine Adresse oder deinen Namen nicht mehr genau rekonstruieren.
Geschwindigkeit: Weil der Brief so stark komprimiert wurde, ist er viel schneller unterwegs. Das spart Daten und Zeit.
Kein schweres Gerät: Du brauchst keinen starken Computer oder ein teures Handy, um den Brief zu entschlüsseln. Alles passiert clever auf dem Server, während dein Gerät nur die leichte Arbeit des "Zusammenfassens" macht.

Zusammengefasst:
Stell dir DEL wie einen cleveren Boten vor, der deine Geheimnisse in einen kleinen, verschlüsselten Stein verwandelt, den niemand lesen kann. Er schickt diesen Stein zum König (dem KI-Server). Der König hat einen Zauberstab (Soft Prompt), der den Stein wieder in eine klare Botschaft verwandelt, ohne dass du selbst einen Zauberstab brauchst. So bleibt dein Geheimnis sicher, und du bekommst trotzdem eine gute Antwort.

1. Problemstellung

Große Sprachmodelle (LLMs) erfordern enorme Rechenressourcen, was eine lokale Ausführung auf Endgeräten oft unmöglich macht. Daher werden Anfragen (Queries) typischerweise an Cloud-Server gesendet, was erhebliche Datenschutzrisiken birgt. Benutzerdaten (z. B. Namen, Adressen, medizinische Daten) könnten vom Dienstleister eingesehen oder während der Übertragung abgefangen werden.

Bestehende Lösungsansätze wie Split-and-Denoise (SnD) oder InferDPT versuchen, dies zu adressieren, indem sie Token-Embeddings vor der Übertragung stören (Rauschen hinzufügen) und lokale Modelle zur Entstörung nutzen. Diese Methoden haben jedoch zwei wesentliche Nachteile:

Hoher Kommunikations- und Rechenaufwand: Die Übertragung hochdimensionaler Embeddings (z. B. 4096 Dimensionen) verursacht große Datenmengen. Zudem erfordern lokale Entstörungen-Modelle (Denoising Models) auf dem Client-Seite erhebliche Rechenleistung und Speicher, was ressourcenbeschränkte Geräte überfordert.
Begrenzte Anwendbarkeit: Viele aktuelle Methoden sind für Klassifizierungsaufgaben optimiert und funktionieren bei offenen Textgenerierungsaufgaben schlecht.

2. Methodik: Das DEL-Framework

Die Autoren schlagen DEL (Differentially private and communication Efficient LLM split inference) vor. Das Framework kombiniert drei Hauptkomponenten, um Privatsphäre, Effizienz und Nutzen (Utility) zu optimieren:

A. Dimensionsreduktion und Projektion (Embedding Projection)

Statt die hochdimensionalen Token-Embeddings direkt zu übertragen, werden diese zunächst durch einen vortrainierten Encoder in einen niedrigdimensionalen latenten Raum projiziert.

Ziel: Reduktion der Datenmenge für die Übertragung und Verbesserung des Trade-offs zwischen Privatsphäre und Nutzen, da weniger Rauschen für denselben Datenschutzgrad in niedrigeren Dimensionen benötigt wird.
Prozess: Der Encoder wird auf dem Server vortrainiert und an den Client verteilt. Der Client kodiert die Embeddings, der Server decodiert sie nach der Verarbeitung zurück in die ursprüngliche Dimension.

B. Differenziell Privater Stochastischer Quantisierungsmechanismus

Um die Kommunikation weiter zu reduzieren und Differential Privacy (DP) zu gewährleisten, wird ein stochastischer n-Bit-Quantisierungsmechanismus auf die latenten Repräsentationen angewendet.

Funktionsweise: Jede Koordinate des latenten Vektors wird stochastisch auf eine von $2^n$ diskreten Stufen abgebildet. Dies dient gleichzeitig als Rauschmechanismus.
Theoretische Grundlage: Die Autoren beweisen, dass dieser Mechanismus $\mu$ -Gaussian Differential Privacy ( $\mu$ -GDP) garantiert.
Vorteil: Im Gegensatz zu klassischen Gauß-Mechanismen, die Gleitkommazahlen übertragen, ermöglicht dies eine Kompression auf nur 1, 2 oder 4 Bits pro Koordinate, was den Kommunikationsaufwand drastisch senkt, ohne die Privatsphäre zu beeinträchtigen.

C. Serverseitige Soft Prompt (Utility Preservation)

Ein entscheidender Unterschied zu vorherigen Arbeiten ist die Vermeidung lokaler Entstörungen-Modelle. Stattdessen wird die durch das Rauschen verursachte Verschlechterung der Modellleistung (Utility Loss) durch Soft Prompts auf der Serverseite kompensiert.

Ansatz: Ein trainierbarer Soft Prompt (eine Folge von kontinuierlichen Embeddings) wird den privatisierten Embeddings vorangestellt, bevor sie in das LLM eingespeist werden.
Training: Der Soft Prompt wird auf dem Server optimiert, um die Verteilungsverschiebung (Distributional Shift) durch das Rauschen auszugleichen und die Wahrscheinlichkeit für korrekte Ausgaben zu maximieren.
Innovation: Dies ist laut den Autoren die erste Arbeit, die Soft Prompts nutzt, um den Trade-off zwischen Privatsphäre und Nutzen in der LLM-Inferenz zu verbessern, ohne rechenintensive Client-Seiten-Modelle zu benötigen.

3. Wichtige Beiträge

Neuer DP-Mechanismus: Einführung einer Kombination aus Dimensionsreduktion und stochastischer Quantisierung, die Differential Privacy garantiert und den Kommunikationsaufwand signifikant reduziert.
Leichtgewichtiges Framework: Elimination der Notwendigkeit für rechenintensive lokale Denoising-Modelle durch den Einsatz von serverseitigen Soft Prompts. Dies macht die Lösung für ressourcenbeschränkte Endgeräte praktikabel.
Überlegener Trade-off: Nachweis, dass das DEL-Framework einen besseren Kompromiss zwischen Privatsphäre und Leistung (Utility) bietet als aktuelle State-of-the-Art-Methoden (wie SnD und InferDPT).

4. Ergebnisse und Experimente

Die Autoren evaluieren DEL auf mehreren Benchmarks für Textgenerierung (z. B. WikiText-2, PTB, CNN/Daily Mail) und natürliches Sprachverständnis (NLU, z. B. QQP, MRPC) unter Verwendung verschiedener LLMs (Llama3, Qwen2.5, DeepSeek-MoE).

Textgenerierung: DEL erzielt konsistent bessere Ergebnisse (gemessen an Perplexity und Kohärenz-Scores) als InferDPT und RANTEXT, insbesondere bei unterschiedlichen Angriffserfolgsraten (ASR).
- Im Gegensatz zu InferDPT, dessen Leistung stark von der Kapazität des lokalen Modells abhängt, nutzt DEL die volle Kraft des Remote-LLMs.
- Selbst wenn DEL mit lokalen Modellen kombiniert wird, übertrifft es die reine InferDPT-Lösung in den meisten Szenarien.
Kommunikationseffizienz: Durch die Dimensionsreduktion (Faktor 32) und die Quantisierung (1–4 Bit) wird der Kommunikationsaufwand im Vergleich zur Übertragung von 32-Bit-Gleitkommazahlen massiv reduziert (z. B. von >16 MB auf einen Bruchteil für Sequenzen von 1024 Tokens).
NLU-Aufgaben: Auf Klassifizierungsaufgaben (MRPC, QQP) erreicht DEL eine höhere Genauigkeit und AUC als SnD, bei gleichzeitig deutlich geringerem Kommunikationsaufwand.
Transferfähigkeit: Die Soft Prompts zeigen eine starke Transferfähigkeit über verschiedene Datensätze und Privacy-Level ( $\mu$ ) hinweg, selbst wenn sie auf öffentlichen Daten (C4) trainiert wurden.

5. Bedeutung und Fazit

Das Paper stellt einen bedeutenden Fortschritt im Bereich des privaten LLM-Inferenz dar.

Praktische Anwendbarkeit: Durch die Beseitigung der Notwendigkeit für lokale Denoising-Modelle wird die private Nutzung von Cloud-LLMs auf Smartphones und anderen Edge-Geräten erst wirklich praktikabel.
Skalierbarkeit: Die drastische Reduktion des Kommunikationsaufwands ermöglicht die Skalierung privater Dienste auch bei begrenzter Bandbreite.
Paradigmenwechsel: Die Arbeit zeigt, dass serverseitige Anpassungen (Soft Prompts) effektiver sein können als clientseitige Entstörung, um die Qualität privater Inferenz zu erhalten.

Zusammenfassend bietet DEL einen robusten, effizienten und hochleistungsfähigen Ansatz, um die Privatsphäre von Nutzern bei der Interaktion mit großen Sprachmodellen in der Cloud zu schützen, ohne dabei die Qualität der Antworten oder die Ressourcennutzung der Endgeräte zu beeinträchtigen.