🤖 AI

Privacy-Preserving LLMs Routing

Das Papier stellt PPRoute vor, ein privatsphäreschonendes Framework für das Routing von Large Language Models, das durch MPC-freundliche Operationen, ein mehrstufiges Trainingsverfahren und einen unsortierten Top-k-Algorithmus die Sicherheit gewährleistet und dabei im Vergleich zu naiven MPC-Implementierungen eine 20-fache Beschleunigung bei gleicher Routing-Qualität erreicht.

Ursprüngliche Autoren: Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

Veröffentlicht 2026-04-20

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast eine riesige Bibliothek mit verschiedenen Bibliothekaren. Einige sind Super-Experten, die jede noch so schwierige Frage beantworten können, aber sie kosten eine ganze Menge Geld und brauchen lange. Andere sind schnelle, günstige Helfer, die einfache Fragen sofort klären, aber bei komplexen Rätseln vielleicht nicht weiterhelfen.

Das Problem: Der unsichere Wegweiser
Bisher gab es einen „Wegweiser" (einen Router), der entscheidet, welcher Bibliothekar deine Frage bekommt. Das ist super effizient, aber es gibt ein großes Sicherheitsleck: Damit der Wegweiser entscheiden kann, muss er deine Frage lesen. Wenn dieser Wegweiser von einer dritten Partei betrieben wird, könnte er deine privaten Daten (z. B. deine Krankenakte oder Bankdaten) ausspähen.

Die Lösung: Ein unsichtbarer, schneller Assistent (PPRoute)
Die Forscher haben eine neue Methode namens PPRoute entwickelt. Stell dir PPRoute wie einen magischen, unsichtbaren Schleier vor, der über deine Frage gelegt wird, bevor sie den Wegweiser erreicht.

Hier ist, wie PPRoute funktioniert, einfach erklärt:

1. Der „Ersatz-Verkehrsschild" (MPC-freundliche Operationen)

Normalerweise muss der Wegweiser komplexe mathematische Berechnungen machen, um deine Frage zu verstehen. Unter dem „Schleier" (der Verschlüsselung) sind diese Berechnungen extrem langsam und teuer, wie wenn man versucht, mit einem Traktor durch einen engen Fußgängerweg zu fahren.

Die Lösung: PPRoute tauscht diese schweren, komplizierten Berechnungen gegen einfache, schnelle Ersatzteile aus. Es ist, als würde man den Traktor gegen ein schnelles E-Bike tauschen, das den gleichen Weg fährt, aber viel weniger Energie braucht. Die Qualität der Antwort bleibt gleich, aber es geht viel schneller.

2. Der „Schulmeister-Trick" (Multi-Stage Training)

Da die neuen Ersatzteile (die einfachen Berechnungen) am Anfang etwas „dümmer" wirken als die originalen, hat der Wegweiser erst einmal Probleme, gute Entscheidungen zu treffen.

Die Lösung: Die Forscher nutzen einen cleveren Trainings-Trick. Ein „Lehrer" (das originale, schnelle System) zeigt einem „Schüler" (dem neuen, verschlüsselten System), wie man die Fragen richtig einordnet. Der Schüler lernt durch Nachahmen, bis er genauso gut ist wie der Lehrer, auch wenn er nur die einfachen Ersatzteile benutzt.

3. Der „Blitz-Rangliste" (Unsorted Top-k Algorithmus)

Wenn der Wegweiser den besten Bibliothekar sucht, muss er normalerweise alle Bibliothekare durchgehen und sortieren, wer am besten passt. Unter Verschlüsselung ist dieses Sortieren wie ein endloses Warten in einer Schlange, bei der jeder Schritt abgehakt werden muss. Das dauert ewig.

Die Lösung: PPRoute nutzt einen neuen Algorithmus, den „Unsorted Top-k". Stell dir vor, anstatt jeden Bibliothekar einzeln zu vergleichen, wirft man alle Namen gleichzeitig in einen Mixer und filtert sofort die besten 3 heraus.
Der Clou: Dieser Prozess braucht nur eine einzige Runde Kommunikation zwischen den Parteien. Es ist, als würde man eine Liste nicht sortieren, sondern sofort die richtigen Namen „herauszaubern". Das spart enorm viel Zeit.

Das Ergebnis

Mit PPRoute passiert folgendes:

Privatsphäre: Niemand sieht deine Frage. Der Wegweiser trifft seine Entscheidung, ohne zu wissen, was du eigentlich fragst.
Geschwindigkeit: Es ist etwa 20-mal schneller als frühere verschlüsselte Methoden.
Qualität: Die Entscheidungen sind genauso gut wie bei der unverschlüsselten Version.

Zusammenfassend:
PPRoute ist wie ein sicherer, schneller Tunnel für deine Daten. Früher musste man entweder die Sicherheit opfern, um schnell zu sein, oder extrem langsam sein, um sicher zu bleiben. PPRoute baut einen Tunnel, durch den du sicher und blitzschnell an dein Ziel kommst, ohne dass jemand im Tunnel sieht, was du transportierst. Das ist besonders wichtig für sensible Bereiche wie Medizin oder Finanzen, wo Vertrauen und Geschwindigkeit gleichermaßen zählen.

1. Problemstellung

Große Sprachmodelle (LLMs) bieten zwar hohe Leistung, aber die Kosten und die Latenz variieren stark zwischen verschiedenen Modellen und Anbietern. LLM-Routing wurde entwickelt, um Abfragen dynamisch an das kosteneffizienteste und leistungsfähigste Modell zu leiten. Dies geschieht oft durch Einbettungs-basierte Methoden (Embedding-based), bei denen Abfragen und Modelle in einen gemeinsamen Vektorraum projiziert werden, um die Ähnlichkeit zu berechnen.

Das Hauptproblem liegt in der Privatsphäre:

Das Routing fügt eine Zwischenschicht zwischen Nutzer und LLM ein, die sensible Nutzerdaten (Abfragen) verarbeitet.
Diese Daten werden oft von Drittanbietern verarbeitet, was die Vertraulichkeit gefährdet.
Bestehende kryptografische Lösungen wie Secure Multi-Party Computation (MPC) können zwar Daten verschlüsselt verarbeiten, führen jedoch zu einem prohibitiven Rechenaufwand. Insbesondere nicht-lineare Operationen (wie Softmax, GeLU) und Sortieralgorithmen für die Suche nach den nächsten Nachbarn (KNN) verursachen in MPC-Umgebungen extreme Latenzen (bis zu 60-fach langsamer als im Klartext).

2. Methodik: Das PPRoute-Framework

Die Autoren stellen PPRoute vor, ein Framework, das End-to-End-Privatsphäre für LLM-Routing unter MPC gewährleistet, ohne die Routing-Qualität zu beeinträchtigen. Es basiert auf drei Hauptstrategien:

A. MPC-freundliche Operationen für Encoder-Inferenz

Der Transformer-Encoder, der für die Erstellung der Embeddings verantwortlich ist, enthält rechenintensive nicht-lineare Funktionen. PPRoute ersetzt diese durch effiziente Approximationen, die in MPC leicht zu berechnen sind:

Softmax-Ersatz: Die exponentielle Funktion wird durch eine Approximation namens „2ReLU" ersetzt: $Softmax(x) \approx ReLU(x) / \sum ReLU(x)$ .
GeLU-Ersatz: Die komplexe Gaußsche Fehlerfunktion wird durch die einfache ReLU-Funktion ($max(0, x)$) approximiert.
Dies reduziert die Anzahl der Multiplikationen und Iterationen drastisch.

B. Multi-Stage Training Algorithmus (Wissensdistillation)

Da der Ersatz der Aktivierungsfunktionen die Architektur des Encoders verändert und die Leistung verschlechtern würde, wird ein spezieller Trainingsansatz verwendet:

Teacher-Modell: Das originale, unmodifizierte Modell wird im Klartext trainiert.
Student-Modell: Das Modell mit den MPC-freundlichen Operationen (Approx-Encoder).
Training: Das Student-Modell wird durch eine Kombination aus Routing-Verlust und Wissensdistillation (Knowledge Distillation) trainiert, um die Ausgabe des Teacher-Modells zu imitieren.
Feinabstimmung: Der Encoder des Student-Modells wird eingefroren, und nur die nachgeschalteten MLP-Schichten werden weiter optimiert.
Dies stellt sicher, dass das verschlüsselte Modell eine Genauigkeit erreicht, die der des Klartext-Modells entspricht.

C. Unsortierter Top-k Algorithmus (O(1) Kommunikation)

Die Suche nach den ähnlichsten Modellen (Nearest Neighbor Search) erfordert normalerweise Sortieroperationen, die in MPC sehr teuer sind. PPRoute führt einen „Unsorted Top-k" Algorithmus ein:

Anstatt eine vollständige Sortierung durchzuführen, wird ein Vergleichsmatrix-Verfahren genutzt.
Durch zyklisches Verschieben und elementweise Vergleiche wird eine Rangfolge berechnet.
Die finale Auswahl der Top-k Elemente erfolgt durch einen Schwellenwertvergleich.
Komplexität: Dieser Ansatz reduziert die Kommunikationskomplexität auf O(1) (konstante Anzahl an Runden), unabhängig von der Größe des Modellspeichers. Dies ist entscheidend, da die Kommunikationslatenz in MPC oft der Engpass ist.

3. Wichtige Beiträge

Erste systematische Untersuchung: Dies ist die erste Arbeit, die die Privatsphärenrisiken im LLM-Routing systematisch analysiert und ein vollständiges, privatsphäreschützendes Framework (PPRoute) vorschlägt.
Effizienzsteigerung: Durch den Austausch von Softmax/GeLU gegen 2ReLU/ReLU und die Verwendung des Unsorted Top-k Algorithmus wird der Overhead von MPC drastisch reduziert.
Qualitätserhalt: Trotz der Approximationen und der Verschlüsselung erreicht PPRoute eine Routing-Qualität, die mit unverschlüsselten Gegenstücken vergleichbar ist.
Generalisierung: Das Framework wurde erfolgreich auf zwei verschiedene existierende Routing-Methoden angewendet: CSCR (Cost-Spectrum InfoNCE) und UniRoute.

4. Ergebnisse

Die Evaluation wurde auf drei Datensätzen (EmbedLLM, MixInstruct, RouterBench) durchgeführt:

Geschwindigkeit (Speedup):
- PPRoute ist im Vergleich zu naiven MPC-Implementierungen etwa 20-fach schneller (Speedup von ca. 19x bis 23x).
- Beispiel: Die Encoder-Inferenz, die im Baseline-MPC ca. 199 Sekunden dauerte, wurde auf ca. 9 Sekunden reduziert.
- Der Unsorted Top-k Algorithmus ist deutlich schneller als herkömmliche Sortierverfahren (z. B. Bitonic Sort) oder brute-force Ansätze, da er die Kommunikationsrunden von Tausenden auf ca. 52 reduziert.
Qualität (Routing Performance):
- Gemessen an Metriken wie AUDC (Area Under the Deferral Curve), Peak Accuracy und QNC (Query-Normalized Cost) zeigt PPRoute fast identische Ergebnisse wie die Original-Modelle im Klartext.
- Die Leistungseinbußen durch die Approximationen sind vernachlässigbar gering.
Kommunikation:
- Der neue Top-k-Algorithmus reduziert das Kommunikationsvolumen im Vergleich zu Baselines um ca. 60% und die Anzahl der Kommunikationsrunden drastisch.

5. Bedeutung und Ausblick

PPRoute löst das Dilemma zwischen Datenschutz und Effizienz im LLM-Routing. Es ermöglicht es Nutzern, von der Kosteneffizienz und Leistungsdynamik multi-modeller Routing-Systeme zu profitieren, ohne dass ihre Abfragen (Prompts) für den Routing-Anbieter oder die Modellanbieter sichtbar werden.

Anwendungsgebiete: Besonders relevant für sensible Bereiche wie Gesundheitswesen, Finanzen und Unternehmensanwendungen, wo Datenvertraulichkeit kritisch ist.
Zukunft: Die Arbeit legt den Grundstein für sichere, skalierbare und kosteneffiziente Infrastrukturen für den Einsatz von LLMs in der Praxis, indem sie zeigt, dass kryptografische Methoden nicht zwangsläufig mit unakzeptabler Latenz verbunden sein müssen.

Zusammenfassend stellt PPRoute einen Durchbruch dar, der durch geschickte algorithmische Approximationen und optimierte Protokolle die Hürde für den praktischen Einsatz von privatsphäreschützendem LLM-Routing beseitigt.