🤖 AI

SharedRequest: Privacy-Preserving Model-Agnostic Inference for Large Language Models

Das Papier schlägt SharedRequest vor, ein modellagnostisches Framework, das die datenschutzwahrende LLM-Inferenz durch das Vermischen und Bündeln semantisch äquivalenter Abfragen zur Verschleierung sensibler Prompts verbessert und dadurch eine überlegene Nützlichkeit sowie eine bis zu 5-fache Kostenreduzierung ohne die Notwendigkeit von Modellmodifikationen erreicht.

Ursprüngliche Autoren: Peihua Mai, Xuanrong Gao, Youlong Ding, Xianglong Du, Wei Liu, Yan Pang

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peihua Mai, Xuanrong Gao, Youlong Ding, Xianglong Du, Wei Liu, Yan Pang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem superintelligenten KI-System (wie einem digitalen Orakel) eine Frage stellen, aber Ihre Frage enthält ein Geheimnis – vielleicht Ihre spezifische Berufsbezeichnung, eine medizinische Diagnose oder ein Finanzdetail. Sie möchten nicht, dass das KI-Unternehmen dieses Geheimnis erfährt, aber Sie benötigen dennoch eine gute Antwort.

Derzeit führt der Versuch, Ihr Geheimnis zu verbergen, meist zu zwei schlechten Ergebnissen:

Der „verschwommene Foto“-Ansatz: Sie verändern Ihre Wörter so stark, dass die KI verwirrt wird und Ihnen eine schlechte Antwort gibt.
Der „schwere Schloss“-Ansatz: Sie verwenden komplexe Mathematik, um Ihre Frage zu verschlüsseln. Das hält sie sicher, ist aber so langsam und teuer, dass es für große Gruppen von Menschen schwer umsetzbar ist.

Das Paper stellt ein neues System namens SharedRequest vor. Denken Sie an SharedRequest als eine clevere „Gruppenchat“-Strategie, die beide Probleme gleichzeitig löst.

Die Kernidee: Die „Gruppenbestellung“-Analogie

Stellen Sie sich vor, Sie und 99 Freunde möchten alle einen individuellen Kuchen von einer Bäckerei (der KI) kaufen.

Das Problem: Sie alle wollen unterschiedliche Geschmacksrichtungen, aber Sie sind besorgt, dass der Bäcker Ihre spezifische Bestellung sieht und daraus auf Ihre persönlichen Geheimnisse schließen kann (z. B. „Ich bestelle einen glutenfreien Kuchen, weil ich Zöliakie habe“).
Der alte Weg: Jeder von Ihnen schickt seine Bestellung separat ab und verschlüsselt seine Wörter so, dass der Bäcker sie nicht lesen kann. Das ist langsam, teuer und der Bäcker könnte durch die verschlüsselten Wörter immer noch verwirrt werden.
Der SharedRequest-Weg:
1. Gruppierung: Das System bemerkt, dass 50 von Ihnen einfach nur „Schokoladenkuchen“ wollen und 50 „Vanillekuchen“. Es gruppiert Sie basierend auf dem, was Sie tun wollen (der generischen Anweisung), nicht darauf, wer Sie sind.
2. Das Vermischen: Für die „Schokoladen“-Gruppe nimmt das System Ihre echte Bestellung („Glutenfreier Schokoladenkuchen für [Name]“) und vermischt sie mit 10 Fake-Bestellungen („Glutenfreier Schokoladenkuchen für [Fake Name 1]“, „Normaler Schokoladenkuchen für [Fake Name 2]“, etc.).
3. Der Batch: Die Bäckerei erhält einen riesigen, durchmischten Haufen von 60 Schokoladenkuchen-Bestellungen. Sie kann nicht erkennen, welche davon Ihre ist und welche die Fälschungen sind. Sie backt den Kuchen einmal für die ganze Gruppe (spart Geld) und verteilt die Antworten.
4. Das Ergebnis: Sie erhalten Ihre spezifische Antwort, aber die Bäckerei sieht nur einen durcheinandergewürfelten Haufen ähnlicher Anfragen. Ihr Geheimnis ist in der Menge verborgen.

Wie es funktioniert (Die drei Akteure)

Das System nutzt drei Parteien, um diesen Zauber zu vollbringen:

Sie (Der Nutzer): Sie senden Ihre Frage. Sie verbergen Ihre geheimen Teile (wie Ihren Namen oder Beruf), indem Sie diese verschlüsseln (sie in eine verschlossene Box legen).
Der Noise Sampler (Der Vermittler): Dies ist ein vertrauenswürdiger Dritter (wie ein Hüter der Privatsphäre). Er erhält Ihre verschlossene Box. Er sieht sich die Art der Frage an, die Sie gestellt haben (z. B. „Finde ein Restaurant“), kann aber Ihr Geheimnis nicht sehen. Er:
- Findet andere Personen, die die gleiche Art von Frage stellen.
- Erzeugt künstliche „Rausch“-Versionen Ihres Geheimnisses (z. B. wenn Ihr Geheimnis „Cybersicherheit“ ist, generiert er Fake-Versionen wie „Marketing“ oder „Buchhaltung“).
- Mischt Ihr echtes Geheimnis mit den Fake-Versionen und vermengt alles miteinander.
Der Service Provider (Die KI-Bäckerei): Sie erhält den riesigen, durchmischten Haufen gemischter Fragen. Sie beantworten sie alle. Da sie nicht wissen können, welche Frage zu wem gehört, ist Ihre Privatsphäre geschützt. Sie senden die Antworten zurück an den Vermittler, der die korrekte Antwort an Sie weiterleitet.

Warum ist das besser?

Das Paper behauptet, dass diese Methode aus drei Gründen ein „Win-Win“ ist:

Es ist intelligenter (Bessere Utility): Im Gegensatz zu anderen Methoden, die Ihre Wörter so verändern, dass die Antwort ruiniert wird, bewahrt SharedRequest die Bedeutung Ihrer Frage. Die KI versteht Sie perfekt, weil das „Rauschen“ lediglich eine Mischung aus ähnlichen, plausiblen Optionen ist und kein Kauderwelsch. Die Autoren sagen, dass es 20 % besser funktioniert als bisherige Privatsphäre-Methoden.
Es ist günstiger (Kostenamortisierung): Da die KI die gesamte Gruppe auf einmal bearbeitet, werden die Kosten für die Generierung der „Fake“-Fragen unter allen Beteiligten aufgeteilt. Wenn 1.000 Menschen ähnliche Fragen stellen, sinkt die Kosten pro Person drastisch. Das Paper gibt an, dass dies Abfragen 5 Mal günstiger machen kann als Einzelabfragen.
Es ist flexibel (Modell-agnostisch): Sie müssen die KI nicht umbauen. Es funktioniert mit jeder bestehenden KI-Modell (wie ChatGPT oder Gemini), ohne dass das Unternehmen spezielle Software installieren muss.

Das Sicherheitsnetz

Das Paper befasst sich auch mit einem kniffligen Problem: Was ist, wenn das Team aus „Noise Sampler“ und „KI-Bäckerei“ sich verbündet, um zu betrügen?

Die Autoren schlagen eine stärkere Version vor, bei der es mehrere Noise Sampler gibt. Um Ihre Privatsphäre zu verletzen, müssten diese alle zusammenarbeiten (kolludieren) und dies exakt zur gleichen Zeit tun. Wenn auch nur einer von ihnen ehrlich bleibt, bleibt Ihr Geheimnis sicher.

Zusammenfassung

SharedRequest ist wie der Besuch eines vollbesetzten Konzerts, um sich in der Menge zu verstecken. Anstatt Ihr Geheimnis dem DJ (der KI) allein zuzuflüstern, schließen Sie sich einer riesigen Gruppe an, in der alle ähnliche Fragen stellen. Der DJ hört ein Brüllen ähnlicher Anfragen und kann Ihre spezifische Stimme nicht herausfiltern, aber Sie bekommen trotzdem Ihr Lied perfekt abgespielt, ohne dass die KI „dumm“ wird.

Technisches Resümee: SharedRequest

Problemstellung

Die weitverbreitete Bereitstellung öffentlicher Large Language Models (LLMs) wie ChatGPT hat eine kritische Spannung zwischen Nutzen und Nutzerprivatsphäre geschaffen. Während cloudbasierte LLMs transformative Fähigkeiten bieten, enthalten Nutzer-Prompts oft sensible Informationen (z. B. persönliche Merkmale, Krankengeschichte, juristische Details), die vor Dritten, einschließlich des Dienstanbieters, vertraulich behandelt werden müssen.

Bestehende Methoden zur privatsphärenwahrenden Inferenz stehen vor einem „Trilemma“ zwischen Privatsphäre, Nutzen und Effizienz:

Kryptographische Ansätze (SMPC): Methoden wie Iron, MPCFormer und SecFormer bieten starke Garantien für die Privatsphäre, führen jedoch zu prohibitiven Kommunikations- und Rechenaufwand, was die Skalierbarkeit einschränkt.
Lokale Differential Privacy (LDP): Ansätze wie RanText und CusText stören Prompts auf der Client-Seite, beeinträchtigen jedoch oft signifikant die Antwortqualität (Nutzen) und haben Schwierigkeiten bei Textgenerationsaufgaben.
Modellspezifische Modifikationen: Viele Lösungen erfordern Zugriff auf Modellparameter oder architektonische Änderungen, was für proprietäre Black-Box-Modelle nicht praktikabel ist.
Individuelle Perturbation: Aktuelle modellagnostische Methoden perturbieren typischerweise jeden Prompt unabhängig, was zu semantischer Verzerrung und hohen Abfragekosten führt, wenn mehrere verrauschte Varianten zur Gewährleistung der Privatsphäre generiert werden müssen.

Methodik: SharedRequest

Die Autoren schlagen SharedRequest vor, ein modellagnostisches Framework, das den Schutz der Privatsphäre auf der Batch-Ebene statt auf der Ebene des einzelnen Prompts neu formuliert. Die zentrale Erkenntnis ist, dass kommerzielle LLMs massive Batches von Anfragen verarbeiten, bei denen viele Nutzer semantisch äquivalente, generische Anweisungen teilen (z. B. „Was sind die empfohlenen Restaurants in [Ort]?“).

Kernmechanismus

SharedRequest operiert über ein Drei-Parteien-Protokoll bestehend aus Nutzern, einem Noise Sampler (einem externen Koordinator) und dem Service Provider (LLM-Besitzer).

Prompt-Dekomposition:
- Nutzer-Prompts werden in eine generische Anweisung ( $T_q$ ) und private Attribute ( $A_q$ ) aufgeteilt.
- Nutzer identifizieren private Attribute und ziehen eine Menge plausibler alternativer Attribute ( $A'$ ) aus einer vordefinierten Datenbank oder durch lokale Generierung.
Batch-Ebene Gruppierung und Rausch-Injektion:
- Der Noise Sampler erhält verschlüsselte private Attribute von den Nutzern. Er gruppiert Prompts basierend auf ihren generischen Anweisungen.
- Für jede Gruppe generiert der Sampler verrauschte Varianten, indem er die ursprünglichen privaten Attribute durch die gesampelten Alternativen ersetzt.
- Entscheidend ist, dass der Sampler einen Kombinations-Filtermechanismus einsetzt. Anstatt alle möglichen Attributkombinationen zu senden (was exponentiell groß wäre), nutzt er einen vortrainierten Diskriminator, um die „Echtheit“ der Attributkombinationen im Kontext zu bewerten. Nur Kombinationen, die einen Qualitäts-Schwellenwert überschreiten, werden ausgewählt. Dies stellt sicher, dass die verrauschten Prompts von echten ununterscheidbar sind.
Sichere Übertragung:
- Vorwärts-Übertragung: Nutzer verschlüsseln private Attribute mit dem öffentlichen Schlüssel des Service Providers. Nachrichten an den Noise Sampler werden mit dem öffentlichen Schlüssel des Samplers verschlüsselt. Dies stellt sicher, dass der Sampler nur generische Anweisungen und Kandidatenlisten sieht, während der Service Provider eine gemischte Menge aus echten und verrauschten Prompts sieht, diese aber nicht einem spezifischen Nutzer zuordnen kann.
- Rückwärts-Übertragung: Der Service Provider generiert Antworten für den Batch. Um zu verhindern, dass der Noise Sampler den Inhalt lernt, maskiert der Service Provider die Antworten mittels einer pseudozufälligen Maske, die aus einem vom Nutzer bereitgestellten Seed abgeleitet ist. Nutzer rekonstruieren die wahre Antwort über modulare Subtraktion.
Kosten-Amortisation:
- Der Service Provider aggregiert identische Prompts (sowohl echte als auch verrauschte) innerhalb eines Batches und generiert eine einzige Antwort pro eindeutigem Prompt.
- Die Inferenzkosten der „verrauschten“ Abfragen werden über den gesamten Batch der Nutzer amortisiert, die dieselbe generische Anweisung teilen.

Privatsphäre-Definition

Das Paper führt $(A_n, \epsilon)$ -Indistinguishability ein, eine Lockerung der Standard-Differential Privacy (DP).

Nachbarn: Zwei Mengen von Prompts gelten als Nachbarn, wenn eine von der anderen durch Ersetzen der privaten Attribute eines einzelnen Prompts durch eine „qualifizierte Alternative“ aus einer benutzerdefinierten Menge erhalten werden kann.
Garantie: Der Mechanismus stellt sicher, dass die Sichtweise des Service Providers (eine gemischte Menge von Prompts) hinsichtlich Änderungen der privaten Attribute ununterscheidbar bleibt, vorausgesetzt, der Noise Sampler und der Service Provider kolludieren nicht.

Zentrale Beiträge

Neuartiges Batch-Level-Paradigma: Ein modellagnostisches Framework, das semantisch äquivalente Anfragen zur gemeinsamen Verarbeitung gruppiert, was Privatsphäre durch gemischte verrauschte Varianten ermöglicht und die Kosten durch Batch-Level-Amortisation senkt.
Leichtgewichtiges Multi-Party-Protokoll: Ein Design, das die Anonymität der Nutzer wahrt und private Attribute vor dem Service Provider verbirgt, ohne dass Änderungen an der LLM-Architektur oder Zugriff auf Modellparameter erforderlich sind.
Theoretische Formalisierung: Formalisierung der Privatsphäre via $(A_n, \epsilon)$ -Indistinguishability und theoretische Analyse, die die Vorteile der Abfragekosten-Amortisation belegt, insbesondere unter ungleichmäßigen (Long-Tail-)Anfragedistributionen.
Koordination durch Dritte: Ein Mechanismus für effizientes Sampling verrauschter Abfragen, der die Rechenlast auf der Nutzerseite für Prompts mit mehreren privaten Attributen reduziert, indem die komplexe Auswahl von Kombinationen an den Noise Sampler ausgelagert wird.

Experimentelle Ergebnisse

Das Framework wurde auf drei privatsphärensensiblen Datensätzen evaluiert: Legal-QA, Medical-QA und MMLU-Biz.

Nutzen (Utility):
- Die „Original“-Version (oh sich selbst vereinfachende Prompts) erreichte einen Nutzen, der nahezu identisch mit der nicht-privaten Baseline war (weniger als 1 % Verlust).
- Im Vergleich zu State-of-the-Art modellagnostischen LDP-Baselines (RanText, CusText, DP-Prompt, InferDPT) erreichte SharedRequest einen um über 20 % höheren Nutzen (gemessen am F1-Score oder Qualitätsbewertungen) bei Privatsphäre-Budgets ( $\epsilon$ ) im Bereich von 1 bis 5.
Abfragekosten:
- Der Shared-Prompt-Mechanismus reduzierte die Abfragekosten um bis zu das 5,6-fache im Vergleich zu Nicht-Batch-Inferenz, insbesondere wenn die Verteilung der generischen Anweisungen konzentriert war (niedrige Entropie).
- Die Kostenreduktion skaliert mit der Batch-Größe und der Schiefe der Anfragedistribution.
Robustheit:
- Bei Inferenzangriffen, bei denen ein Server versucht, echte von verrauschten Prompts zu unterscheiden, reduzierte SharedRequest die Erfolgsrate der Angriffe um etwa 32,7 % im Vergleich zu Random-Sampling-Baselines.
- Das Framework behielt vergleichbare Attack Success Rates (ASR) zu anderen DP-Baselines bei, bot jedoch gleichzeitig einen signifikant höheren Nutzen.
Effizienz:
- Der Rechenaufwand für die Attributfilterung auf dem Noise Sampler war gering (unter 6,2 Sekunden pro Instruktionsgruppe für einen 1,5B-Parameter-Diskriminator).
- Der Kommunikationsaufwand blieb minimal (< 0,1 MB), vergleichbar mit Standard-DP-Methoden und signifikant niedriger als bei SMPC-basierten Ansätzen.

Bedeutung und Ansprüche

Das Paper behauptet, dass SharedRequest die grundlegenden Einschränkungen der aktuellen privatsphärenwahrenden LLM-Inferenz adressiert, indem es den Trade-off zwischen Privatsphäre, Nutzen und Effizienz aufbricht. Durch die Verschiebung des Privatsphäre-Paradigmas von individueller Perturbation hin zur Mixing auf Batch-Ebene nutzt das Framework die natürliche Redundanz in großflächigen LLM-Nutzungen aus, um die Kosten des Privatsphärenschutzes zu amortisieren.

Die Autoren betonen, dass dieser Ansatz modellagnostisch ist, was ihn sofort für proprietäre Black-Box-Modelle anwendbar macht, ohne die Zusammenarbeit des Dienstanbieters oder architektonische Änderungen zu erfordern. Die Ergebnisse legen nahe, dass SharedRequest für reale Szenarien mit konzentrierten Abfragedistributionen einen praktischen Weg zur Bereitstellung privatsphärenwahrender LLMs bietet, die einen hohen Nutzen beibehalten und gleichzeitig die Betriebskosten erheblich senken.

Anerkannte Limitationen:

Das Protokoll setzt voraus, dass der Noise Sampler und der Service Provider nicht kolludieren.
Nutzer sind dafür verantwortlich, private Attribute zu identifizieren und Alternativen zu generieren (obwohl Werkzeuge wie NER oder lokale LLMs hierbei helfen können).
Die Kostenvorteile werden maximiert, wenn die Abfragedistributionen ungleichmäßig sind; hochgradig einzigartige Abfragen erfahren weniger Amortisation.