💬 NLP

Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations

Das Paper stellt $P^3$ vor, ein Framework zur Wahrung der Privatsphäre, das die Entwurfsgenerierung eines serverseitigen Modells mit der retrieval-augmentierten Verfeinerung eines clientseitigen Modells kombiniert, um hochwertige personalisierte LLM-Ausgaben zu erzielen, ohne private Nutzerprofile gegenüber dem Server offenzulegen.

Ursprüngliche Autoren: Alireza Salemi, Hamed Zamani

Veröffentlicht 2026-01-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alireza Salemi, Hamed Zamani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten Weltklasse-Koch (das Server-Seitige Modell), der fast jedes Gericht perfekt zubereiten kann. Dieser Koch arbeitet jedoch in einer fernen, hochgesicherten Küche und weiß nichts über Ihre spezifischen Ernährungsbedürfnisse, Allergien oder Lieblingsgeschmäcker. Wenn Sie ihm eine einfache Bestellung wie „Mach mir ein Sandwich“ schicken, wird er ein generisches, sicheres Sandwich zubereiten.

Auf der anderen Seite haben Sie einen kleinen, lokalen Sous-Chef (das Client-Seitige Modell), der bei Ihnen in der Küche lebt. Dieser Sous-Chef kennt die Geschichte Ihrer Familie, Ihre Allergien und genau, was Sie lieben. Aber dieser Sous-Chef ist kein Meisterkoch; er kann allein kein komplexes Gourmet-Essen zubereiten, ohne die Küche abzufackeln.

Das Problem:
Wenn Sie eine perfekte, personalisierte Mahlzeit wollen, haben Sie normalerweise zwei schlechte Optionen:

Schicken Sie Ihr ganzes Rezeptbuch an den fernen Koch: Er bereitet ein großartiges Essen zu, aber nun weiß er alles über Sie (Ihre Geheimnisse, Ihre Geschichte, Ihre privaten Daten).
Lassen Sie den lokalen Sous-Chef alleine kochen: Er bewahrt Ihre Geheimnisse sicher auf, aber das Essen könnte mittelmäßig sein, weil ihm die Fähigkeiten des großen Chefs fehlen.

Die Lösung: Das $P^3$ -Framework
Dieses Paper stellt eine neue Art des Kochens namens $P^3$ vor. Es ist wie ein hochmoderner Prozess des „Probierens und Verfeinerns“, der es Ihnen ermöglicht, das Beste aus beiden Welten zu erhalten, ohne Ihr Rezeptbuch herauszugeben.

So funktioniert es, Schritt für Schritt:

Der Entwurf: Der ferne Meisterkoch beginnt mit dem Kochen. Er kennt Ihre Geheimnisse nicht, also rät er einfach, wie ein gutes Sandwich aussehen könnte, basierend auf Ihrer einfachen Bestellung. Er schreibt schnell eine Sequenz von Zutaten (sogenannte „Tokens“) auf einen Notizblock.
Der Geschmackstest: Der lokale Sous-Chef (der doch Ihr Rezeptbuch besitzt) liest den Entwurf des Meisterkochs. Er vergleicht ihn mit dem, was Sie tatsächlich wollen würden.
- Wenn der Entwurf gut aussieht: Sagt der Sous-Chef: „Ja, behalte das!“
- Wenn der Entwurf falsch ist: Sagt er: „Nein, das ist nicht richtig für dich“, und tauscht eine Zutat gegen eine bessere aus, von der er weiß, dass Sie sie mögen.
Der Filter: Bevor der Sous-Chef die Notizen zurück an den Meisterkoch sendet, prüft er, ob sich irgendwelche „Geheimzutaten“ (wie Ihre Privatadresse oder Kreditkartennummer) versehentlich in die Notizen eingeschlichen haben. Wenn er welche sieht, deckt er sie mit einem generischen Platzhalter wie [PII] ab, damit der ferne Koch sie niemals sieht.
Die Schleife: Der Meisterkoch nimmt die korrigierten Notizen, fügt die nächsten paar Zutaten hinzu und schickt sie zurück. Der Sous-Chef probiert und verfeinert erneut. Sie wiederholen diesen Tanz, bis die Mahlzeit fertig ist.

Warum ist das eine große Sache?

Privatsphäre: Der ferne Koch sieht niemals Ihr tatsächliches Rezeptbuch. Er sieht nur die finalen, genehmigten Zutaten. Das Paper zeigt, dass dies fast keine Informationen über Sie preisgibt, als wenn Sie nur eine einfache Frage stellen würden. Es ist der Unterschied zwischen dem, wenn man einem Fremden sagt „Ich habe Hunger“, und dem, wenn man ihm seine gesamte Krankenakte aushändigt.
Qualität: Da der Meisterkoch den Großteil der schweren Arbeit erledigt (er schreibt 90 % des Essens), ist das Endergebnis viel besser, als wenn der lokale Sous-Chef versuchen würde, das ganze Gericht allein zu kochen.
Effizienz: Der lokale Sous-Chef muss nur einen winzigen Teil der Arbeit leisten (etwa 9 % des gesamten Kochens), sodass er nicht Ihren Akku leert oder Ihr Telefon verlangsamt.

Die Ergebnisse
Die Autoren haben dies bei einer Herausforderung für „Personalisierte Beantwortung von Fragen“ getestet (wie etwa die Nutzung eines intelligenten Assistenten basierend auf Ihren vergangenen Fragen).

Besser als Raten: Es war viel besser als nur den Meisterkoch ohne persönliche Informationen zu fragen.
Besser als nur lokal: Es war viel besser, als den lokalen Sous-Chef alles alleine machen zu lassen.
Fast so gut wie „Leaky“: Es erreichte etwa 90–95 % der Qualität, die Sie bekämen, wenn Sie dem Meisterkoch tatsächlich Ihr gesamtes privates Profil übergeben würden – jedoch ohne dieses Profil tatsächlich preiszugeben.

Zusammenfassend
$P^3$ ist eine kluge Kollaboration zwischen einem leistungsstarken Cloud-Gehirn und einem kleinen, privaten lokalen Gehirn. Das Cloud-Gehirn schreibt die Geschichte, und das lokale Gehirn editiert sie, um sicherzustellen, dass sie nach Ihnen klingt, während es Ihr privates Tagebuch sicher in Ihrer Tasche verschlossen hält.

Technische Zusammenfassung: Verbesserung der Nutzerprivatsphäre in der personalisierten Generierung

Problemstellung
Personalisierung in Large Language Models (LLMs) basiert typischerweise auf Retrieval-Augmented Generation (RAG), bei der relevanter Kontext aus dem privaten Profil eines Nutzers abgerufen und dem Modell zugeführt wird, um die Antworten maßzuschneidern. Dies schafft jedoch einen grundlegenden Zielkonflikt:

Server-seitiges RAG: Bietet eine hochwertige Personalisierung durch leistungsstarke Cloud-Modelle, erfordert jedoch die Offenlegung privater Nutzerprofile gegenüber dem Anbieter, was erhebliche Datenschutzrisiken birgt.
Client-seitiges RAG: Bewahrt die Privatsphäre, indem das Profil auf dem Gerät des Nutzers verbleibt, ist jedoch durch die Rechenbeschränkungen von Edge-Hardware begrenzt, was zur Verwendung kleinerer, weniger fähiger Modelle zwingt, die oft eine geringere Leistung erbringen.

Bestehende datenschutzfreundliche Alternativen, wie etwa textuelle oder vektorbasierte Obfuskation, sind anfällig für Inversionsangriffe und erlauben es Anbietern, obfuskierte Daten zu sondieren. Homomorphe Verschlüsselung ist derzeit aufgrund des prohibitiven Rechenaufwands unpraktikabel. Das Paper adressiert die Notwendigkeit einer Methode, die hochkapazitive serverseitige Modelle für die Personalisierung nutzt, ohne das rohe private Kontextmaterial des Nutzers direkt preiszugeben.

Methodik: Das $P^3$ -Framework
Die Autoren schlagen $P^3$ vor (Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations), ein interaktives Framework, das die Generierung als einen kollaborativen Prozess zwischen einem großen serverseitigen Modell ( $M_{server}$ ) und einem kleinen clientseitigen Modell ( $M_{client}$ ) dekomponiert.

Architektur:
- Server-seitig: Ein großes, hochkapazitives Modell generiert eine Sequenz von $k$ „Draft“-Token basierend nur auf der Nutzeranfrage, ohne Zugriff auf das Nutzerprofil.
- Client-seitig: Ein kleineres Modell, das auf dem Gerät des Nutzers bereitgestellt wird, hat Zugriff auf das private Profil des Nutzers. Es ruft basierend auf der Anfrage den relevanten Kontext ( $C_q$ ) aus dem Profil ab.
- Verifizierungs- & Korrekturschleife:
  1. Der Server schlägt $k$ Token vor.
  2. Der Client evaluiert diese Token unter Berücksichtigung des abgerufenen persönlichen Kontextes.
  3. Für jeden Draft-Token $T_i$ berechnet der Client dessen Wahrscheinlichkeit ( $P_{T_i}$ ) und vergleicht sie mit der Wahrscheinlichkeit des wahrscheinlichsten alternativen Tokens ( $T^*_i$ ) gemäß dem Client-Modell.
  4. Akzeptanz: Wenn das Verhältnis $P_{T_i} / P_{T^*_i} \geq \tau$ (wobei $\tau$ ein Ablehnungsschwellenwert ist), wird der Token akzeptiert.
  5. Korrektur: Wenn das Verhältnis unter $\tau$ fällt, wird der Token abgelehnt und durch $T^*_i$ ersetzt. Die verbleibenden Draft-Token in diesem Batch werden verworfen, und der Server generiert einen neuen Batch, der auf dem korrigierten Präfix basiert.
- Privacy Filter: Bevor der korrigierte Präfix an den Server zurückgesendet wird, filtert der Client jegliche personenbezogenen Daten (PII) aus dem abgerufenen Kontext heraus und ersetzt diese durch einen Platzhalter (z. B. [PII]). Dies stellt sicher, dass der Server niemals das rohe Profil oder PII-haltige Korrekturen sieht.
Abgrenzung zum Speculative Decoding: Im Gegensatz zum Standard-Speculative-Decoding, bei dem ein kleines Modell entwirft und ein großes Modell verifiziert, um die Latenz zu reduzieren, kehrt $P^3$ die Rollen um (groß entwirft, klein verifiziert), um die Privatsphäre und Personalisierung zu priorisieren. Das Client-Modell weicht absichtlich von der Verteilung des Servers ab, um die Ausgabe in Richtung der Nutzerpräferenzen zu steuern.

Wesentliche Beiträge

Framework-Design: Einführung von $P^3$ , dem ersten Retrieval-Augmented-Verfahren für die LLM-Personalisierung, das die direkte Offenlegung von Nutzerprofilen gegenüber dem Server vermeidet.
Privatsphäre-Nutzen-Balance: Die Methode erreicht eine hohe Personalisierungsqualität, indem sie die Fähigkeiten des Servers nutzt und gleichzeitig die Informationsleckage auf die minimalen Informationen beschränkt, die implizit in den akzeptierten oder korrigierten Token enthalten sind.
Open Source: Die Autoren haben die Implementierung quelloffen zur Förderung weiterer Forschung in der privatsphärenbewussten Retrieval-Augmented Generation zur Verfügung gestellt.

Experimentelle Ergebnisse
Die Experimente wurden auf dem LaMP-QA Benchmark durchgeführt, der drei Datensätze umfasst: Kunst & Unterhaltung, Lifestyle & Persönliche Entwicklung sowie Gesellschaft & Kultur. Das System verwendete die Familien Qwen 2.5 (14B/3B) und Gemma 3 (12B/4B).

Leistung:
- $P^3$ übertraf konsistent sowohl nicht-personalisierte serverseitige Baselines als auch vollständig clientseitige personalisierte Baselines über alle Datensätze hinweg.
- Es erreichte statistisch signifikante Verbesserungen von durchschnittlich 7,4 % bis 9 % gegenüber den besten nicht-leaky Baselines.
- $P^3$ stellte 90,3 % bis 95,7 % des Nutzens eines „Upper-Bound“-Szenarios wieder her, in dem das vollständige Profil dem Server offengelegt wurde (ein „leaky“ Setting).
Privatsphäre-Analyse:
- Linkability Attack: Ein Angreifer, der versucht, das Nutzerprofil aus einer Menge von Kandidaten zu identifizieren, erreichte mit $P^3$ lediglich 24 % Genauigkeit, verglichen mit 22,5 % für eine Query-only-Baseline und 20 % für eine Random-Baseline. Dies stellt eine marginale Steigerung der Leckage um 1,5 % gegenüber der nicht-personalisierten Baseline dar.
- Attribute Inference Attack: Die Genauigkeit eines Angreifers bei der Ableitung von Nutzerattributen (z. B. Beruf, Standort) lag bei 58,5 % mit $P^3$ , was nur 3,5 % höher ist als die Query-only-Baseline (55 %). Dies ist signifikant niedriger als die 100 % Genauigkeit, die erzielt wird, wenn das vollständige Profil geteilt wird.
Effizienz:
- Das Client-Modell generiert nur 9,2 % der gesamten Tokens der finalen Antwort.
- Die Client-seitige Laufzeit macht nur einen Bruchteil der Gesamtlatenz aus (z. B. ~4,9s von insgesamt 23,6s), wobei der Großteil der Berechnung auf dem Server erfolgt.
- $P^3$ mit einem 3B Client-Modell übertraf eine vollständig clientseitige RAG-Baseline unter Verwendung eines 3B Modells deutlich, während es weniger Nutzer-Laufzeit und VRAM beanspruchte.

Bedeutung und Ansprüche
Das Paper behauptet, dass $P^3$ eine praktische und effektive Lösung für die personalisierte Generierung bietet, die die Privatsphäre verbessert, ohne die Leistung zu opfern. Es zeigt, dass es möglich ist, leistungsstarke, im Cloud-Hosting befindliche LLMs für die Personalisierung zu nutzen und gleichzeitig die Kontrolle über persönliche Daten zu behalten. Die Autoren positionieren diese Arbeit als einen Schritt hin zu einer prinzipienbasierten Risikoreduzierung in privatsphärensensiblen Anwendungen und bieten einen Mittelweg zwischen der absoluten Isolation lokaler Modelle und der uneingeschränkten Offenlegung traditioneller serverseitiger RAG. Die Ergebnisse legen nahe, dass $P^3$ nur eine marginale zusätzliche Leckage im Vergleich zur Übermittlung einer Suchanfrage ohne jeglichen persönlichen Kontext einführt, was es zu einer lebensfähigen Alternative für Szenarien macht, in denen strikte Datenschutzgarantien erforderlich sind, aber auch eine hohe Modellnutzen erwünscht ist.

Technische Zusammenfassung: Verbesserung der Nutzerprivatsphäre in der personalisierten Generierung

Mehr davon