💬 NLP

CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs

Das Papier schlägt CURP vor, ein neuartiges Framework, das einen bidirektionalen Benutzer-Encoder und ein diskretes Prototyp-Codebuch nutzt, um eine effiziente, skalierbare und interpretierbare personalisierte Generierung mit Large Language Models unter Verwendung nur einer geringen Anzahl von trainierbaren Parametern zu erreichen.

Ursprüngliche Autoren: Liang Wang, Xinyi Mou, Xiaoyou Liu, Xuanjing Huang, Zhongyu Wei

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Liang Wang, Xinyi Mou, Xiaoyou Liu, Xuanjing Huang, Zhongyu Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber sehr generischen Roboter beizubringen, wie eine bestimmte Person zu sprechen. Sie möchten, dass der Roboter wie Sie klingt – Ihre Witze, Ihre Meinungen, Ihr Stil – ohne dass Sie den gesamten „Verstand“ des Roboters jedes Mal neu aufbauen müssen, wenn Sie mit ihm sprechen.

Dieses Paper stellt eine neue Methode namens CURP vor, um dieses Problem zu lösen. So funktioniert es, erklärt durch einfache Analogien:

Das Problem: Zwei schlechte Optionen

Derzeit gibt es zwei Hauptwege, um einen Roboter so klingen zu lassen wie eine bestimmte Person, und beide haben große Mängel:

Die „Tagebuch lesen“-Methode (Prompting): Sie geben dem Roboter jedes Mal, wenn Sie eine Frage stellen, einen riesigen Stapel alter Texte, Tweets und E-Mails der Person.
- Der Mangel: Es ist, als würde man versuchen, eine Nadel im Heuhaufen zu finden. Der Roboter wird durch all das zusätzliche Rauschen verwirrt, und es ist langsam und teuer, jedes Mal so viel Text zu lesen.
Die „Gehirn klonen“-Methode (Training): Sie nehmen eine separate Kopie des Robotergehirns und trainieren es speziell für diese eine Person nach.
- Der Mangel: Das ist unglaublich teuer. Wenn Sie eine Million Nutzer haben, benötigen Sie eine Million verschiedene Robotergehirne. Es ist, als würde man für jeden einzelnen Kunden in einem Restaurant einen neuen Koch einstellen.

Die Lösung: Das „Lego-Persönlichkeits-Kit“ (CURP)

Die Autoren schlagen einen Mittelweg vor, der CURP genannt wird. Anstatt das ganze Tagebuch zu lesen oder das Gehirn zu klonen, verwenden sie ein Codebuch.

Betrachten Sie das Codebuch als eine riesige Kiste mit Lego-Steinen, bei denen jeder Stein ein bestimmtes Persönlichkeitsmerkmal oder ein Verhaltensmuster repräsentiert (z. B. „Liebt Sport“, „Ist sehr höflich“, „Benutzt Slang“, „Ist ein Teenager“).

So funktioniert das System in drei Schritten:

1. Der Decoder (Der Übersetzer)

Zuer der prüft das System die Historie eines Nutzers (seine vergangenen Tweets oder Chats). Anstatt den rohen Text zu speichern, verwendet es einen speziellen Übersetzer, um herauszufinden, welche „Lego-Steine“ diese Person am besten beschreiben.

Beispiel: Es könnte entscheiden, dass dieser Nutzer aus besteht aus: #Teenager + #Lustig + #LiebtBurger.
Es speichert nicht den Text; es speichert nur die Codes für diese Steine.

2. Das Codebuch (Die gemeinsame Bibliothek)

Alle Nutzer teilen sich dieselbe Kiste mit Lego-Steinen. Dies ist das „Codebuch“.

Da alle dieselben Steine verwenden, kann das System lernen, wie „Lustig“ oder „Höflich“ aussieht, indem es die Daten von allen gleichzeitig betrachtet. Das macht es sehr effizient.
Das System lernt, diese Steine zu mischen und zu kombinieren, um ein einzigartiges „Persönlichkeitsprofil“ für jeden Nutzer zu erstellen.

3. Der Generator (Der Künstler)

Wenn der Roboter eine Frage beantworten muss, liest er nicht das Tagebuch des Nutzers. Stattdessen schaut er auf die spezifische Mischung der Lego-Steine dieses Nutzers (z. B. „Oh, dieser Nutzer ist #Teenager + #Lustig“) und nutzt dies, um seine Antwort zu leiten.

Es ist wie ein Künstler, der genau weiß, wie man die Farben mischt, um ein bestimmtes Porträt zu malen, ohne das Originalfoto erneut sehen zu müssen.

Warum ist das eine große Sache?

Es ist winzig und schnell: Das System muss nur etwa 20 Millionen „einstellbare Knöpfe“ (Parameter) speichern, um alle Nutzer zu handhaben. Das ist winzig im Vergleich zur Größe des eigentlichen Robotergehirns. Es ist wie eine kleine Fernbedienung, mit der man die Persönlichkeit eines riesigen Fernsehers ändern kann.
Es ist privat: Da das System nur die „Lego-Codes“ (wie #Teenager) statt der tatsächlichen Textnachrichten überträgt, ist es für Hacker viel schwieriger, private Informationen zu stehlen. Es ist, als würde man eine Einkaufsliste mit Zutaten senden anstatt das fertige Essen.
Es ist flexibel: Sie können das Gehirn des Roboters (den „Decoder“) austauschen, und das Lego-Kit funktioniert trotzdem. Die Persönlichkeits-Codes sind universell.

Die Ergebnisse

Die Forscher haben dies bei vier verschiedenen Aufgaben getestet: Beantwortung von Fragen, Schreiben von Nachrichten-Schlagzeilen, Umschreiben von Tweets und Schreiben von Produktbewertungen.

Das Ergebnis: CURP schlug fast alle anderen Methoden. Es war genauer als die „Tagebuch lesen“-Methode und genauso gut wie die „Gehirn klonen“-Methode, aber es war viel günstiger und schneller im Betrieb.
Der „Aha!“-Moment: Sie fanden heraus, dass CURP auch dann noch gut funktionierte, wenn sie dem Roboter weniger vergangene Nachrichten zum Betrachten gaben. Das bedeutet, dass das System wirklich das Wesen der Person versteht und nicht nur die spezifischen Wörter, die sie verwendet hat.

Zusammenfassend

CURP ist wie die Gabe eines universellen Persönlichkeits-Kits an einen Roboter. Anstatt jedes Wort zu memorieren, das eine Person jemals gesagt hat, lernt der Roboter den „Vibe“ einer Person mithilfe eines Satzes vordefinierter, gemeinsamer Bausteine zu erkennen. Dies macht Personalisierung schnell, günstig und privat, ohne die Qualität zu opfern.

Technisches Resümee: CURP (Codebook-basierte kontinuierliche Nutzerrepräsentation für personalisierte Generierung mit LLMs)

1. Problemstellung

Derzeitige Ansätze zur Nutzermodellierung für Large Language Models (LLMs) stehen vor einem grundlegenden Spannungsverhältnis zwischen Personalisierungs-Fidelität und rechnerischer Effizienz. Bestehende Methoden fallen im Allgemeinen in zwei Paradigmen, die beide signifikante Einschränkungen aufweisen:

Nicht-parametrisches Prompting: Injiziert Nutzerhistorie oder Persona-Beschreibungen direkt in den Prompt. Während dies leichtgewichtig und universell einsetzbar ist, leidet dieser Ansatz oft unter Rauschen, Redundanz und einer Inflation der Kontextlänge, was zu unpräzisen oder stereotypen Ausgaben führt.
Parametrisches Fine-Tuning: Passt die Modellgewichte (z. B. via LoRA oder Full Fine-Tuning) an spezifische Nutzerdaten an. Dies erreicht eine hohe Fidelität, ist jedoch rechentechnisch prohibitiv und im großen Maßstab unpraktikabel, da es typischerweise das Training eines separaten Modells oder Adapters für jeden Nutzer erfordert.

Die zentrale Herausforderung, die diese Arbeit adressiert, ist die Frage, wie eine getreue Nutzersimulation erreicht werden kann, die eine hohe Qualität der Personalisierung mit rechnerischer Effizienz und Skalierbarkeit in Einklang bringt.

2. Methodik: Das CURP-Framework

Die Autoren schlagen CURP vor, ein Framework, das Nutzer durch einen gemeinsamen, strukturierten latenten Prototypenraum modelliert, anstatt durch Rohtext oder nutzerspezifische Gewichte. Die Kernidee ist inspiriert von der Selbstkategorisierungstheorie (Self-Categorization Theory, SCT), die postuliert, dass Identität durch eine Mischung aus geteilten sozialen Prototypen (z. B. „Teenager“, „Gläubig“, „Liebt Sport“) entsteht und nicht durch ein festes, isoliertes Selbstkonzept.

Kernkomponenten

Nutzer-Encoder ( $E$ ): Eine bidirektionale, vortrainierte Encoder-only-Architektur (z. B. Contriever), die die historischen Verhaltensdaten eines Nutzers in dichte Tensorrepräsentationen destilliert. Dies ersetzt naive Textkonkatenation und reduziert Rauschen sowie die Kontextlänge.
Prototypen-Codebuch ( $C$ ): Ein lernbares, diskretes Codebuch, in dem jeder Eintrag einen kohärenten Verhaltensprototypen repräsentiert.
- Quantisierung: Nutzer-Embeddings werden in $L$ Subspaces zerlegt und mittels Product Quantization (PQ) quantisiert. Jedes Nutzerereignis wird auf eine spärliche Kombination von $L$ diskreten Indizes aus dem gemeinsamen Codebuch abgebildet.
- Interpretierbarkeit: Die resultierende Repräsentation ist eine Kombination aus Prototypen (z. B. #Teenager + #Gläubig + #Lustig), was Interpretierbarkeit und Vorteile beim Datenschutz bietet (Übertragung lediglich von Indizes).
Decoder ( $D$ ): Ein eingefrorener LLM (z. B. Qwen-2.5), der personalisierte Antworten generiert. Ein leichtgewichtiges Multi-Layer Perceptron (MLP) projiziert die quantisierten Prototypen-Embeddings in den Embedding-Raum des Decoders, welche dann dem Task-Query vorangestellt werden, um die Generierung zu konditionieren.

Zweistufige Trainingspipeline

Stufe 1: Konstruktion des Prototypen-Codebuchs (PCC):
- Trainiert auf einem groß angelegten Verhaltenspool (z. B. 24 Mio. Historien von 150k Nutzern).
- Verwendet einen balancierten k-means-Algorithmus zur Initialisierung des Codebuchs und optimiert auf drei Ziele:
  - Quantisierungsverlust ( $L_{quant}$ ): Minimiert den Rekonstruktionsfehler zwischen Original und quantisierten Embeddings.
  - Diversitätsverlust ( $L_{div}$ ): Stellt sicher, dass die Codebuch-Einträge unterscheidbar sind.
  - Nutzungsverlust ( $L_{usage}$ ): Verhindert einen Codebuch-Kollaps, indem eine gleichmäßige Nutzung aller Einträge gefördert wird.
Stufe 2: Prototypen-Verhaltensabgleich (PBA):
- Ein leichtgewichtiger Adapter (MLP) wird trainiert, um die quantisierte Prototypen-Repräsentation des Nutzers in den Raum des eingefrorenen LLMs abzubilden.
- Das LLM selbst bleibt eingefroren; nur der Adapter und das Codebuch (falls feinjustiert) werden aktualisiert. Dies macht den Ansatz modellagnostisch und hocheffizient.

3. Zentrale Beiträge

Prototypen-basierter Codebuch-Mechanismus: Ersetzt fragile textuelle Beschreibungen durch kompakte, steuerbare, kontinuierliche Embeddings. Das quantisierte Codebuch ermöglicht eine datenschutzfreundliche Cloud-Edge-Kollaboration, indem lediglich diskrete Code-Indizes anstelle von vollständigen Embeddings oder Rohhistorien übertragen werden.
Zweistufiges Trainingsframework: Ermöglicht es dem Modell, Nutzerprototypen zu verstehen und zu nutzen, ohne ein zusätzliches Training des großen LLM-Backbones zu erfordern, was die Skalierbarkeit sicherstellt.
Ausgewogene Performance: Erreicht eine praktische Balance zwischen Personalisierungs-Fidelität und Effizienz, indem es etwa 20 Mio. trainierbare Parameter (ca. 0,2 % der Gesamtmodellgröße) verwendet, im Vergleich zu Methoden, die ein Fine-Tuning pro Nutzer erfordern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CURP über vier diverse Personalisierungsaufgaben hinweg: Reddit QA (RQ), News Headline Generation (NH), Tweet Paraphrasing (TP) und Review Writing (RW).

Performance: CURP übertraf die starken Baselines konsistent und erreichte State-of-the-Art-Ergebnisse bei 70 % der Metriken über alle Aufgaben hinweg. Es war sowohl Prompting-basierten Methoden (z. B. ICL, RAG, CoT) als auch trainingsbasierten Methoden (z. B. LoRA, OPPU, Soft Prompt) überlegen.
Effizienz: Im Gegensatz zu OPPU, das 8 Mio. Parameter pro Nutzer benötigt, nutzt CURP ein gemeinsames Codebuch und einen kleinen Adapter, was die Rechenkosten drastisch reduziert.
Robustheit:
- Historienlänge: Im Gegensatz zu ICL und LoRA, die mit zunehmender Kontextlänge an Qualität verlieren, bleibt CURP selbst bei variierenden Anzahlen historischer Interaktionen stabil.
- Generalisierung: Das auf einem Datensatz (Reddit QA) trainierte Codebuch behielt eine hohe Nützlichkeit bei, wenn es auf andere Aufgaben mit eingefrorenen Gewichten angewendet wurde, was die übertragbaren semantischen Muster demonstriert.
- Architekturunabhängigkeit: Das Framework performte kompetitiv über verschiedene Encoder-Decoder-Kombinationen hinweg (z. B. RoBERTa+Qwen, Contriever+LLaMA).
Interpretierbarkeit: Eine Analyse der Codebuch-Indizes zeigte, dass verschiedene Subspaces korrespondierenden semantischen Konzepten entsprechen (z. B. thematische Konsistenz, Sentiment und Standpunkt), was die strukturierte Natur der gelernten Prototypen validiert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CURP eine neuartige Lösung für das Effizienz-Fidelitäts-Dilemma bei LLM-basierter Personalisierung bietet. Durch die Zerlegung von Nutzern in Kombinationen aus lernbaren, interpretierbaren Prototypen ermöglicht das Framework:

Milderung von Datensparsamkeit: Der gemeinsame latente Raum ermöglicht das Lernen aus aggregierten Signalen über verschiedene Nutzer hinweg, während individuelle Unterschiede durch flexible Mischung bewahrt werden.
Verbesserung des Datenschutzes: Die diskrete Natur der Codebuch-Indizes verhindert die Übertragung sensibler Rohnutzerdaten oder vollständiger Embeddings.
Skalierbarkeit: Der Ansatz ist für den realen Einsatz praktikabel, da er die prohibitiven Kosten eines pro-Nutzer Fine-Tunings vermeidet und gleichzeitig eine hohe Generierungsqualität beibehält.

Die Autoren weisen auf Limitationen hin, einschließlich des Mangels an expliziten Persona-Beschreibungen in den Downstream-Datensätzen und des potenziellen Verlusts feingranularer Verhaltensmuster (z. B. gewohnte Wortwahl) durch die Quantisierung. Sie behaupten jedoch, dass das Framework eine robuste, skalierbare und interpretierbare Basis für personalisierte Generierung bietet.