💬 NLP

Self-supervised User Profile Generation for Personalization

Das Paper stellt BUMP vor, ein selbstüberwachtes Framework, das ein Large Language Model mittels eines bidirektionalen In-Batch-Ranking-Ziels mit GRPO darauf trainiert, Nutzerprofile für Personalisierung zu generieren, wodurch die Notwendigkeit für teure Labels für nachgelagerte Aufgaben eliminiert wird, während gleichzeitig eine vergleichbare oder bessere Leistung als bei überwachten Methoden erzielt wird.

Ursprüngliche Autoren: Clark Mingxuan Ju, Yuwei Qiu, Tong Zhao, Neil Shah

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Clark Mingxuan Ju, Yuwei Qiu, Tong Zhao, Neil Shah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, aber etwas vergesslichen Assistenten (die KI). Sie möchten, dass dieser Assistent Sie so gut kennt, dass er E-Mails schreiben, Filme empfehlen oder Fragen genau so beantwortet, wie Sie es mögen.

Das Problem ist: Sie haben über die Jahre hinweg tausende Interaktionen mit diesem Assistenten. Wenn Sie versuchen, dem Assistenten bei jeder Frage die gesamte Historie zu füttern, wird er überfordert, langsam und verwirrt. Es ist, als würde man versuchen, eine ganze Bibliothek zu lesen, um nur ein einziges bestimmtes Buch zu finden.

Die Lösung: Ein „Benutzer-Ausweis“
Anstatt die ganze Bibliothek auf den Assistenten zu stürzen, schlägt das Paper vor, für jeden Nutzer einen kurzen, natürlichsprachlichen „Ausweis“ oder ein Profil zu erstellen. Dieses Profil fasst zusammen, wer Sie sind und was Sie mögen. Der Assistent liest diesen kurzen Ausweis, bevor er Ihre Frage beantwortet, wodurch es sich anfühlt, als kenne er Sie persönlich.

Der alte Weg vs. der neue Weg (BUMP)

Der alte Weg: Um die KI darin zu lehren, diese Ausweise zu schreiben, benötigten Forscher normalerweise einen Lehrer, der jeden einzelnen Ausweis bewertet. „Dieser Ausweis ist gut für Filmempfehlungen“, würde der Lehrer sagen. „Dieser hier ist schlecht für das Schreiben von E-Mails.“ Das ist teuer, langsam und erfordert, dass ein Mensch Daten für jede neue Aufgabe kennzeichnet.
Der neue Weg (BUMP): Die Autoren entwickelten ein System namens BUMP (Bidirectional User Modeling via Profiles). Es lehrt die KI, diese Profile ohne menschliche Lehrer oder Kennzeichnungen zu schreiben. Es nutzt eine „Selbstkontroll“-Methik.

Wie BUMP funktioniert: Der „Zwei-Wege-Spiegel“-Test
Stellen Sie sich einen Raum voller Menschen vor (einen Stapel von Nutzern). Die KI versucht, ein Profil für Person A zu schreiben. Um zu sehen, ob das Profil gut ist, führt sie zwei Tests mit einer kleinen, eingefrorenen „Richter“-KI durch:

Der „Wer bin ich?“-Test (Vorwärtsrichtung):
Die KI zeigt dem Richter das neue Profil von Person A und einen Stapel aktueller Aktivitäten von Person A und mehreren anderen Personen.
- Die Frage: „Welche dieser Aktivitäten gehören basierend auf diesem Profil zu Person A?“
- Das Ziel: Wenn das Profil gut ist, sollte der Richter die Aktivitäten von Person A problemlos gegenüber allen anderen auswählen können.
Der „Wer bin ich?“-Test (Rückwärtsrichtung):
Die KI zeigt dem Richter eine der aktuellen Aktivitäten von Person A und einen Stapel Profile von Person A und den anderen Personen.
- Die Frage: „Welches Profil passt basierend auf dieser Aktivität am besten zu dieser Person?“
- Das Ziel: Wenn das Profil gut ist, sollte der Richter sofort das Profil von Person A gegenüber den anderen Profilen auswählen.

Wenn die KI beide Tests besteht, weiß sie, dass sie ein Profil geschrieben hat, das die Identität dieser spezifischen Person wirklich einfängt. Sie lernt, indem sie versucht, diese Tests immer wieder zu bestehen, wobei sie den „Richter“ nutzt, um sich selbst zu bewerten, ohne jemals einen Menschen zu benötigen, der „Gut gemacht!“ sagt.

Das „Hard Mode“-Upgrade (BUMP+)
Manchmal findet der „Richter“ es zu einfach, Menschen voneinander zu unterscheiden (z. B. ist der Vergleich zwischen dem Profil eines Kochs und dem eines Rockstars offensichtlich). Um die KI intelligenter zu machen, fügt BUMP+ einen „Hard Mode“ hinzu. Es sucht gezielt nach Menschen, die sehr ähnlich sind (wie zwei Köche), und zwingt die KI dazu, ein Profil zu schreiben, mit dem man sie voneinander unterscheiden kann. Dies macht das Profil viel präziser.

Die Ergebnisse
Das Paper testete dies an einem Standard-Datensatz (LaMP). Sie fanden heraus:

Ihr selbstlernendes System (BUMP+) schnitt genauso gut ab wie oder sogar besser als Systeme, die eine teure menschliche Kennzeichnung erforderten.
Ihr System, das auf einem relativ kleinen Open-Source-Modell läuft, schlug eine massive, teure, geschlossene KI (Gemini-3-Pro) bei Personalisierungsaufgaben.
Es funktioniert, indem es die lange Historie eines Nutzers in eine kurze, nützliche Zusammenfassung komprimiert, die die KI wie einen langjährigen Freund wirken lässt.

Zusammenfassend
BUMP ist eine Methode, um eine KI dazu zu bringen, eine perfekte „Biografie“ für Sie zu schreiben – nicht, indem ein Mensch ihre Arbeit bewertet, sondern indem die KI ein Spiel von „Profil zu Person zuordnen“ gegen eine Menge anderer Nutzer spielt. Es ist ein intelligenterer, günstigerer und skalierbarerer Weg, um eine KI persönlich wirken zu lassen.

Technisches Resümee: Bidirektionale Nutzermodellierung via Profile (BUMP)

Problemstellung

Die Personalisierung von Large Language Models (LLMs) ist eine kritische Herausforderung, da diese Modelle in Bereichen wie Empfehlung, Suche, Dialog und Content-Generierung eingesetzt werden. Traditionelle Methoden zur Nutzerrepräsentation, wie etwa Collaborative-Filtering-Embeddings, lassen sich nicht natürlich mit Instruktions-optimierten LLMs verbinden, die auf Prompts zur Konditionierung angewiesen sind. Zudem ist das einfache Anhängen der gesamten Interaktionshistorie eines Nutzers an einen Prompt aufgrund von Kontextfenster-Limits, Latenz und dem „Lost in the Middle“-Phänomen – bei dem relevante Signale in langen Kontexten degradieren – nicht skalierbar.

Bestehende Ansätze zur Generierung natürlicher Sprach-Nutzerprofile stützen sich typischerweise auf explizite Belohnungen (Rewards), die aus gelabelten Downstream-Aufgaben abgeleitet werden (z. B. Klickraten oder spezifische Klassifikationslabels). Diese Abhängigkeit schafft erhebliche Engpässe:

Skalierbarkeit: Belohnungen sind teuer und spärlich (sparse), da sie für jede Zielaufgabe eine annotierte Überwachung erfordern.
Generalisierung: Profile, die für eine spezifische gelabelte Aufgabe optimiert wurden, lassen sich möglicherweise nicht gut auf andere Domänen oder Zero-Shot-Szenarien übertragen.
Bias: Profile werden zu Merkmalen (Features), die für spezifische Klassifikatoren entwickelt wurden, anstatt als treue Beschreibungen des Nutzers zu dienen.

Das Paper postuliert, dass ein robuster Profilgenerator ohne jegliche Labels für Downstream-Aufgaben trainierbar sein sollte, indem er sich ausschließlich auf rohe Interaktionsprotokolle stützt.

Methodik: BUMP

Die Autoren führen Bidirectional User Modeling via Profiles (BUMP) ein, ein selbstüberwachtes (self-supervised) Framework, das einen Profilgenerator unter Verwendung ausschließlich roher Nutzerinteraktionsdaten trainiert. Die Kernintuition ist, dass ein hochwertiges Profil zwei komplementäre Eigenschaften erfüllen muss:

Prädiktiv: Das Profil sollte die zukünftigen (ausgelassenen) Interaktionen des Nutzers vorhersagen.
Identifizierbar: Die Interaktionen des Nutzers sollten das Profil unter anderen Nutzern eindeutig identifizieren.

Trainings-Framework

Das System verwendet einen Group Relative Policy Optimization (GRPO) Algorithmus, um eine Policy $\pi_\theta$ (den Profilgenerator) unter Verwendung eines kleinen, eingefrorenen LLM als Richter ( $J$ ) zu trainieren. Der Trainingsprozess operiert über einen Batch von Nutzern $\mathcal{B}$ :

Datenpartitionierung: Für jeden Nutzer $u$ wird die Interaktionshistorie in ein sichtbares Präfix ( $H^{vis}_u$ ) zur Generierung und einen ausgelassenen Teil ( $H^{ho}_u$ ) zur Überwachung aufgeteilt.
Bidirektionales Reward-Design: Der eingefrorene Richter $J$ $J$ berechnet einen dichten Reward basierend auf zwei Ranking-Richtungen:
- Vorwärts-Richtung (Profil $\to$ Historie): Das generierte Profil $s_u$ wird als Query verwendet, um die ausgelassenen Items des Nutzers ( $H^{ho}_u$ ) gegenüber In-Batch-Items anderer Nutzer zu ranken. Der Reward ist ein Multi-Positive NDCG Score.
- Rückwärts-Richtung (Historie $\to$ Profil): Ein ausgelassenes Item $h^{(p)}_u$ wird als Query verwendet, um das generierte Profil $s_u$ des Nutzers gegenüber den Profilen anderer Nutzer im Batch zu ranken. Der Reward ist ein Single-Positive NDCG Score.
Regularisierung:
- Positions-Debiasing: Um den Positions-Bias von LLM-List-Rankern zu mildern, werden die Kandidaten-Items in $M$ zufälligen Reihen präsentiert und die NDCG-Scores gemittelt.
- Längen-Penalty: Eine weiche Strafe wird angewendet, falls das Profil ein Token-Limit $T$ überschreitet, um zu verhindern, dass das Modell durch das Auffüllen von Profilen mit generischem Boilerplate-Text „Reward Hacking“ betreibt.
Optimierung: Der Gesamt-Reward $R(s_u)$ kombiniert die Vorwärts- und Rückwärts-NDCG-Scores abzüglich der Längen-Penalty. GRPO aktualisiert $\pi_\theta$ , um diesen Reward zu maximieren.

BUMP+: Hard-Negative Mining

Um das Problem zu adressieren, dass zufällige In-Batch-Negative zu einfach sind (topisch unzusammenhängend), schlagen die Autoren BUMP+ vor. Diese Variante nutzt ein eingefrorenes Embedding-Modell (BGE), um schwierigere Negative zu finden:

Vorwärts: Wählt ausgelassene Items des Nutzers aus, die topisch verschieden von seiner sichtbaren Historie sind (geringe Ähnlichkeit zum Zentroid der Historie).
Rückwärts: Wählt Profile von Nutzern aus, deren sichtbare Historien topisch ähnlich zur Ziel-Historie des Nutzers sind, wodurch der Richter gezwungen wird, zwischen hochgradig ähnlichen Nutzerprofilen zu unterscheiden.

Zentrale Beiträge

Neuartiges selbstüberwachtes Ziel (Objective): Das Paper formuliert die Generierung von Nutzerprofilen als bidirektionales In-Batch-Ranking-Problem und leitet daraus dichte Überwachung aus rohen Logs ab, ohne die Notwendigkeit von Downstream-Labels.
BUMP und BUMP+: Die Instanziierung dieses Ziels mittels GRPO und einem eingefrorenen LLM-Richter, erweitert durch Hard-Negative-Mining zur Schärfung des Lernsignals.
Empirische Validierung: Nachweis, dass ein selbstüberwachtes 4B-Parameter-Modell geschlossene APIs (z. B. Gemini-3-Pro) und vorherige Methoden, die auf gelabelten Rewards basieren, erreichen oder übertreffen kann.

Experimentelle Ergebnisse

Das Framework wurde auf dem LaMP-Benchmark evaluiert, der sechs Aufgaben in fünf Domänen (Klassifikation, Regression und Generierung) umfasst.

Performance vs. aufgaben-überwachte Methoden: BUMP+ erreichte oder übertraf die „Direct Reward“-Baseline (die auf gelabelten Downstream-Signalen basiert) in 9 von 11 Metrik-Zeilen. Dies bestätigt, dass Selbstüberwachung gelabelte Rewards ersetzen kann.
Performance vs. Closed-Source APIs: BUMP+ übertraf die Closed-Source Gemini-3-Pro in allen 11 Metrik-Zeilen, obwohl es ein signifikant kleineres Open-Weight-Modell (4B) verwendet.
Vergleich mit roher Historie: Während die rohe Historie bei Generierungsaufgaben (bei denen oberflächliche N-Gramm-Überlappungen belohnt werden) am besten abschnitt, übertraf BUMP+ die rohe Historie signifikant bei Klassifikations- und Rating-Aufgaben, bei denen topische Präferenzen wichtiger sind als wortgetreuer Text.
Ablationsstudien:
- Das Entfernen entweder der Vorwärts- oder der Rückwärts-Richtung verschlechterte die Performance, was bestätigt, dass beide notwendig sind.
- Die „Vorwärts“-Richtung allein war effektiver als die „Rückwärts“-Richtung allein, was darauf hindeutet, dass der Vorwärts-Term das primäre aufgabenrelevante Signal liefert, während der Rückwärts-Term als Regularisator gegen generische Profile fungiert.
- Hard-Negative-Mining (BUMP+) lieferte signifikante Gewinne gegenüber zufälligen Negativen, wobei übermäßiges Mining Rauschen einführte.

Bedeutung und Ansprüche

Das Paper behauptet, dass selbstüberwachtes Lernen effektiv gelabelte Downstream-Rewards ersetzen kann, um textuelle Nutzerprofile zu trainieren. Durch die Nutzung der inhärenten Struktur von Nutzerinteraktionsprotokollen durch bidirektionales Ranking generiert BUMP Profile, die:

Aufgaben-agnostisch sind: Optimiert, um eine treue Beschreibung des Nutzers zu sein, statt ein Feature für einen spezifischen Klassifikator, was einen Transfer über Aufgaben hinweg ohne Retraining ermöglicht.
Skalierbar sind: Das Überwachungsbudget wächst automatisch mit der Nutzerpopulation, anstatt manuelle Annotationen zu erfordern.
Effizient sind: Die resultierenden Profile sind kompakte, fest dimensionierte Repräsentationen, die vorberechnet und gecacht werden können, wodurch Latenz- und Speicherkosten bei der Verarbeitung voller Interaktionshistorien zur Inferenzzeit vermieden werden.

Die Autoren räumen Einschränkungen ein, einschließlich potenzieller Biases, die mit LLM-as-a-judge verbunden sind (z. B. Verbosität, Selbstpräferenz), sowie der Abhängigkeit von Embedding-Ähnlichkeit als Proxy für die Verwechselbarkeit beim Hard-Negative-Mining. Dennoch deuten die Ergebnisse darauf hin, dass bidirektionale Selbstüberwachung eine lebensfähige und leistungsstarke Alternative zu traditioneller überwachter Profilgenerierung darstellt.