High Fidelity Textual User Representation over Heterogeneous Sources via Reinforcement Learning

Technische Zusammenfassung: Hochpräzise textuelle Nutzerrepräsentationen durch Reinforcement Learning

1. Problemstellung (The Problem)

In großen Plattformen wie LinkedIn ist eine effektive Personalisierung (z. B. Job-Empfehlungen) entscheidend. Die Herausforderung besteht darin, Informationen aus heterogenen Quellen (Nutzerprofile, berufliche Werdegänge, Suchprotokolle, Klickverhalten) zu einem einheitlichen Modell zu verschmelzen.

Bisherige Ansätze haben zwei Hauptnachteile:

• Dichte Vektoren (Embeddings): Diese sind zwar leistungsfähig, aber "Black Boxes" (mangelnde Interpretierbarkeit). Zudem führen Änderungen am Modell zu einer Verschiebung des Vektorraums, was teure Neukalibrierungen der nachgelagerten Systeme erfordert.
• Sparse Features (Hand-engineered): Diese sind interpretierbar, aber wartungsintensiv und oft unvollständig.

Mit dem Aufkommen von Large Language Models (LLMs) in Empfehlungssystemen entsteht ein neues Problem: LLMs arbeiten nativ mit Text. Die Integration von Vektoren erfordert zusätzliche Projektionsschichten oder Alignment-Training, was Latenz und Komplexität erhöht. Das Ziel dieser Arbeit ist es, eine kompakte, interpretierbare und textuelle Zusammenfassung (Synopsis) zu erstellen, die direkt in den Token-Raum von LLMs passt.

2. Methodik (Methodology)

Die Autoren formulieren die Erstellung der Nutzerrepräsentation als ein Textgenerierungsproblem, das mittels Reinforcement Learning (RL) optimiert wird.

• Framework: Es wird ein RL-Framework verwendet, bei dem ein "Actor" (ein LLM mit 1,7 Mrd. Parametern) eine Zusammenfassung aus den heterogenen Quelldaten generiert.
• RL-Algorithmus: Zur Stabilisierung der Optimierung wird Group Relative Policy Optimization (GRPO) eingesetzt, ergänzt durch Techniken wie DAPO (um vorzeitigen Kollaps der Entropie zu verhindern) und Dr. GRPO (um Längen-Bias zu korrigieren).
• Reward-Design (Belohnungsfunktionen): Anstatt teurer menschlicher Labels nutzt das System implizite Engagement-Signale (Klicks, Bewerbungen) als Belohnung. Es werden drei Ansätze untersucht:
  1. Pointwise String-based Reward: Belohnt die korrekte Vorhersage einer binären Aktion (z. B. "bewirbt sich" vs. "bewirbt sich nicht").
  2. Pointwise Logprob-based Reward: Nutzt die Konfidenz (Log-Wahrscheinlichkeit) des Modells als dichteres Signal (neigt jedoch zu "Reward Hacking").
  3. Entropy-Weighted Listwise Reward: Bewertet die Fähigkeit, eine Liste von Jobs korrekt zu ranken (NDCG), wobei die Belohnung durch die Entropie der Label-Verteilung gewichtet wird, um informativere Listen stärker zu gewichten.
• Constraints (Einschränkungen): Um "Reward Hacking" (z. B. unendlich lange Texte zur Maximierung der Belohnung) zu verhindern, implementieren die Autoren:
  • Explicit Prompting: Anweisung zur Kürze.
  • Length Loss: Eine quadratische Strafe für Texte über 150 Tokens.
  • Format Penalty: Bestrafung von Texten mit mehreren Absätzen, um die Bodenhaftung (Groundedness) zu sichern.

3. Zentrale Beiträge (Key Contributions)

• Label-freie Supervision: Ein skalierbares System, das direkt aus Nutzerinteraktionen lernt, ohne dass manuell annotierte Daten benötigt werden.
• Textuelle Repräsentation als "Plug & Play": Die erzeugten Texte sind direkt mit LLM-basierten Retrieval- und Ranking-Systemen kompatibel, ohne dass zusätzliche Alignment-Schichten nötig sind.
• Emergent Behavior: Das Modell zeigt die Fähigkeit zur "Profile Refinement" (Schließen von Informationslücken bei spärlichen Daten durch Vorwissen des LLMs) und zur "Feature Discovery" (automatisches Erkennen relevanter Job-Kategorien).

4. Ergebnisse (Results)

Die Evaluierung erfolgte sowohl offline als auch online auf der LinkedIn-Plattform:

• Offline-Performance: Die Pointwise String-based Methode erzielte die besten Ergebnisse bei der Vorhersage der Klickrate (pClick AUC) mit einer Verbesserung von +3,50 % gegenüber dem Baseline-Embedding.
• Retrieval & Query Rewriting: Die Repräsentationen verbesserten die Recall@10 im Retrieval um 3 % und steigerten die CTR (Click-Through-Rate) bei Job-Alerts signifikant.
• Online A/B-Tests: In der Produktion führte die Implementierung zu messbaren Steigerungen in allen KPIs:
  • CTR: +1,48 %
  • Job Applications: +1,2 %
  • Session Success Rate: +0,8 %
• Qualitative Bewertung: Ein "LLM-as-a-Judge"-Framework (GPT-o1) bestätigte eine hohe Genauigkeit (Accuracy) und Abdeckung (Coverage) der generierten Zusammenfassungen.

5. Bedeutung (Significance)

Die Arbeit demonstriert einen Paradigmenwechsel in der Feature-Entwicklung für Empfehlungssysteme: Weg von starren Vektoren oder manuellen Regeln, hin zu generativen, RL-optimierten Textrepräsentationen. Dies bietet eine Brücke zwischen klassischen Machine-Learning-Modellen und der neuen Ära der LLM-basierten KI. Das System ist hochgradig skalierbar (Verarbeitung von 25 Mio. Mitgliedern in 12 Stunden) und bietet eine Lösung für das Problem der Interpretierbarkeit in großskaligen, geschäftskritischen Anwendungen.