💬 NLP

Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

Diese Arbeit stellt ein Reinforcement-Learning-Framework vor, das große Sprachmodelle trainiert, um aus heterogenen, domänenübergreifenden Signalen hochwertige, interessengetriebene Suchanfragen zu generieren, und durch On-Policy-Distillation ein skalierbares Schülermodell für die Cross-Domain-Nachrichtenempfehlung bereitstellt.

Ursprüngliche Autoren: Mengdan Zhu, Yufan Zhao, Tao Di, Yulan Yan, Liang Zhao

Veröffentlicht 2026-02-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mengdan Zhu, Yufan Zhao, Tao Di, Yulan Yan, Liang Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige, digitale Bibliothek mit Millionen von Zeitungsartikeln. Das Problem ist: Die Besucher (die Nutzer) kommen jeden Tag mit völlig unterschiedlichen Hintergründen, lesen verschiedene Dinge und hinterlassen nur undeutliche Spuren.

Einige klicken auf Sportartikel, andere suchen nach Kochrezepten, wieder andere schauen sich nur Wettervorhersagen an. Ein klassischer Bibliothekar (ein herkömmlicher Empfehlungsalgorithmus) schaut sich nur an: „Ah, du hast gestern Fußball geklickt, also zeige ich dir heute wieder Fußball." Das ist oft zu oberflächlich.

Die Forscher aus diesem Papier haben eine Lösung entwickelt, die wie ein genialer Detektiv funktioniert, der nicht nur die Spuren betrachtet, sondern sie versteht. Hier ist die Geschichte ihrer Methode, einfach erklärt:

1. Das Problem: Der Lärm im Hintergrund

Stellen Sie sich vor, ein Nutzer hinterlässt eine Spur von Aktivitäten: Er hat nach „besten Laufschuhen" gesucht, hat einen Artikel über „Marathon-Training" geklickt und hat sich eine Nachricht über „gesunde Ernährung" angesehen.
Ein einfacher Algorithmus sieht nur eine Liste von Daten. Ein echter Mensch (oder ein fortschrittliches KI-Modell) würde aber daraus schließen: „Aha! Diese Person interessiert sich für Laufsport und Fitness."

Das Schwierige ist: Die Daten sind oft chaotisch. Manchmal tippt jemand nur eine Telefonnummer ein oder sucht nach etwas, das nichts mit seinem wahren Interesse zu tun hat. Das ist wie ein lauter Marktplatz, auf dem man die eigentliche Nachricht kaum hören kann.

2. Die Lösung: Der „Detektiv" (Das große KI-Modell)

Die Autoren haben ein sehr großes, intelligentes KI-Modell (ein „Lehrer-Modell") gebaut. Dieses Modell ist wie ein erfahrener Detektiv, der:

Den Lärm filtert: Es ignoriert die irrelevante Suche (z. B. „Telefonnummern") und konzentriert sich nur auf die echten Signale.
Die Absicht errät: Es denkt nach: „Was will diese Person wirklich wissen?"
Eine Liste erstellt: Anstatt nur einen Artikel vorzuschlagen, schreibt der Detektiv eine Liste von Suchbegriffen (z. B. „Marathon-Training für Anfänger", „Laufschuhe mit Dämpfung", „Ernährung für Ausdauersportler"). Diese Liste repräsentiert die tiefen Interessen des Nutzers.

3. Der Lehrer und die Belohnung (Reinforcement Learning)

Wie lernt dieser Detektiv, gut zu sein? Er bekommt keine fertigen Lösungen gezeigt. Stattdessen spielt er ein Spiel mit Belohnungen.
Stellen Sie sich vor, der Detektiv schlägt eine Liste vor. Ein „Richter" (ein Computer-System) prüft sie sofort auf fünf Kriterien:

Treffer: Finden diese Suchbegriffe tatsächlich gute Artikel?
Vielfalt: Decken sie verschiedene Aspekte des Interesses ab?
Genauigkeit: Sind die Begriffe spezifisch genug (nicht nur „Sport", sondern „Marathon")?
Abwechslung: Wiederholen sich die Begriffe nicht unnötig?
Form: Ist die Liste sauber formatiert?

Wenn die Liste gut ist, gibt es Punkte. Wenn schlecht, keine. Durch Tausende von Versuchen lernt das Modell, immer bessere Listen zu erstellen. Das nennt man „Verstärkendes Lernen".

4. Das Skalierungs-Geheimnis: Mehr Denken = Bessere Ergebnisse

Die Forscher haben etwas Spannendes entdeckt: Wenn sie dem Modell mehr Zeit geben, um zu „denken" (indem sie mehrere Versionen der Liste generieren und die beste auswählen), oder wenn sie ein noch größeres Modell verwenden, wird das Ergebnis immer besser.
Es ist wie beim Lernen: Ein Schüler, der mehr Zeit hat, um verschiedene Lösungswege durchzudenken, findet die beste Antwort. Dieses Verhalten nennt man „Skalierungsgesetz" – mehr Rechenleistung führt direkt zu besseren Ergebnissen.

5. Der Trick für den Alltag: Der „Schüler" (Distillation)

Hier kommt das größte Problem: Das große „Lehrer-Modell" ist wie ein riesiger Supercomputer. Es ist zu langsam und zu teuer, um es für jeden einzelnen Nutzer in Echtzeit auf einer News-App zu nutzen. Es würde die App zum Stillstand bringen.

Die Lösung? Wissenstransfer (Distillation).
Stellen Sie sich vor, der große Professor (das Lehrer-Modell) nimmt einen intelligenten Schüler (ein kleines, schnelles Modell) und bringt ihm bei, wie man denkt.

Der Professor zeigt dem Schüler seine besten Lösungen.
Der Schüler lernt nicht nur die Antworten auswendig, sondern versteht die Logik dahinter.
Am Ende hat der Schüler fast das gleiche Wissen wie der Professor, ist aber schnell, leicht und billig genug, um auf Millionen von Handys gleichzeitig zu laufen.

Das Ergebnis in der echten Welt

Als die Forscher dieses System in einer echten Nachrichten-App getestet haben, passierte Folgendes:

Die Nutzer sahen relevantere Nachrichten.
Besonders neue Nutzer (die noch keine Klick-Historie hatten) bekamen viel bessere Empfehlungen. Das System konnte ihre Interessen aus ihren Suchanfragen und anderen Aktivitäten „erraten", noch bevor sie einen einzigen Artikel geklickt hatten.
Die Nutzer blieben länger auf der Seite und klickten öfter.

Zusammenfassend:
Die Autoren haben einen Weg gefunden, wie eine KI nicht nur schaut, was Sie geklickt haben, sondern denkt, was Sie wirklich interessieren. Sie nutzen einen großen, langsamen „Denker", um einen kleinen, schnellen „Denker" zu trainieren, der dann in Echtzeit die perfekten Nachrichten für Sie findet. Es ist der Unterschied zwischen einem Roboter, der nur Listen abhakt, und einem echten Kurator, der Ihre Interessen versteht.

1. Problemstellung

Herausforderungen in der personalisierten Nachrichtenempfehlung bestehen darin, dass Nutzer in modernen Plattformen einer massiven Informationsüberflutung ausgesetzt sind. Herkömmliche Methoden basieren oft auf kollaborativer Filterung oder Embeddings, die primär auf historischen Interaktionssimilaritäten beruhen. Diese stoßen jedoch an Grenzen, wenn es darum geht, tiefere, wiederverwendbare Nutzerinteressen aus heterogenen Signalen (Cross-Domain) zu extrahieren, die über den direkten Nachrichtenkonsum hinausgehen (z. B. Suchanfragen, Browserverlauf, Klicks).

Das Hauptproblem ist die Lücke zwischen der Notwendigkeit, komplexe, latente Interessen aus verrauschten Daten zu inferieren, und der Anforderung an Skalierbarkeit und niedrige Latenz in großen Produktionsumgebungen. Große Sprachmodelle (LLMs) bieten zwar das Potenzial für besseres Reasoning, sind aber für den direkten Online-Einsatz oft zu rechenintensiv.

2. Methodik

Das Paper stellt einen reinforcement-learning-basierten Rahmen (RL) vor, der LLMs trainiert, um Listen von suchbasierten Nachrichten-Queries zu generieren, die repräsentative Nutzerinteressen kodieren. Der Ansatz gliedert sich in vier Hauptphasen:

A. Datenvorverarbeitung (Noise Cleaning)

Rohdaten aus Suchprotokollen und Klicks enthalten viel Rauschen (z. B. zufällige Strings, Navigationsabfragen). Ein leichter binärer Klassifikator (basierend auf RoBERTa), der mit annotierten Daten trainiert wurde, filtert irrelevante Signale heraus, um einen bereinigten Verhaltensdatensatz $\tilde{B}_u$ zu erhalten.

B. Interest Generation mit Multi-Reward RL (Teacher Model)

Die Generierung der Interessen-Listen wird als Policy-Optimierungsproblem formuliert.

Modell: Ein starkes, instruction-getuned LLM (als Lehrer, z. B. Qwen2.5-32B) wird mit Group Relative Policy Optimization (GRPO) trainiert.
Reinforcement Learning: Anstatt einer einzelnen Belohnungsfunktion wird ein kompositer Reward aus fünf Signalen verwendet:
1. Retrieval Alignment ( $R_{align}$ ): Sicherstellung, dass generierte Queries relevante Artikel im ANN-Index finden.
2. Interest Coverage ( $R_{cov}$ ): Abdeckung der diversen latenten Interessen des Nutzers.
3. Query Specificity ( $R_{spec}$ ): Förderung von inhaltsreichen, nicht-generischen Queries.
4. Intra-list Diversity ( $R_{div}$ ): Vermeidung semantischer Redundanz innerhalb einer Liste.
5. Structural Validity ( $R_{struct}$ ): Einhaltung des Ausgabeformats.
Optimierung: GRPO nutzt eine Gruppen-basierte Baseline, um die Policy zu stabilisieren und zu verbessern.

C. On-Policy Distillation (Student Model)

Da das Lehrer-Modell zu teuer für den Online-Einsatz ist, wird eine On-Policy-Distillation durchgeführt.

Ein kompaktes Student-Modell (z. B. Qwen2.5-0.5B) lernt, die Policy des Lehrers nachzuahmen.
Im Gegensatz zur klassischen Supervised Distillation wird hier die Reverse Kullback-Leibler (KL) Divergenz zwischen der Verteilung des Schülers und des Lehrers minimiert, wobei der Schüler eigene Rollouts (Exploration) durchführt und vom Lehrer auf Token-Ebene überwacht wird. Dies ermöglicht eine effiziente Inferenz bei geringer Latenz.

D. Skalierungsstudien

Die Autoren untersuchen systematisch zwei Dimensionen:

Modellkapazität (Space Scaling): Größere Modelle führen zu besseren Ergebnissen.
Inferenzzeit-Sampling (Time Scaling): Die Generierung mehrerer Kandidaten-Listen (Best-of-N) und die Auswahl der besten basierend auf dem Reward verbessert die Qualität, zeigt aber abnehmende Grenzerträge.

3. Key Contributions

Skalierungseigenschaften von LLMs: Nachweis, dass Modelle mit multiplen, produkt-orientierten Reward-Modellen wiederverwendbare Interessen aus verrauschten Cross-Domain-Signalen inferieren können. Sowohl größere Modelle als auch mehr Inferenz-Rechenzeit führen zu skalierbaren Verbesserungen (Scaling-Law-Verhalten).
On-Policy Distillation für skalierbare Generierung: Ein Framework, das die rechenintensive Policy eines großen LLMs in ein leichtgewichtiges Student-Modell überträgt, das für den Produktionsbetrieb geeignet ist, ohne wesentliche Leistungseinbußen.
Validierung in der Praxis: Umfassende Offline-Evaluationen und kontrollierte Online A/B-Tests in einem großen kommerziellen Nachrichten-System.

4. Ergebnisse

Offline-Evaluation: Das RL-trainierte Lehrer-Modell (32B Parameter) übertrifft alle Baselines (einschließlich moderner Transformer-Modelle wie HSTU) in Metriken wie Recall@K, NDCG@K und MRR. Das distillierte Student-Modell (0.5B) behält den Großteil dieser Verbesserungen bei, reduziert aber die Modellgröße drastisch.
Ablationsstudien:
- Modellgröße: Größere Modelle zeigen konsistent bessere Abstraktionsfähigkeiten.
- Sampling: Mehr Samples bei der Inferenz verbessern die Qualität, was auf Potenzial für Offline-Optimierung hindeutet.
- Distillation: On-Policy Distillation schneidet deutlich besser ab als Supervised Distillation und kommt dem Lehrer-Modell sehr nahe.
Online A/B-Tests (Produktion): Über einen 7-tägigen Zeitraum zeigte die Methode signifikante Steigerungen:
- +0,95% DAU (Daily Active Users).
- +0,22% CTR (Click-Through-Rate).
- Besonders stark war der Anstieg bei Cold Users (+4,38% DAU), was beweist, dass der Ansatz auch bei fehlender direkter Nachrichten-Historie durch Cross-Domain-Signalen effektive Empfehlungen liefern kann.

5. Bedeutung und Fazit

Dieses Paper stellt einen Pionierschritt dar, indem es ein reasoning-getriebenes Reinforcement-Learning-Framework in einem großen kommerziellen Nachrichten-Empfehlungssystem einsetzt. Es löst das Spannungsfeld zwischen der hohen Qualität von LLM-basiertem Reasoning und den Anforderungen an Latenz und Kosten in der Produktion durch eine innovative Distillationsstrategie.

Die Arbeit zeigt, dass es möglich ist, tiefe, abstrakte Nutzerinteressen aus heterogenen Datenquellen zu extrahieren und diese für skalierbare Retrieval-Systeme nutzbar zu machen. Dies eröffnet neue Richtungen für die Kombination von LLM-Reasoning, skalierbarem RL und industriellen Empfehlungspipelines.