Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

Probleemstelling

In grote nieuwsplatforms kampen gebruikers met een overvloed aan informatie. Traditionele aanbevelingssystemen, die vaak gebaseerd zijn op collaboratieve filtering of embedding-gebaseerde methoden, hebben moeite om diepere, herbruikbare gebruikersinteresses te vangen, vooral in een cross-domein context.

• Beperkingen van bestaande methoden: Traditionele methoden vertrouwen op oppervlakkige gedragspatronen (zoals klikgeschiedenis) en hebben moeite om persoonlijke, logische afleidingen te maken uit heterogene signalen (zoals zoekopdrachten, browsen en klikken) die vaak ruis bevatten.
• Doel: Het paper stelt een nieuwe aanpak voor om onderliggende informatiebehoeften van gebruikers af te leiden uit deze heterogene, vaak ruisige signalen, zonder te vertrouwen op directe nieuwsinteracties. Het doel is het genereren van een lijst van nieuwszoekopdrachten die de herbruikbare interesses van de gebruiker vertegenwoordigen, wat vervolgens dient als input voor de downstream aanbevelingscyclus.

Methodologie

Het voorgestelde raamwerk is een reinforcement learning (RL) systeem dat Large Language Models (LLMs) gebruikt om redenering toe te passen op gebruikersdata. Het proces verloopt in vier hoofdstappen:

1. Data Cleaning (Ruisfiltering):

   • Ruwe gedragslogs (zoekopdrachten, klikken, browsen) bevatten veel ruis (bijv. willekeurige strings, navigatie-invoer).
   • Een lichtgewicht binaire classifier (gebaseerd op RoBERTa) filtert deze signalen. Deze classifier, getraind met supervisie van een LLM, onderscheidt informatieve gedragssignalen van irrelevante ruis. Alleen de "schone" signalen ($\tilde{B}_u$) worden gebruikt voor de volgende stap.

2. Interesse-Generatie met Multi-Reward RL (De "Teacher"):

   • Het probleem wordt geformuleerd als een policy optimization probleem. Een geïnstalleerde instructie-LLM (de Teacher, Qwen2.5-32B) genereert lijsten van zoekopdrachten die de interesses van de gebruiker beschrijven.
   • Algoritme: Er wordt gebruikgemaakt van Group Relative Policy Optimization (GRPO), een variant van PPO die een groep van kandidaat-lijsten sampleert en vergelijkt om de policy te optimaliseren.
   • Beloningssignaal (Reward Design): Het model wordt getraind met een samengestelde beloning ($R$) bestaande uit vijf componenten:
     1. Retrieval Alignment: De gegenereerde zoekopdrachten moeten succesvol relevante artikelen vinden in de interne index (gebaseerd op ANN).
     2. Interest Coverage: De lijst moet een breed scala aan latent interesses dekken.
     3. Query Specificity: Zoekopdrachten moeten specifiek en inhoudsrijk zijn, niet generiek.
     4. Intra-list Diversity: De zoekopdrachten binnen één lijst moeten semantisch divers zijn (geen redundantie).
     5. Structural Validity: De output moet voldoen aan vooraf gedefinieerde formatregels.

3. On-Policy Distillatie (De "Student"):

   • Hoewel de Teacher een hoge kwaliteit levert, is deze te zwaar voor real-time productie (hoge latentie en rekenkosten).
   • Er wordt een on-policy distillatie toegepast om de policy van de Teacher over te dragen naar een compacte Student (Qwen2.5-0.5B).
   • In tegenstelling tot traditionele distillatie (die vaak op statische datasets werkt), gebruikt deze methode de output van de student tijdens het generatieproces om de Teacher te imiteren (minimiseren van de Kullback-Leibler-divergentie). Dit zorgt ervoor dat de student de redeneercapaciteiten leert terwijl het lichtgewicht blijft.

4. Serving:

   • In productie genereert de Student een lijst van zoekopdrachten. Deze worden gebruikt om kandidaat-artikelen op te halen via een ANN-based retrieval-systeem, wat vervolgens de ranking voor de gebruiker voedt.

Belangrijkste Bijdragen

• Schalingswetten voor Interesse-Modellering: Het paper toont aan dat het verhogen van de modelcapaciteit (ruimteschaal) en het verhogen van het inferentie-tijd sampling (tijdschaal) leidt tot consistente, schalingswett-achtige verbeteringen in de kwaliteit van de gegenereerde interesses en downstream retrieval.
• On-Policy Distillatie voor Schaalbaarheid: Een nieuw raamwerk om de zware RL-policy van een groot LLM over te dragen naar een compact model dat geschikt is voor lage-latentie productieomgevingen, zonder significante prestatieverlies.
• Pionierende Implementatie: Dit is een van de eerste grootschalige commerciële implementaties van een redeneringsgedreven RL-framework voor gebruikersinteresses in een nieuwsaanbevelingssysteem.

Resultaten

De methode is geëvalueerd via offline experimenten, ablatiestudies en grootschalige online A/B-tests.

• Offline Prestaties:

  • Het RL-getrainde Teacher-model (32B parameters) presteerde significant beter dan state-of-the-art baselines zoals HSTU, SASRec en GRU op metrics zoals Recall@10 en NDCG@10.
  • Het gedistilleerde Student-model (0.5B parameters) behield het grootste deel van de prestaties van de Teacher (bijv. Recall@10 van 0.271 voor Teacher vs. 0.261 voor Student) maar was veel efficiënter.
  • Ablatie: Het verhogen van de modelgrootte en het aantal samples tijdens inferentie (Best-of-N) leidde tot lineaire verbeteringen, wat de schaalbaarheid bevestigt. On-policy distillatie bleek superieur aan supervised distillatie.

• Online A/B Test (Productie):

  • In een 7-dagen durende online test resulteerde de implementatie in significante verbeteringen:
    • DAU (Daily Active Users): +0.95%
    • CTR (Click-Through Rate): +0.22%
    • Cold User DAU: +4.38% (een zeer sterke verbetering, wat aangeeft dat het model beter is in het begrijpen van gebruikers zonder lange geschiedenis).
  • Alle resultaten waren statistisch significant.

Betekenis

Dit werk markeert een belangrijke verschuiving in de aanbevelingssystemen: van puur patroonherkenning op interactiegegevens naar redenering over heterogene data om abstracte interesses te extraheren.
Het bewijst dat:

1. LLMs effectief kunnen worden getraind met RL om complexe, herbruikbare gebruikersprofielen te genereren uit ruisige data.
2. De kosten van LLM-inferentie voor productie kunnen worden overbrugd via slimme distillatietechnieken zonder in te leveren op kwaliteit.
3. Cross-domein signalen cruciaal zijn voor het verbeteren van de ervaring, vooral voor nieuwe ("cold") gebruikers.

De studie opent nieuwe richtingen voor het combineren van LLM-redenering, schaalbare versterking learning en industriële aanbevelingspijplijnen.