Technische Samenvatting: Het elimineren van Out-of-Domain aanbevelingen in LLM-gebaseerde aanbevelingssystemen

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker toegepast in conversationele aanbevelingssystemen vanwege hun superieure redeneervermogen en instructievolgende capaciteiten. Een kritieke foutmodus in huidige LLM-gebaseerde aanbevelers is echter de generatie van Out-of-Domain (OOD) items. In tegenstelling tot traditionele ID-gebaseerde systemen die strikt opereren binnen een bekende catalogus, hallucineren LLM's vaak items die niet bestaan in het doeldomein, wat leidt tot negatieve effecten in de echte wereld.

Bestaande benaderingen om OOD-aanbevelingen te beperken, vallen over het algemeen uiteen in drie geïsoleerde paradigma's:

1. Retrieval-gebaseerd: Het mappen van gebruikers-/iteminformatie naar embeddings om in-domain items te extraheren.
2. Constrained Generation (Beperkte Generatie): Het beperken van de decodering tot een catalogus-afhankelijke subspace (bijv. via prefix trees over itemtitels).
3. Item-Tokenizers: Het mappen van items naar discrete tokensequenties en het genereren over deze geleerde ruimte.

Deze methoden worden doorgaans ontwikkeld met verschillende backbones en prompts, wat het moeilijk maakt om hun relatieve sterktes systematisch te vergelijken of de afwegingen tussen retrieval, generatie en tokenisatie in een uniforme setting te begrijpen.

2. Methodologie: Het RecLM-framework

De auteurs stellen RecLM voor, een verenigd framework dat retrieval en generatie overbrugt onder één enkele architectuur en trainingsprotocol. De kerninnovatie is het gebruik van speciale controle-tokens om aanbevelingssegmenten te markeren, waardoor verschillende grondingsmechanismen in hetzelfde decoderingsproces kunnen worden ingeplugd.

2.1 Speciale Item Indicator Tokens

RecLM rust de backbone LLM (Llama3-8B-Instruct) uit met twee speciale tokens:

• <SOI> (Start-of-Item): Signaleert dat het model een aanbevelingssegment betreedt waar grondingsbeperkingen van toepassing zijn.
• <EOI> (End-of-Item): Markeert de afsluiting van het segment, waarna het model de algemene tekstgeneratie hervat.

Tussen <SOI> en <EOI> delegeert het framework aan een van de drie varianten:

A. RecLM-ret (Retrieval-gebaseerd)

• Mechanisme: Gebruikt de verborgen toestand (hidden state) bij <SOI> om het dichtstbijzijnde item te extraheren uit een vooraf opgebouwde embedding-index (geconstrueerd met BGE-M3).
• Training: Geoptimaliseerd met een standaard taalmodellering-loss plus een hulp-retrieval loss die de <SOI> verborgen toestand uitlijnt met de ground-truth item embedding.

B. RecLM-cgen (Constrained Generation over Rewritten Titles)

• Mechanisme: Genereert itemtitels onder een prefix-tree beperking gebouwd over een catalogus van herschreven titels.
• Title Rewriter (TR): Een lichtgewicht module getraind via Group Relative Policy Optimization (GRPO) om uitgebreide itemmetadata te transformeren naar beknopte, menselijk leesbare titels. De TR wordt geoptimaliseerd met vijf beloningscomponenten:
  • Item-to-Item Similarity (I2I): Behoudt de nabijheidsstructuur.
  • User-to-Item Alignment (U2I): Zorgt ervoor dat titels gebruikersvoorkeuren weerspiegelen.
  • Decoding Complexity (DC): Minimaliseert conditionele perplexiteit.
  • Conciseness (CR): Bevoordeelt kortere titels.
  • Discriminative Power (DPR): Zorgt ervoor dat titels onderscheidbaar zijn van vergelijkbare items.
• Training: Maakt gebruik van Scope Mask Training, waarbij de softmax-noemer tijdens de loss-berekening wordt beperkt tot tokens die geldig zijn in de prefix tree, waardoor training overeenkomt met de inferentie-beperkingen.

C. RecLM-token (Discrete Item-Token Generatie)

• Mechanisme: Mapt elk catalogusitem naar een korte sequentie van discrete tokens (bijv. <a_11><b_2>...) met behulp van een RQ-VAE (Residual Vector Quantization) encoder. De LLM genereert deze tokensequenties tussen <SOI> en <EOI>.
• Training: Omvat supervised fine-tuning om de LLM uit te lijnen met de codebook, gevolgd door GRPO-gebaseerde reinforcement learning. De beloningsfunctie combineert positie-gevoelige ranking-beloningen en inclusie-gebaseerde beloningen.

2.2 Multi-Round Dialogue Training

Om te voorkomen dat het model een rigide QA-tool wordt, voegen de auteurs multi-round dialoog-samples toe (een combinatie van ShareGPT-dialogen met aanbevelingstaken) aan de trainingsdata, zodat het model aanbevelingen natuurlijk kan afwisselen met algemene conversatie.

3. Belangrijkste Bijdragen

1. Verenigd Framework: RecLM verenigt retrieval-gebaseerde, constrained generation en item-tokenization paradigma's onder één enkele architectuur met behulp van de <SOI>/<EOI> interface, wat een eerlijke vergelijking mogelijk maakt tussen verschillende grondingsstrategieën.
2. Lichtgewicht Verbeteringsmodules: Introductie van een GRPO-getrainde Title Rewriter om metadata te comprimeren en een Scope Mask trainingstrategie om constrained decodering af te stemmen op de trainingsdoelstellingen.
3. Systematische Evaluatie: Een uitgebreide empirische studie over drie publieke datasets (Steam, Amazon Movies, Amazon Toys) die aantoont dat alle varianten OOD-aanbevelingen strikt elimineren terwijl ze competitieve of state-of-the-art nauwkeurigheid bereiken.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op de Steam, Amazon Movies en Amazon Toys datasets, waarbij RecLM is vergeleken met 12 baselines (traditionele ID-gebaseerde, bevroren LLM's, gefinetuned LLM's en item-tokenizer LLM's).

• OOD Eliminatie: Alle drie de RecLM-varianten bereikten een OOD@10 = 0, waarmee OOD-aanbevelingen over alle datasets strikt werden geëlimineerd. Dit staat in scherp contrast met bevroren LLM's (zoals GPT-4o, Llama3) die OOD-percentages lieten zien variërend van ~15% tot meer dan 90%.
• Nauwkeurigheid: De constrained generation varianten (RecLM-cgen en RecLM-token) bereikten state-of-the-art prestaties, waarbij ze sterke ID-gebaseerde baselines (zoals SASRec) en andere gefinetuned LLM's (zoals BIGRec, CtrlRec) overtroffen in HR@10 en NDCG@10.
  • Op de Steam-dataset bereikte RecLM-cgen een HR@10 van 0.0868, een verbetering van 14,8% ten opzichte van de beste niet-RecLM baseline.
  • Op de Toys-dataset bereikte RecLM-token de hoogste NDCG@5 (0.0643), een verbetering van 19,1%.
• Controle Betrouwbaarheid: In multi-turn dialoogtests behaalden RecLM-cgen en RecLM-token bijna perfecte control symbol scores (CSN), waarbij ze exact 10 <SOI> tokens genereerden voor aanbevelingsrondes en nul voor redeneerrondes, zonder algemene redeneerkracht (MMLU, GSM8K) op te offeren.
• Ablatie Studies: Incrementele verbeteringen werden waargenomen met elke component: constrained generation verbeterde de ranking ten opzichte van unconstrained fine-tuning; scope masking verhoogde de nauwkeurigheid verder; en de Title Rewriter (vooral met volledige RL-beloningen) zorgde voor de uiteindelijke prestatiewinst.

5. Betekenis en Claims

Het artikel claimt dat RecLM een systematische basis biedt voor het vergelijken van verschillende paradigma's om item-hallucinaties te verminderen. Door retrieval, constrained generation en tokenization in een verenigd framework te integreren, demonstreren de auteurs dat:

• Betrouwbaarheid en Kwaliteit zijn niet wederzijds uitsluitend: Het is mogelijk om strikte catalogus-getrouwheid (OOD@10 = 0) af te dwingen terwijl tegelijkertijd state-of-the-art aanbevelingsnauwkeurigheid wordt behaald.
• Paradigma Afwegingen: Het verenigde perspectief onthult complementaire sterktes; hoewel retrieval (RecLM-ret) effectief is, biedt constrained generation (RecLM-cgen/token) superieure ranking-nauwkeurigheid en conversationele flexibiliteit.
• Praktisch Nut: Het framework biedt een praktisch hulpmiddel voor het ontwerpen van LLM-gebaseerde aanbevelingssystemen in zowel academische als industriële omgevingen, en biedt een duidelijk pad om het OOD-probleem dat huidige generatieve aanbevelers teistert te verzachten.

De auteurs erkennen beperkingen met betrekking tot de inferentie-latentie door het autoregressieve karakter van LLM's en de noodzaak van toekomstig werk op het gebied van diversiteit, eerlijkheid en langetermijn-gebruikerssatisfactie-metrieken. Ze positioneren RecLM echter als een fundamentele stap naar betrouwbare, hallucinatievrije LLM-aanbevelers.