Technische Samenvatting: REPREC

Probleemdefinitie

Sequentiële aanbeveling streeft ernaar om de volgende interactie van een gebruiker te voorspellen op basis van de chronologische volgorde van hun eerdere gedragingen. Hoewel klassieke modellen (bijv. collaborative filtering, SASRec, BERT4Rec) effectief compacte gebruikersrepresentaties leren uit interactiesequenties, missen zij de semantische wereldkennis en de instructie-volgende capaciteiten van Large Language Models (LLMs). Daartegenover staan recente benaderingen die aanbeveling herformuleren als een natuurlijke taaltaak met behulp van LLMs, die vaak moeite hebben met het behouden van gestructureerde collaboratieve signalen.

Bestaande oplossingen die proberen deze kloof te overbruggen, vertrouwen doorgaans op één of meer van de volgende strategieën, die aanzienlijke afruilproblemen bij implementatie introduceren:

• LLM Fine-tuning: Het aanpassen van de LLM-backbone (bijv. via LoRA) om aanbevelingstaken te leren.
• Architecturale Modificaties: Het toevoegen van specifieke cross-attention modules of gezamenlijke optimalisatie van meerdere componenten.
• Item-Level Conditioning: Het injecteren van een representatie voor elk historisch item in de LLM-input, waardoor de sequentielengtes en computationele kosten (FLOPs) lineair schalen met de interactiegeschiedenis.
• Representatie-distillatie: Het overdragen van kennis via complexe distillatie-objectieven.

Deze methoden verhogen vaak de trainingscomplexiteit, de parameterfootprint en de inferentielatentie, waardoor ze minder geschikt zijn voor productieomgevingen waar modulariteit, schaalbaarheid en lage latentie cruciaal zijn. Het artikel stelt een ontwerpvraag: Kan een bevroren sequentiële encoder en een bevroren LLM uitsluitend worden verbonden via lichtgewicht, op gebruikersniveau uitgelijnde representaties, waarbij modulariteit behouden blijft en de complexiteit van implementatie wordt geminimaliseerd?

Methodologie

De auteurs stellen REPREC (Representation-driven Parameter-Efficient Recommendation) voor, een framework dat een bevroren sequentiële aanbeveler en een bevroren LLM verbindt via een lichtgewicht, trainbaar uitlijningsmodule. De architectuur bestaat uit drie primaire componenten:

1. Bevroren Sequentiële Encoder ($f_\theta$): Een standaard sequentiële aanbeveler (geïnstantieerd als SASRec of BERT4Rec) getraind op next-item voorspelling. Eenmaal getraind, zijn de parameters bevroren. Het brengt de interactiesequentie van een gebruiker $S_u$ in kaart naar een vaste $d$-dimensionale gebruikersembedding.
2. Lichtgewicht Injector ($g_\phi$): Een compacte Multi-Layer Perceptron (MLP) die de vaste gebruikersembedding projecteert naar de embeddingruimte van de LLM.
   • De injector brengt de $d$-dimensionale embedding in kaart naar een set van $m$ "soft tokens" (conditioneringsvectoren) van dimensie $D$ (de LLM hidden size).
   • De transformatie omvat een lineaire projectie, een niet-lineaire activatie (GELU) en een gedeelde LayerNorm toegepast op de resulterende tokens.
   • Cruciaal is dat alleen de injector-parameters $\phi$ trainbaar zijn; de sequentiële encoder en de LLM blijven bevroren.
3. Bevroren LLM Backbone ($M$): Een vooraf getrainde LLM (bijv. LLaMA, Qwen) die de geïnjecteerde soft tokens ontvangt die vooraf worden geplaatst aan een tekstuele prompt die het kandidaat-item beschrijft. De LLM voert een binaire classificatie uit (Ja/Nee) om te bepalen of het kandidaat-item relevant is.

Trainingsproces:
Het systeem wordt getraind met een binaire beslissingsprompt. De gebruikers-tokens $Z = g_\phi(u)$ worden samengevoegd met de prompt-embedding $E_{prompt}$ om de input $E_{input} = [Z; E_{prompt}]$ te vormen. De LLM genereert logits voor het antwoord-token, en de cross-entropy loss wordt alleen berekend op de positie van het antwoord. Gradiënten stromen terug door de bevroren LLM-activaties om alleen de injector-parameters $\phi$ bij te werken.

Belangrijkste Bijdragen

• Parameter-efficiëntie: REPREC elimineert de noodzaak om de LLM-backbone of de sequentiële encoder te finetunen. Aanpassing is beperkt tot een kleine MLP-injector, wat het aantal trainbare parameters aanzienlijk vermindert vergeleken met LoRA of volledige fine-tuning.
• Modulariteit en Compatibiliteit: Het framework is encoder-agnostisch en backbone-agnostisch. Het kan verschillende sequentiële encoders (SASRec, BERT4Rec) en LLM's (LLaMA, Qwen) integreren zonder hun interne architecturen te wijzigen.
• User-Level Alignment: In tegenstelling tot item-level conditioning methoden die schalen met de geschiedenislengte, gebruikt REPREC een vast aantal soft tokens ($m$) afgeleid van een globale gebruikersrepresentatie, wat zorgt voor een constante inferentielatentie ongeacht de omvang van de interactiegeschiedenis.
• Generalisatie naar Sparse Data: De methode is specifiek ontworpen om collaboratieve signalen van de sequentiële encoder over te dragen naar de LLM, wat bijzonder gunstig is voor gebruikers met beperkte interactiegeschiedenissen.

Experimentele Resultaten

De auteurs evalueerden REPREC op vijf Amazon product review datasets (Beauty, Sports, Toys, Pet Supplies, Tools) tegenover baselines inclusief Zero-shot LLM, Frozen Injector, LoRA-FT en LLaRA.

• Algemene Prestaties: REPREC presteert consistent beter dan standalone sequentiële modellen (SASRec, BERT4Rec) en Zero-shot LLM's. Onder gelijke parameterbudgetten evenaart of overtreft REPREC de prestaties van LoRA-FT en LLaRA over alle datasets en LLM-backbones (LLaMA en Qwen).
• User Regime Analyse:
  • Casual en Core Gebruikers: REPREC laat significante winsten zien ten opzien van LoRA voor gebruikers met korte interactiegeschiedenissen (0–20 interacties). De geïnjecteerde gebruikersrepresentatie biedt waardevolle collaboratieve signalen die de LLM mist in scenario's met weinig data.
  • Power Users: Voor gebruikers met lange geschiedenissen (>20 interacties) wordt het prestatieverschil tussen REPREC en LoRA kleiner, waarbij REPREC vergelijkbaar presteert.
• Efficiëntie en Training/Inference Trade-offs:
  • Trainingssnelheid: Het trainen van REPREC is aanzienlijk sneller dan LoRA.
  • Short-Long Generalisatie: De auteurs onderzochten het trainen met korte prompt-geschiedenissen ($\ell=10$) en het evalueren met langere contexten ($\ell=50$). Hoewel trainen op korte geschiedenissen de prestaties voor power users verslechtert, herstelt een hybride aanpak (trainen kort, testen lang) 85–100% van de prestaties van LoRA voor power users, terwijl de per-epoch trainingstijd gemiddeld met 1,51× wordt verminderd.
• Ablatie: De studie bevestigt dat het simpelweg voorafvoegen van ongetrainde soft tokens (Frozen Injector) onvoldoende is; de geleerde uitlijning is essentieel. Verder levert het combineren van soft tokens met tekstuele interactiegeschiedenis betere resultaten op dan soft tokens alleen.

Betekenis en Claims

Het artikel claimt dat REPREC een eenvoudige, modulaire en praktische aanpak vestigt voor het integreren van collaboratieve signalen in LLM-gebaseerde aanbevelingssystemen. De primaire betekenis ligt in het aantonen dat hoogwaardige sequentiële aanbeveling geen complexe architecturale wijzigingen of dure LLM fine-tuning vereist.

Door de extractie van het collaboratieve signaal (bevroren encoder) te ontkoppelen van de taalkundige redenering (bevroren LLM) via een lichtgewicht uitlijningslaag, biedt REPREC een productie-vriendelijke pipeline die een balans vindt tussen de kwaliteit van de aanbeveling en computationele efficiëntie. De auteurs benadrukken dat deze aanpak bijzonder effectief is voor de "long tail" van gebruikers (casual en core) die de meerderheid van de gebruikersbases in real-world systemen vormen, waar data-schaarsheid een veelvoorkomend probleem is. Het werk suggereert dat user-level representatie-uitlijning een levensvatbaar alternatief is voor backbone-adaptatie voor het schalen van LLM's in aanbevelingsscenario's.