Cross-Representation Knowledge Transfer for Improved Sequential Recommendations

Deze paper introduceert een nieuw raamwerk dat transformers en graph neural networks combineert om zowel structurele afhankelijkheden als hun dynamische evolutie te modelleren, wat leidt tot superieure prestaties bij sequentiële aanbevelingen vergeleken met bestaande methoden.

De kern

De Kern: Een slimme combinatie van twee experts

Stel je voor dat je een recommender (een systeem dat je vertelt wat je als volgende moet kopen of kijken) wilt bouwen. Er zijn tot nu toe twee grote scholen van denken geweest, maar beide hadden een zwak punt:

1. De "Chronoloog" (Transformers):
   Deze kijkt alleen naar wat je zojuist hebt gedaan. Hij denkt: "Ah, je hebt net een pizza besteld, dus waarschijnlijk wil je nu ook een cola." Hij is heel goed in het begrijpen van de volgorde van je acties, maar hij ziet niet het grotere plaatje. Hij weet niet dat pizza's en cola's vaak samen met een film worden gegeten, of dat mensen die pizza eten vaak ook pasta bestellen. Hij kijkt alleen naar de directe lijn.

2. De "Socioloog" (Grafische Netwerken):
   Deze kijkt naar het hele netwerk. Hij ziet: "Mensen die pizza eten, kopen vaak ook pasta, en mensen die pasta kopen, houden van Italiaanse wijn." Hij begrijpt de verbindingen tussen alle producten. Maar hij heeft een probleem: hij vergeet vaak de tijd. Hij weet niet of je eerst de pizza of de pasta hebt gekocht, of dat je dat nu doet of over een jaar. Hij ziet de wereld als een statische kaart, niet als een film.

Het probleem: Als je alleen naar de volgorde kijkt, mis je de context. Als je alleen naar de kaart kijkt, mis je de timing.

De Oplossing: CREATE (De "Twee-Ogen" Aanpak)

De auteurs van dit paper hebben een nieuw systeem bedacht, genaamd CREATE. Ze hebben besloten om de Chronoloog en de Socioloog samen te laten werken, maar dan op een slimme manier.

Stel je voor dat je een detective bent die een zaak moet oplossen:

• De Chronoloog is je partner die het dossier van de afgelopen uren bestudeert (wat deed de verdachte net?).
• De Socioloog is je partner die de hele stadskantoor heeft en weet wie met wie bevriend is (wie kent wie?).

In het verleden probeerden ze deze twee partners gewoon hun antwoorden bij elkaar op te tellen. Dat werkte niet goed, omdat ze in verschillende talen spraken en elkaar soms tegenwerkten.

Wat doet CREATE anders?
Ze gebruiken een techniek die we "Kennisoverdracht" noemen.

1. De Opleiding (Warm-up): Eerst laten ze de Socioloog (het grafische model) alleen werken. Hij leert alle verbindingen in de wereld van producten uit zijn hoofd. Hij wordt een expert in "wie hoort bij wie".
2. De Samensmelting: Vervolgens laten ze de Chronoloog (het sequentiële model) werken, maar nu met een speciale bril op die de kennis van de Socioloog laat zien.
3. De Synchronisatie (Barlow Twins): Dit is het magische deel. Ze zorgen ervoor dat de twee partners precies hetzelfde "voelen" over een gebruiker. Ze gebruiken een wiskundige truc (Barlow Twins) die zorgt dat ze niet tegen elkaar in praten, maar dat hun kennis elkaar versterkt zonder dat ze dezelfde informatie dubbel tellen. Het is alsof je twee muzikanten laat spelen die perfect op elkaar inspelen, zodat er één harmonieus geluid ontstaat in plaats van twee verschillende melodieën.

Waarom is dit zo goed?

In de echte wereld (zoals bij Amazon of Spotify) werkt dit systeem veel beter dan de oude methoden.

• Het is sneller en slimmer: Omdat het systeem de "Socioloog" eerst heeft laten oefenen, weet het al precies welke producten bij elkaar horen voordat het begint met het voorspellen van je volgende stap.
• Geen gedoe met nieuwe gebruikers: Oude systemen hadden vaak moeite met mensen die net een account hadden (ze moesten die mensen eerst "inwerken"). Dit nieuwe systeem kan direct een goed advies geven, zelfs als het systeem de gebruiker nog niet helemaal kent, omdat het zich richt op de producten en hun relaties.
• Beter resultaat: In de tests (op datasets met films, kleding en muziek) bleek dat dit systeem veel vaker raadselachtige keuzes goed voorspelde dan de systemen die alleen naar de volgorde of alleen naar de kaart keken.

Samenvattend in één zin:

CREATE is als het geven van een superkracht aan een slimme voorspeller: hij kijkt niet alleen naar wat je nu doet, maar combineert dat met een diepgaand begrip van hoe alles in de wereld met elkaar verbonden is, waardoor hij je precies dat advies geeft dat je nodig hebt, op het moment dat je het nodig hebt.

Technische samenvatting

Titel: Cross-Representation Knowledge Transfer voor Verbeterde Sequentiële Aanbevelingen

Framework: CREATE (Cross-REpresentation Aligned Transfer Encoders)

---

1. Het Probleem

Sequentiële aanbevelingssystemen hebben de afgelopen jaren een enorme groei doorgemaakt, voornamelijk gedreven door Transformer-architecturen (zoals SASRec en BERT4Rec). Deze modellen zijn uitstekend in het modelleren van lokale interactiedynamiek en de volgorde van gebruikersinteracties. Echter, ze hebben een fundamentele beperking: ze behandelen sequentie-elementen vaak geïsoleerd en missen complexe, globale relaties tussen items en gebruikers (bijv. hogere-orde interacties in een interactiegraf).

Aan de andere kant gebruiken Graph Neural Networks (GNN's) expliciet de structuur van de interactiegraf om deze globale relaties te modelleren. GNN's missen echter vaak het vermogen om de temporele evolutie van deze relaties adequaat vast te leggen, wat leidt tot inferieure prestaties bij het voorspellen van de volgende interactie in vergelijking met state-of-the-art sequentiële modellen.

Bestaande hybride oplossingen die beide benaderingen combineren, kampen vaak met problemen bij het fuseren van representaties (bijv. late fusion) en vereisen vaak ingewikkelde procedures om gebruikersrepresentaties bij te werken bij nieuwe interacties (de "folding-in" procedure).

2. Methodologie: Het CREATE Framework

Het paper introduceert CREATE, een raamwerk dat Transformer-architecturen en GNN's combineert via een mechanisme voor kennisoverdracht en representatie-uitlijning.

A. Architectuur

Het framework bestaat uit drie hoofdblokken:

1. Gedeelde Embedding Layer: Gebruikers en items worden gemapt naar een gemeenschappelijke vectorruimte. Positiële embeddings worden toegevoegd voor sequentiële modellen.
2. Sequentiële Encoder (Lokale Weergave):
   • Modelleren van lokale interactiedynamiek en korte-termijn intenties.
   • Gebruikt een Transformer (bijv. SASRec of BERT4Rec) met cross-entropy loss.
   • Produceert een lokale gebruikersrepresentatie ($h_u$) op basis van de historische volgorde.
3. Graph Encoder (Globale Weergave):
   • Modelleren van globale item-item en user-item relaties via een interactiegraf.
   • Gebruikt GNN-architecturen zoals LightGCN of UltraGCN.
   • Produceert een globale gebruikersrepresentatie ($e_u$).
   • Belangrijk: Tijdens inferentie worden alleen de verrijkte item-embeddings gebruikt; er zijn geen persistente gebruikers-embeddings nodig, wat het systeem robuust maakt voor nieuwe gebruikers of interacties.

B. Representatie-uitlijning (Representation Alignment)

Om ervoor te zorgen dat de lokale (sequentiële) en globale (graf) weergaven consistent zijn, introduceert het paper een uitlijningsdoelwit gebaseerd op Barlow Twins.

• In plaats van contrastieve loss (die negatieve steekproeven vereist), wordt de Barlow Twins loss gebruikt.
• Dit doelwit minimaliseert redundantie tussen de twee weergaven door de kruiscorrelatiematrix te sturen naar de eenheidsmatrix.
• Dit zorgt voor invariance (dezelfde gebruiker moet dezelfde representatie hebben in beide weergaven) en reduceert redundantie in de feature-ruimte.

C. Trainingsproces (Twee Fasen)

Om te voorkomen dat de graf-encoder de sequentiële encoder destabiliseert tijdens vroege training, wordt een warm-up strategie toegepast:

1. Warm-up Fase: Alleen de graph encoder wordt getraind (bijv. 50 epochs) om sterke item-embeddings te genereren.
2. Joint Optimization: Beide encoders worden samen getraind met een gewogen totale loss:
   $$L = L_{local} + w_{global}L_{global} + w_{BT}L_{BT}$$
   Waarbij $L_{local}$ de sequentiële loss is, $L_{global}$ de graf loss, en $L_{BT}$ de Barlow Twins uitlijningsloss.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Een hybride architectuur die sequentiële en grafische signalen combineert voor de taak van het voorspellen van het volgende item, waarbij lokale en globale context worden verrijkt.
2. Verbeterde Trainingsmethode: De introductie van een warm-up fase voor de graph encoder en een gezamenlijke optimalisatie die de kwaliteit van aanbevelingen significant verbetert.
3. Barlow Twins voor Uitlijning: Het gebruik van Barlow Twins in plaats van contrastieve loss voor representatie-uitlijning, wat leidt tot betere resultaten en redundantiereductie zonder negatieve steekproeven.
4. Asymmetrisch Ontwerp: Het elimineren van de noodzaak voor "folding-in" procedures tijdens inferentie, wat het systeem schaalbaarder en robuuster maakt voor industriële toepassingen.

4. Resultaten

De auteurs hebben CREATE getest op meerdere open datasets, waaronder MovieLens-1M, diverse Amazon-categorieën (Beauty, Clothing, Sports) en het grote Yambda-muziekdataset.

• Prestatie: CREATE overtreft consistent pure sequentiële modellen (SASRec, BERT4Rec), pure grafische modellen (LightGCN, UltraGCN) en recente hybride modellen (LOOM, MRGSRec, GSAU).
• Kwaliteitsverbetering: Op het Yambda-50M dataset werd een verbetering van +38% op NDCG@10 en +26% op NDCG@100 geboekt ten opzichte van de sterke baseline SASRec.
• Ablatiestudies:
  • Warm-up: Een warm-up periode van de graph encoder is cruciaal; zonder dit daalt de prestatie.
  • Grootte van de graf: Het optimaliseren van het percentage van de laatste interacties dat in de graf wordt opgenomen is dataset-afhankelijk.
  • Uitlijning: Barlow Twins presteerde beter dan contrastieve loss en een model zonder uitlijning.
  • Encoder-combinaties: Het framework werkt flexibel met verschillende backbones (SASRec/BERT4Rec + LightGCN/UltraGCN) en presteert beter naarmate de onderliggende componenten sterker zijn.

5. Betekenis en Impact

Dit paper biedt een belangrijke stap voorwaarts in de ontwikkeling van industriële aanbevelingssystemen:

• Realistische Evaluatie: De auteurs gebruiken een global temporal split (in plaats van leave-last-out), wat een betere benadering is van echte productiescenario's waar data chronologisch arriveert.
• Schaalbaarheid: Door het weglaten van persistente gebruikers-embeddings tijdens inferentie, wordt het systeem makkelijker te schalen en minder gevoelig voor "cold-start" problemen bij nieuwe interacties.
• Synergie: Het bewijst dat het combineren van lokale sequentiële patronen met globale grafische structuur leidt tot rijkere gebruikersrepresentaties en betere aanbevelingen, mits de representaties correct worden uitgelijnd.

Samenvattend biedt CREATE een robuust, schaalbaar en hoogpresterend raamwerk dat de kloof overbrugt tussen sequentiële en grafische aanbevelingsmethodes.