Technische Samenvatting: Time-Aware Diffusion gebaseerd op Preference Disentanglement voor Generatieve Aanbeveling (TDPM)

1. Probleemstelling

Generatieve Aanbevelers (GRs) zijn een transformerend paradigma geworden door traditionele item-ID's te vervangen door Semantische Indices (SIDs), waardoor modellen direct het volgende item kunnen genereren waar een gebruiker waarschijnlijk mee zal interageren. Hoewel recente werken de inzet van diffusiemodellen als ruggengraat voor GR's hebben verkend vanwege hun generatieve capaciteiten, blijft er een kritieke beperking: bestaande diffusie-gebaseerde GR's passen een uniforme diffusie-oplossing toe op alle items in de interactiegeschiedenis van een gebruiker.

Deze uniformiteit houdt geen rekening met de niet-stationaire en tijdsevoluerende aard van gebruikersvoorkeuren. In werkelijkheid worden gebruikersvoorkeuren gevormd door veelzijdige factoren:

• Lange-termijn consistentie: Stabiele interesses die over een langere periode zijn opgebouwd (bijv. een voetbalenthousiasteling die consequent sportuitrusting koopt).
• Korte-termijn afwijkingen: Abrupte verschuivingen in interesse getriggerd door recente focale gebeurtenissen of externe stimuli (bijv. plotseling een gamecontroller kopen).

Standaard diffusiemodellen behandelen alle historische items zonder onderscheid, uitgaande van een uniforme distributie die in strijd is met de temporele dynamiek van gebruikersgedrag. Dit artikel betoogt dat om deze kloof te overbruggen, het diffusieproces moet worden aangepast om tijdsevoluerende gebruikersvoorkeuren expliciet te integreren.

2. Methodologie: TDPM-framework

De auteurs stellen TDPM (Time-Aware Diffusion based on Preference Disentanglement) voor, een nieuw GR-framework dat het standaard diffusieproces aanpast voor SID-gebaseerde aanbeveling. De kerninnovatie ligt in het ontrafelen (disentangle) van de gebruikersvoorkeur in twee afzonderlijke componenten om een tijd-bewuste token masking-strategie aan te sturen.

2.1 Generatie van Semantische ID's (SID)

Conform bestaande SID-gebaseerde GR's, zet TDPM eerst item-metadata (tekst, categorieën, etc.) om in dichte embeddings met behulp van een Large Language Model (LLM). Deze embeddings worden vervolgens gecomprimeerd naar discrete, meerlagige SIDs met behulp van Residual Quantization K-Means (RQ-KMeans). Dit creëert een hiërarchische tokensequentie voor elk item, waarbij de semantische nabijheid behouden blijft.

2.2 Preference Disentanglement (Ontrafeling van Voorkeuren)

TDPM deelt de gebruikersvoorkeur op in twee latente variabelen:

1. Period Preference ($p_{period}$): Vertegenwoordigt stabiele, lange-termijn gebruikersprofielen. Het wordt gemodelleerd als een monotoon toenemende functie van de temporele index (positie in de geschiedenis), wat de intuïtie weerspiegelt dat recente interacties meer gewicht dragen voor de huidige interesses.
2. Point Preference ($p_{point}$): Vertegenwoordigt transiënte, korte-termijn interesseafwijkingen. Het wordt berekend op basis van de semantische afwijking (bijv. cosinusafstand) tussen opeenvolgende items in de interactiegeschiedenis. Een grote afwijking duidt op een plotselinge verschuiving in interesse.

2.3 Time-Aware Token Diffusion

In plaats van standaard ruis-toevoeging, gebruikt TDPM time-aware token masking als het forward diffusieproces. De maskering-waarschijnlijkheid ($p_j$) voor het $j$-de item in de geschiedenis wordt dynamisch bepaald door het fuseren van de period- en point-preferences:
$$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$$

• Adaptieve Weging ($\lambda$): Een hyperparameter die de twee voorkeuren balanceert. Cruciaal is dat $\lambda$ niet vaststaat; het volgt een power-law groeischema tijdens de training, waarbij de focus geleidelijk verschuift naar de period preference naarmate het model stabiliseert.
• Mechanisme: Items met hogere maskering-waarschijnlijkheden (wat wijst op hogere belangrijkheid of afwijking) worden agressiever gemaskeerd. Dit dwingt het model om te leren deze kritieke signalen te reconstrueren, waardoor zowel stabiele patronen als abrupte veranderingen worden gevangen.

2.4 Optimalisatiestrategie

De training volgt een tweefasig paradigma:

1. Warm-up Fase: Gebruikt uniforme token masking om het model voor te trainen op de SID-vocabulaire en co-occurrence patronen, wat zorgt voor een stabiele initialisatie.
2. Time-Aware Token Masking Fase: Vervangt uniforme masking door de voorgestelde preference-disentangled strategie. De SID van het doel-item wordt volledig gemaskeerd om aan te sluiten bij de inference-taak (next-item prediction).

2.5 Inference

Tijdens inference ontvangt het model de SID-geschiedenis van de gebruiker gevolgd door $m$ mask-tokens. Het voert autoregressieve generatie uit met behulp van constrained beam search, gestuurd door een prefix tree (Trie) die is geconstrueerd uit de SID-vocabulaire, om te garanderen dat de gegenereerde sequentie overeenkomt met een geldig item.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

• Eerste Integratie van Tijdsevoluerende Voorkeuren: Naar beste weten van de auteurs is dit het eerste werk dat de tijdsevoluerende eigenschap van gebruikersvoorkeuren integreert in diffusie-gebaseerde generatieve aanbeveling.
• Nieuw Disentanglement Mechanisme: De voorstel van TDPM, dat de gebruikersvoorkeur ontrafelt in een stabiele period preference en een transiënte point preference, waardoor het model de diffusie-intensiteit adaptief kan beheren voor elk item.
• Prestatie-superieuriteit: Uitgebreide experimenten tonen aan dat TDPM de state-of-the-art baselines aanzienlijk overtreft (inclusclusief traditionele sequentiële modellen, SID-gebaseerde GR's en andere diffusie-gebaseerde recommenders).

4. Experimentele Resultaten

De auteurs evalueerden TDPM op drie publieke real-world datasets van Amazon: Beauty, Sports and Outdoors, en Toys and Games.

• Baselines: De studie vergelijkt TDPM met RNN/CNN/Transformer-gebaseerde sequentiële modellen (GRU4Rec, SASRec, BERT4Rec), SID-gebaseerde GR's (TIGER, LC-Rec), en andere diffusie-gebaseerde recommenders (PreferDiff, DDSR, PreferGrow).
• Prestaties: TDPM behaalde significante verbeteringen ten opzichte van de beste baseline-methoden.
  • HR@20: Tot 29,21% verbetering.
  • NDCG@20: Tot 25,45% verbetering.
• Ablatie-studies:
  • Het verwijderen van Point Preference resulteerde in een daling van ~10% in prestaties, wat de noodzaak aangeeft om interesseafwijkingen te vangen.
  • Het verwijderen van Period Preference veroorzaakte een grotere daling (~20%), wat benadrukt dat stabiele lange-termijn voorkeuren de essentiële basis vormen.
  • Het verwijderen van beide (terugkeer naar uniforme masking) resulteerde in de slechtste prestaties, wat bevestigt dat standaard uniforme diffusie onvoldoende is voor sequentiële aanbeveling.
• Hyperparameter Gevoeligheid: De studie vond dat een gematigde initiële balans ($\lambda_{start} \approx 0,5$) gecombineerd met een grote groeicurvatuur ($k=2,0$) optimale resultaten oplevert, waardoor het model beide type voorkeuren kan leren voordat de focus op lange-termijn consistentie komt te liggen.

5. Betekenis en Claims

Het artikel stelt dat de primaire betekenis van TDPM ligt in het overbruggen van de kloof tussen het uniforme forward diffusieproces van standaardmodellen en de inherent niet-uniforme, tijdsevoluerende distributie van gebruikersvoorkeuren.

Door expliciet de consistentie van voorkeuren en de interesseafwijkingen te modelleren, gaat TDPM verder dan de "item-agnostische" natuur van eerdere diffusie-gebaseerde GR's. De auteurs claimen dat hun time-aware token diffusion niet louter een incrementele verbetering is, maar een noodzakelijke aanpassing voor diffusiemodellen om effectief te zijn in sequentiële aanbevelingsscenario's. De resultaten suggereren dat het ontrafelen van voorkeuren de diffusie-oplossing in staat stelt zich te concentreren op de meest informatieve delen van de interactiegeschiedenis, wat leidt tot nauwkeurigere en robuustere next-item voorspellingen.