Technisches Resümee: Zeitbewusste Diffusion basierend auf Präferenz-Disentanglement für generative Empfehlungen (TDPM)

1. Problemstellung

Generative Recommender (GRs) haben sich als transformatives Paradigma etabliert, indem sie traditionelle Item-IDs durch semantische Indizes (SIDs) ersetzen, was es Modellen ermöglicht, das nächste Item, mit dem ein Nutzer wahrscheinlich interagieren wird, direkt zu generieren. Während jüngere Arbeiten bereits untersucht haben, Diffusionsmodelle als Backbone für GRs einzusetzen, aufgrund ihrer generativen Fähigkeiten, bleibt eine kritische Einschränkung bestehen: existierende diffusionsbasierte GRs wenden einen uniformen Diffusionsprozess auf alle Items in der Interaktionshistorie eines Nutzers an.

Diese Uniformität versäumt es, die nicht-stationäre und zeitlich evolvierende Natur von Nutzerpräferenzen zu berücksichtigen. In der Realität werden Nutzerpräferenzen durch multifaktorielle Aspekte geformt:

• Langfristige Konsistenz: Stabile Interessen, die über die Zeit akkumuliert wurden (z. B. ein Fußballbegeisterter, der konsistent Ausrüstung kauft).
• Kurzfristige Abweichungen: Abrupte Interessenverschiebungen, die durch jüngste fokale Ereignisse oder externe Stimuli ausgelöst werden (z. B. plötzlicher Kauf eines Gamepads).

Standard-Diffusionsmodelle behandeln alle historischen Items wahllos und setzen eine uniforme Verteilung voraus, was der zeitlichen Dynamik des Nutzerverhaltens widerspricht. Dieses Paper argumentiert, dass zur Überbrückung dieser Lücke der Diffusionsprozess angepasst werden muss, um zeitlich evolvierende Nutzerpräferenzen explizit zu integrieren.

2. Methodik: TDPM-Framework

Die Autoren schlagen TDPM (Time-Aware Diffusion based on Preference Disentanglement) vor, ein neuartiges GR-Framework, das den Standard-Diffusionsprozess für SID-basierte Empfehlungen modifiziert. Die Kerninnovation liegt in der Disentanglement (Entflechtung) der Nutzerpräferenz in zwei distinkte Komponenten, um eine zeitbewusste Token-Maskierungsstrategie voranzutreiben.

2.1 Generierung semantischer IDs (SID)

Folgend bestehender SID-basierter GRs konvertiert TDPM zunächst Metadaten von Items (Text, Kategorien usw.) mittels eines Large Language Models (LLM) in dichte Embeddings. Diese Embeddings werden dann mittels Residual Quantization K-Means (RQ-KMeans) in diskrete, mehrstufige SIDs komprimiert. Dies erzeugt eine hierarchische Token-Sequenz für jedes Item, welche die semantische Nähe bewahrt.

2.2 Präferenz-Disentanglement

TDPM zerlegt die Nutzerpräferenz in zwei latente Variablen:

1. Period Preference ($p_{period}$): Repräsentiert stabile, langfristige Nutzerprofile. Sie wird als monoton steigende Funktion des temporalen Index (Position in der Historie) modelliert, was die Intuition widerspiegelt, dass jüngere Interaktionen mehr Gewicht für aktuelle Interessen besitzen.
2. Point Preference ($p_{point}$): Repräsentiert transiente, kurzfristige Interessenabweichungen. Sie wird basierend auf der semantischen Abweichung (z. B. Cosinus-Distanz) zwischen benachbarten Items in der Interaktionshistorie berechnet. Eine große Abweichung deutet auf eine plötzliche Verschiebung des Interesses hin.

2.3 Zeitbewusste Token-Diffusion

Anstatt einer Standard-Rauschzugabe verwendet TDPM zeitbewusste Token-Maskierung als den Vorwärts-Diffusionsprozess. Die Maskierungswahrscheinlichkeit ($p_j$) für das $j$-te Item in der Historie wird dynamisch durch die Fusion von Period- und Point-Preference bestimmt:
$$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$$

• Adaptive Gewichtung ($\lambda$): Ein Hyperparameter, der die beiden Präferenzen ausbalanciert. Entscheidend ist, dass $\lambda$ nicht fix ist; es folgt während des Trainings einem Power-Law-Wachstumsplan, der den Fokus graduell zur Period-Preference verschiebt, sobald sich das Modell stabilisiert hat.
• Mechanismus: Items mit höheren Maskierungswahrscheinlichkeiten (was auf höhere Wichtigkeit oder Abweichung hindeutet) werden aggressiver maskiert. Dies zwingt das Modell dazu, diese kritischen Signale zu rekonstruieren und somit sowohl stabile Muster als auch abrupte Änderungen zu erfassen.

2.4 Optimierungsstrategie

Das Training folgt einem Zwei-Stufen-Paradigma:

1. Warm-up-Phase: Verwendet eine uniforme Token-Maskierung, um das Modell auf dem SID-Vokabular und Co-Occurrence-Mustern vorzutrainieren, was eine stabile Initialisierung gewährleistet.
2. Zeitbewusste Token-Maskierungsphase: Ersetzt die uniforme Maskierung durch die vorgeschlagene, präferenz-disentangled Strategie. Das SID des Ziel-Items wird vollständig maskiert, um mit der Inferenzaufgabe (Next-Item Prediction) übereinzustimmen.

2.5 Inferenz

Während der Inferenz erhält das Modell die SID-Historie des Nutzers gefolgt von $m$ Masken-Tokens. Es führt eine autoregressive Generierung mittels Constrained Beam Search durch, die durch einen Prefix-Tree (Trie) geleitet wird, welcher aus dem SID-Vokabular konstruiert wurde, um sicherzustellen, dass die generierte Sequenz einem gültigen Item entspricht.

3. Kernbeiträge

Das Paper beansprucht die folgenden Beiträge:

• Erste Integration zeitlich evolvierender Präferenzen: Nach bestem Wissen der Autoren ist dies die erste Arbeit, die die zeitlich evolvierende Eigenschaft der Nutzerpräferenz in die diffusionsbasierte generative Empfehlung integriert.
• Neuartiger Disentanglement-Mechanismus: Der Vorschlag von TDPM, welches die Nutzerpräferenz in eine stabile Period-Preference und eine transiente Point-Preference zerlegt, wodurch das Modell die Diffusionsintensität für jedes Item adaptiv steuern kann.
• Leistungssuperiorität: Umfangreiche Experimente zeigen, dass TDPM State-of-the-Art-Baselines (einschließlich traditioneller sequentieller Modelle, SID-basierter GRs und anderer diffusionsbasierter Recommender) signifikant übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TDPM auf drei öffentlichen Echtzeit-Datensätzen von Amazon: Beauty, Sports and Outdoors sowie Toys and Games.

• Baselines: Die Studie vergleicht TDPM mit RNN/CNN/Transformer-basierten sequentiellen Modellen (GRU4Rec, SASRec, BERT4Rec), SID-basierten GRs (TIGER, LC-Rec) und anderen diffusionsbasierten Recommendern (PreferDiff, DDSR, PreferGrow).
• Leistung: TDPM erzielte signifikante Verbesserungen gegenüber den besten Baseline-Methoden.
  • HR@20: Steigerung um bis zu 29,21 %.
  • NDCG@20: Steigerung um bis zu 25,45 %.
• Ablationsstudien:
  • Das Entfernen der Point-Preference führte zu einem Leistungsabfall von ca. 10 %, was die Notwendigkeit unterstreicht, Interessenabweichungen zu erfassen.
  • Das Entfernen der Period-Preference verursachte einen größeren Abfall (~20 %), was verdeutlicht, dass stabile langfristige Präferenzen das essenzielle Fundament bilden.
  • Das Entfernen von beiden (Rückkehr zur uniformen Maskierung) führte zur schlechtesten Performance, was bestätigt, dass die Standard-uniforme Diffusion für die sequentielle Empfehlung unzureichend ist.
• Hyperparameter-Sensitivität: Die Studie ergab, dass eine moderate initiale Balance ($\lambda_{start} \approx 0,5$) kombiniert mit einer großen Wachstumskurvatur ($k=2,0$) optimale Ergebnisse liefert, da dies dem Modell erlaubt, beide Präferenztypen zu lernen, bevor der Fokus auf die langfristige Konsistenz gelegt wird.

5. Bedeutung und Ansprüche

Das Paper postuliert, dass die primäre Bedeutung von TDPM darin liegt, die Lücke zwischen dem uniformen Vorwärts-Diffusionsprozess von Standardmodellen und der inhärent nicht-uniformen, zeitlich evolvierenden Verteilung von Nutzerpräferenzen zu schließen.

Durch die explizite Modellierung von Präferenzkonsistenz und Interessenabweichungen bewegt sich TDPM über die "item-agnostische" Natur vorangegangener diffusionsbasierter GRs hinaus. Die Autoren behaupten, dass ihre zeitbewusste Token-Diffusion nicht bloß eine inkrementelle Verbesserung, sondern eine notwendige Anpassung ist, damit Diffusionsmodelle in sequentiellen Empfehlungsszenarien effektiv sind. Die Ergebnisse legen nahe, dass das Disentanglement von Präferenzen den Diffusionsprozess ermöglicht, sich auf die informativsten Teile der Interaktionshistorie zu konzentrieren, was zu präziseren und robusteren Next-Item-Vorhersagen führt.