Cross-Representation Knowledge Transfer for Improved Sequential Recommendations

Die vorgestellte Arbeit entwickelt ein neues Framework, das Transformer-Architekturen und Graph-Neuronale-Netzwerke kombiniert, um sowohl strukturelle Abhängigkeiten als auch deren zeitliche Dynamik zu modellieren und so die Genauigkeit von Next-Item-Empfehlungen im Vergleich zu rein sequenziellen oder graphbasierten Ansätzen zu verbessern.

Das Wesentliche

Das Problem: Der einsame Leser vs. der vergessliche Bibliothekar

Stell dir vor, du suchst ein neues Buch. Es gibt zwei Arten von Experten, die dir helfen könnten:

1. Der "Reihenfolge-Experte" (Der Sequential Encoder):
   Dieser Experte schaut sich genau an, welche Bücher du in welcher Reihenfolge gelesen hast. Wenn du gestern einen Krimi gelesen hast und heute einen Thriller, weiß er: "Aha, du magst Spannung!" Er ist sehr gut darin, deine momentane Stimmung zu verstehen. Aber er hat ein Problem: Er kennt nur deine persönliche Geschichte. Er weiß nicht, dass der Krimi, den du gelesen hast, eigentlich von demselben Autor stammt wie ein Buch, das du vor fünf Jahren mochtest, aber in deiner aktuellen Liste nicht vorkommt. Er sieht die Bäume, aber nicht den Wald.

2. Der "Welt-Experte" (Der Graph Encoder):
   Dieser Experte kennt das ganze Universum der Bücher. Er weiß, welche Bücher oft zusammen gekauft werden, welche Autoren sich ähneln und welche Genres sich überschneiden. Er kennt die großen Zusammenhänge (den "Wald"). Aber er vergisst oft deine persönliche Geschichte. Er könnte dir ein Buch empfehlen, das zwar perfekt zu deinem letzten Buch passt, aber gar nicht zu deinem aktuellen Geschmack, weil er nicht weiß, dass du heute nur nach etwas Leichtem suchst.

Das Dilemma: Bisherige Systeme waren entweder der eine oder der andere. Entweder sie waren super auf deine aktuelle Liste fokussiert, aber blind für globale Trends, oder sie kannten alle Zusammenhänge, aber verpassten deine aktuelle Stimmung.

Die Lösung: CREATE – Der perfekte Teamwork-Coach

Die Forscher aus diesem Papier haben ein neues System namens CREATE entwickelt. Stell dir das wie ein Team aus zwei Spezialisten vor, die unter einem Dach arbeiten und sich ständig absprechen.

1. Zwei Köpfe, ein Gehirn:
   Das System hat zwei "Hirne":

   • Das linke Hirn (Sequential Encoder) schaut auf deine Zeitreise: "Was hast du gerade gemacht?"
   • Das rechte Hirn (Graph Encoder) schaut auf die Landkarte: "Was passt global zusammen?"

2. Der "Warm-up" (Das Aufwärmen):
   Bevor die beiden zusammenarbeiten, lässt man das rechte Hirn (den Welt-Experten) erst einmal allein trainieren. Es ist wie ein Sportler, der sich erst aufwärmt, bevor er ins Spiel kommt. So lernt er die großen Zusammenhänge der Welt, ohne vom Chaos der aktuellen Nutzerdaten gestört zu werden. Erst wenn er "warm" ist, darf er mit dem linken Hirn zusammenarbeiten.

3. Der "Spiegel" (Die Ausrichtung):
   Das ist der genialste Teil. Damit die beiden Hirne nicht durcheinanderkommen und unterschiedliche Welten beschreiben, nutzen die Forscher einen Trick namens Barlow Twins.

   • Stell dir vor, das linke Hirn malt ein Bild von dir, und das rechte Hirn malt ein anderes Bild.
   • Normalerweise würden diese Bilder vielleicht ganz unterschiedlich aussehen.
   • CREATE zwingt die beiden aber, sich gegenseitig in den Spiegel zu schauen. Sie müssen lernen, dass ihre Bilder dasselbe zeigen, aber ohne sich gegenseitig zu kopieren. Sie müssen die wichtigen Details teilen, aber unnötiges "Rauschen" (Wiederholungen) weglassen.
   • Das Ergebnis: Ein extrem scharfes, klares Bild von dir, das sowohl deine aktuelle Stimmung als auch deine langfristigen Vorlieben perfekt einfängt.

Warum ist das besser als alles andere?

• Kein "Folding-in" nötig: Bei alten Systemen musste man bei jedem neuen Klick eines Nutzers das ganze System neu berechnen (wie wenn man bei jedem neuen Buch den ganzen Bibliothekskatalog neu sortieren müsste). CREATE ist schlauer: Es braucht das rechte Hirn nur zum Lernen. Wenn du etwas Neues anklickst, reicht das linke Hirn aus, um die Empfehlung zu geben. Das ist viel schneller und stabiler.
• Bessere Empfehlungen: Weil das System sowohl deine "kurze Geschichte" als auch die "große Welt" kennt, trifft es seltenere, aber genauere Treffer. Es findet die Nadel im Heuhaufen, die nur der Welt-Experte kennt, aber in deinem aktuellen Kontext (dem linken Hirn) perfekt passt.

Zusammenfassung in einem Satz

CREATE ist wie ein hochintelligenter Berater, der erst die großen Zusammenhänge der Welt lernt, dann deine persönliche Geschichte studiert und beides so geschickt verknüpft, dass er dir genau das empfiehlt, wonach du gerade suchst – auch wenn du es selbst noch nicht genau wusstest.

Das Papier zeigt, dass diese Kombination aus "Reihenfolge" und "Weltwissen" durch eine spezielle Technik (die Spiegel-Ausrichtung) deutlich bessere Ergebnisse liefert als alle bisherigen Methoden.

Technische Zusammenfassung

1. Problemstellung

Im Bereich der sequenziellen Empfehlungssysteme (Sequential Recommender Systems) dominieren derzeit Transformer-Architekturen (z. B. SASRec, BERT4Rec). Diese Modelle sind hervorragend darin, lokale Abhängigkeiten in der Historie der Benutzerinteraktionen zu modellieren, betrachten die Sequenzelemente jedoch oft isoliert und erfassen implizit nur die Beziehungen zwischen ihnen.

Im Gegensatz dazu modellieren Graph Neural Networks (GNNs) wie LightGCN oder UltraGCN komplexe, globale Beziehungen zwischen Benutzern und Artikeln explizit durch höhere Ordnung von Interaktionen. Allerdings fehlt GNNs oft die Fähigkeit, die zeitliche Evolution dieser Interaktionen adäquat zu erfassen, was ihre Leistung bei der Vorhersage des nächsten Artikels (Next-Item Prediction) im Vergleich zu rein sequenziellen Modellen einschränkt.

Bestehende Ansätze, die beide Architekturen kombinieren, leiden unter Mängeln bei der Fusion der Repräsentationen (z. B. durch späte Fusion oder kontrastive Verluste mit negativen Samples) und benötigen oft aufwändige Verfahren wie „Folding-in", um Benutzer-Embeddings bei neuen Interaktionen zu aktualisieren.

2. Methodik: Das CREATE-Framework

Die Autoren stellen CREATE (Cross-REpresentation Aligned Transfer Encoders) vor, ein Framework, das Transformer- und Graph-Architekturen kombiniert, um lokale und globale Informationen zu vereinen.

Architektur-Komponenten:

• Gemeinsame Embedding-Schicht: Benutzer- und Artikel-IDs werden in einen gemeinsamen $d$-dimensionalen Raum abgebildet.
• Sequenzieller Encoder (Lokal): Ein Transformer-basiertes Modell (z. B. SASRec oder BERT4Rec), das die zeitliche Reihenfolge der Interaktionen erfasst. Es nutzt kausale Maskierung (bei SASRec) oder bidirektionale Maskierung (bei BERT4Rec).
• Graph-Encoder (Global): Ein GNN (z. B. LightGCN oder UltraGCN), das auf dem bipartiten Benutzer-Artikel-Graphen operiert, um globale Kontexte und transitive Abhängigkeiten zu lernen.
• Repräsentationsausrichtung (Alignment): Ein zentrales Element ist die Ausrichtung der Embeddings beider Encoder. Anstatt kontrastiver Verluste (die negative Samples benötigen) wird der Barlow Twins-Ansatz verwendet. Dieser Zielverlust minimiert die Redundanz zwischen den beiden Sichtweisen (lokal vs. global) und fördert die Invarianz, indem die Kreuzkorrelationsmatrix der Embeddings zur Identitätsmatrix gedrückt wird.

Trainingsprozess (Zwei-Phasen-Ansatz):

1. Warm-up-Phase: Der Graph-Encoder wird zunächst allein vortrainiert, um hochwertige globale Artikel-Embeddings zu erzeugen.
2. Joint Optimization: Anschließend werden beide Encoder gemeinsam end-to-end optimiert. Der Graph-Encoder liefert dabei angereicherte Informationen für den sequenziellen Encoder.

Inferenz-Vorteil:
Ein entscheidender technischer Vorteil von CREATE ist, dass während der Inferenz keine Benutzer-Embeddings benötigt werden. Das System nutzt ausschließlich den sequenziellen Encoder mit den durch den Graphen angereicherten Artikel-Embeddings. Dies eliminiert die Notwendigkeit von „Folding-in"-Prozeduren für neue Benutzerinteraktionen und macht das System robuster gegenüber Out-of-Distribution-Daten.

3. Hauptbeiträge

• Neues Framework: Entwicklung von CREATE, das Transformer und GNNs durch eine ausgerichtete Repräsentationsübertragung kombiniert.
• Verbessertes Training: Einführung einer Warm-up-Strategie für den Graph-Encoder, um die Stabilität und Qualität der gemeinsamen Optimierung zu sichern.
• Redundanzreduktion: Anwendung des Barlow Twins-Verfahrens zur Ausrichtung der Repräsentationen, was zu besseren Ergebnissen führt als herkömmliche kontrastive Verluste und keine negativen Samples erfordert.
• Asymmetrisches Design: Ein Ansatz, der auf sequenziellen Vorhersagen basiert, aber globale Graphenkenntnisse integriert, ohne Benutzer-Embeddings für die Vorhersage zu benötigen.

4. Experimentelle Ergebnisse

Die Methode wurde auf fünf Datensätzen evaluiert (MovieLens-1M, Amazon-Kategorien: Clothing, Sports, Beauty, und Yambda-50M) unter Verwendung eines realistischen globalen temporalen Splits (besser als das übliche „leave-last-out").

• Leistung: CREATE übertrifft konsistent reine sequenzielle Modelle (SASRec, BERT4Rec), reine Graph-Modelle (LightGCN, UltraGCN) und aktuelle Multi-Repräsentations-Modelle (z. B. LOOM, MRGSRec).
• Quantitative Verbesserungen:
  • Auf dem Yambda-50M-Datensatz wurde eine Steigerung von +38% bei NDCG@10 und +26% bei NDCG@100 gegenüber dem starken SASRec-Baselines erzielt.
  • Auch auf Amazon-Datensätzen zeigten sich signifikante Verbesserungen (z. B. +15% bis +29% bei Recall@10).
• Ablationsstudie:
  • Die Warm-up-Phase ist entscheidend; zu kurze oder fehlende Warm-up-Phasen führen zu schlechteren Ergebnissen.
  • Der Barlow Twins-Verlust führt zu besseren Ranking-Metriken als kontrastive Verluste, obwohl dies manchmal zu einer leicht reduzierten Coverage führt (da seltenere, aber relevante Artikel empfohlen werden).
  • Die Größe des Graphen (Anzahl der Interaktionen pro Benutzer) hat einen optimalen Punkt; zu große Graphen können ohne ausreichendes Training zu Overfitting führen.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Kombination von lokaler sequenzieller Dynamik und globaler graphbasierter Struktur zu einer ausdrucksstärkeren Repräsentation von Benutzerpräferenzen führt.

Die Bedeutung von CREATE liegt in:

1. Überwindung von Limitierungen: Es schließt die Lücke zwischen der Fähigkeit von Transformern, Zeitreihen zu modellieren, und der Fähigkeit von GNNs, komplexe Beziehungen zu erfassen.
2. Praktische Anwendbarkeit: Durch den Verzicht auf Benutzer-Embeddings bei der Inferenz ist das System besser für industrielle Szenarien geeignet, in denen Benutzerinteraktionen in Echtzeit aktualisiert werden müssen, ohne das gesamte Modell neu zu berechnen.
3. Robustheit: Die Verwendung von Barlow Twins und die spezifische Trainingsstrategie machen das Modell stabiler und leistungsfähiger als bisherige Multi-Modal-Ansätze.

Zusammenfassend bietet CREATE einen neuen Standard für hybride Empfehlungssysteme, der sowohl die Genauigkeit als auch die Skalierbarkeit verbessert.