Technisches Resümee: Konstruktives Multi-Sequenz-Lernen (CMSL) für Empfehlungssysteme

1. Problemstellung: Kontext-Kontamination in der sequenziellen Empfehlung

Während das Sequenzlernen die traditionellen Deep Learning Recommendation Models (DLRM) überholt hat, indem es zeitliche Nuancen erfasst, verlassen sich aktuelle State-of-the-Art-Architekturen oft auf eine einschränkende Analogie: die Behandlung der Nutzerhistorie als eine monolithische chronologische Sequenz, ähnlich einem Satz in einem Large Language Model (LLM).

Die Autoren identifizieren eine grundlegende Divergenz zwischen natürlicher Sprache und Empfehlungsdaten:

• Mangel an struktureller Einheit: Im Gegensatz zu Text, der linearen, logischen syntaktischen Regeln folgt, ist die Nutzerhistorie ein „verrauschtes Mosaik“ aus fragmentierten, vielfältigen Interessen, explorativen Klicks und versehentlichen Interaktionen.
• Kontext-Kontamination (Context Pollution): In der Single-Sequence-Modellierung konkurrieren unzusammenhängende Verhaltensweisen um dasselbe Attention-Budget. Dieses „verrauschte“ Signal verwässert den Fokus des Modells und zwingt es dazu, Abhängigkeiten zwischen semantisch unterschiedlichen Intentionen (z. B. berufliches Lernen vs. Freizeitunterhaltung) zu berechnen. Dies führt zu Scheinkorrelationen, Repräsentations-Engpässen und suboptimalen Vorhersagen.

Das Paper argumentiert, dass Empfehlungssysteme von der passiven „Modellierung einer Sequenz“ zum aktiven „Konstruieren von Kontext“ übergehen sollten, um das unterexplorierte Problem der Kontext-Kontamination in der sequenziellen Empfehlung anzugehen.

2. Methodik: Konstruktives Multi-Sequenz-Lernen (CMSL)

CMSL schlägt einen Paradigmenwechsel von der passiven Sequenz-Ingestion hin zum aktiven „Kontext-Engineering“ vor. Anstatt die rohe Historie als einzelnen Prompt einzuspeisen, konstruiert CMSL mehrere kohärente latente Sequenzen im latenten Raum, um Nutzerintentionen zu entwirren.

2.1 Merkmals-Vorverarbeitung

• Nicht-Sequenz-Merkmale: Dichte Merkmale (z. B. Alter, Preis) werden normalisiert und projiziert; dünne Merkmale (z. B. Land, Kategorie) werden eingebettet.
• Sequenz-Merkmale: Nutzerinteraktionsverläufe (Klicks, Likes, Kommentare) werden nach gemeinsamen Attributen gruppiert (z. B. gleiches Produkt-Oberflächenmerkmal) und mittels eines Gated-Summation-Mechanismus zu einer einzigen Sequenz komprimiert. Dies reduziert den Rechenaufwand, während die Interaktionsinformationen erhalten bleiben.

2.2 CMSL-Architektur

Der Kern von CMSL besteht aus $N$ gestapelten Blöcken, die jeweils vier Schlüsselkomponenten enthalten:

1. Multi-Sequenz-Konstruktion:

   • Intent-Entwirrung (Intent Disentanglement): Nicht-Sequenz-Merkmale werden mittels $K$ Projektionsköpfen in $K$ kontextspezifische Mengen projiziert, wodurch die Nutzerintentionen effektiv in verschiedene Kontexte entwirrt werden.
   • Sequenz-Konstruktion: Ein lernbarer Sequenz-Konstruktionsmodul nutzt Cross-Attention. Die aktuelle Sequenzrepräsentation dient als Query ($Q$), während die projizierten Kontextmerkmale als Keys ($K$) und Values ($V$) dienen. Dies generiert $K$ distinkte latente Sequenzen ($\tilde{X}^{(l,k)}$), von denen jede sich auf einen anderen Aspekt des Nutzerkontexts konzentriert.

2. Self-Attention (Lineare Approximation):

   • Jede der $K$ konstruierten Sequenzen durchläuft unabhängig eine Self-Attention, um interne zeitliche Korrelationen ohne Cross-Intent-Interferenz zu erfassen.
   • Um die quadratische Komplexität von Standard-Attention und den $K$-fachen Anstieg der Rechenlast zu bewältigen, verwendet CMSL einen Linear-Time-Attention-Mechanismus.
   • Dieser Mechanismus approximiert die HSTU-Attention (weit verbreitet bei Meta) mittels einer Taylor-Reihenentwicklung der SiLU-Aktivierungsfunktion. Er zerlegt die Operation in einen linearen Attention-Term ($\phi(Q)\phi(K)^\top V$) und einen spärlichen (sparse) Term ($AV$), der große Einträge erfasst, was die Rechenkosten erheblich senkt.

3. Sequenz-Zusammenfassung (Summarization):

   • Nach der Self-Attention wird Pooling by Multi-head Attention (PMA) verwendet, um jede Sequenz in einen Vektor fester Länge zusammenzufassen.
   • Dieser Schritt extrahiert globale Signale, die für den aktuellen Zustand des Nutzers relevant sind (unter Verwendung von Nicht-Sequenz-Merkmalen als Queries), und unterdrückt redundante historische Daten, um die Akkumulation von Rauschen über die Layer hinweg zu verhindern.

4. Sequenz-Kompression:

   • Um zu verhindern, dass die Anzahl der Sequenzen über die Layer hinweg explodiert, werden die $K$ zusammengefassten Sequenzen konkateniert und via MLP zurück in eine einzige latente Sequenz projiziert. Dies ermöglicht ein tiefes hierarchisches Lernen bei gleichbleibender Sequenzanzahl pro Layer.

2.3 Finale Fusion

Die finale Repräsentation wird durch die Konkatenation der zusammengefassten Vektoren der letzten Schicht gebildet und an aufgabenspezifische Köpfe für Click-Through-Rate (CTR) und Conversion-Rate (CVR) Vorhersagen übergeben.

3. Hauptbeiträge

Das Paper skizziert vier primäre Beiträge:

1. Neue Perspektive: Identifiziert „Kontext-Kontamination“ als kritischen Fehlermodus in der sequenziellen Empfehlung und schlägt ein Multi-Sequenz-Konstruktionsparadigma vor, um diese zu mildern.
2. Multi-Sequenz-Konstruktionsmodul: Ein lernbares Modul, das rohe Historien mittels Cross-Attention in mehrere latente Ströme transformiert, um eine intentionsbewusste, adaptive Kontextgestaltung zu erreichen.
3. Skalierbare Lineare Attention: Ein effizienter Linear-Time-Attention-Mechanismus, der die Rechenkosten der Modellierung mehrerer Sequenzen reduziert und Skalierbarkeit ermöglicht.
4. Validierung im industriellen Maßstab: Erfolgreiche Implementierung und Validierung auf vier großen Oberflächen bei Meta, die Milliarden von täglichen aktiven Nutzern verarbeiten.

4. Experimentelle Ergebnisse

CMSL wurde auf Ranking- und Retrieval-Aufgaben innerhalb der Produktionsumgebung von Meta evaluiert.

• Ranking-Evaluierung:

  • Metrik: Normalisierte Entropie (NE), wobei niedrigere Werte eine bessere Leistung anzeigen.
  • Setup: Evaluierung auf vier großskaligen Oberflächen. Oberfläche 1 nutzte einen direkten Trainingsansatz, während die Oberflächen 2–4 eine Zwei-Stufen-Architektur (asynchrones Upstream-Nutzer-Modell) verwendeten, um die Latenz zu steuern.
  • Ergebnisse: CMSL zeigte statistisch signifikante Verbesserungen. Auf Oberfläche 1 lagen die NE-Verbesserungen zwischen -0,31 % und -0,62 % für „Like“- und „Comment“-Aufgaben. Auf den Oberflächen 2–4 ergab die Integration von CMSL-Embeddings NE-Gewinne von -0,06 % bis -0,13 % über CTR- und CVR-Aufgaben hinweg.

• Retrieval-Evaluierung:

  • Setup: Online-A/B-Testing auf Oberfläche 5.
  • Ergebnisse: Die CMSL-Nutzer-Embeddings führten zu statistisch signifikanten Verbesserungen in allen vier gemessenen Engagement-Metriken, mit Gewinnen zwischen +0,092 % und +0,171 %.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CMSL eine Verschiebung darstellt: weg von der Behandlung der Nutzerhistorie als einem „rohen Prompt“, der gelesen werden muss, hin zu einem „Kontext“, der konstruiert wird. Durch die aktive Entwirrung der Nutzerhistorie in kohärente thematische Stränge mildert CMSL die semantische Interferenz, die in heterogenen Nutzerdaten inhärent ist.

Die Autoren betonen, dass dieser Ansatz mit der „Kontext-Engineering“-Philosophie von LLMs übereinstimmt, jedoch für Empfehlungssysteme angepasst wurde, in denen Item-IDs keine explizite Semantik besitzen und daher einen impliziten, lernbaren Ansatz erfordern. Das Framework wird als praktische Lösung für Produktionssysteme im großen Maßstab präsentiert, die konsistente Gewinne gegenüber starken sequenziellen Baselines bietet und durch lineare Attention rechentechnisch effizient bleibt.