💬 NLP

Learning Decomposed Contextual Token Representations from Pretrained and Collaborative Signals for Generative Recommendation

Dieser Beitrag stellt DECOR vor, ein einheitliches Framework, das die Zielkonflikte zwischen semantischer Tokenisierung und Modellierung der Benutzerinteraktion in generativen Recommender-Systemen adressiert, indem es dekomponierte kontextuelle Token-Repräsentationen erlernt, die vortrainierte Semantiken bewahren und sich gleichzeitig an kollaborative Signale anpassen, wodurch es die besten verfügbaren Basismodelle übertrifft.

Ursprüngliche Autoren: Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten Roboter (ein Large Language Model) beizubringen, einem Kunden den perfekten Artikel zu empfehlen, wie etwa einen Kopfhörer. Dafür benötigt der Roboter eine Möglichkeit, über diese Artikel zu „sprechen".

Der alte Weg: Das starre Wörterbuch

Derzeit verwenden die meisten Systeme einen zweistufigen Prozess, der ein wenig wie die Verwendung eines Wörterbuchs wirkt, das von einem Bibliothekar geschrieben wurde, der noch nie Kopfhörer gekauft hat.

Schritt 1 (Das Wörterbuch): Zuerst betrachtet ein System die Artikelbeschreibung (z. B. „Lärmunterdrückende Kopfhörer zum Schlafen") und weist ihm einen festen Code zu, wie eine geheime ID-Nummer. Nehmen wir an, dieser Code lautet [A_3, B_4, C_5, D_95]. Dieser Code wird einmal erstellt und ändert sich nie.
Schritt 2 (Der Käufer): Dann lernt der Roboter, basierend auf den vorherigen Klicks des Nutzers und unter Verwendung dieser festen Codes, den nächsten Artikel vorherzusagen.

Das Problem: Dieser Ansatz hat zwei gravierende Mängel, die in der Arbeit als „Suboptimale statische Tokenisierung" und „Verworfen vortrainierte Semantik" bezeichnet werden.

Die „Einheitsgröße"-Falle: Stellen Sie sich drei verschiedene Kopfhörer vor: einen für das Büro, einen für das Fitnessstudio und einen zum Schlafen. Sie klingen alle ähnlich, sodass das Wörterbuch ihnen genau die gleichen ersten drei Codes zuweist: [A_3, B_4, C_5]. Der Roboter sieht dies und denkt: „Oh, sie sind alle gleich!" Er weiß nicht, ob der Nutzer schlafen oder rennen möchte, bis er die allerletzte Ziffer sieht. Dies verwirrt den Roboter und lässt ihn langsam verstehen, was der Nutzer tatsächlich will.
Die „Verschwendetes Wissen"-Falle: Das Wörterbuch wurde unter Verwendung einer riesigen Menge allgemeinen Wissens erstellt (wie die Kenntnis, dass „Apple" eine Frucht oder eine Tech-Marke sein kann). Sobald der Roboter jedoch beginnt, aus Nutzerklicks zu lernen, vergisst er dieses allgemeine Wissen oft. Er behandelt den Code [A_3] nur als zufälliges Symbol und wirft die reiche Bedeutung, die er ursprünglich hatte, weg.

Die neue Lösung: DECOR

Die Autoren schlagen ein neues Framework namens DECOR (Decomposed Contextual Token Representations) vor. Denken Sie an DECOR als daran, dem Roboter einen intelligenten, anpassungsfähigen Übersetzer statt eines starren Wörterbuchs zu geben.

DECOR behebt die Probleme mit zwei Haupttricks:

1. Der „Kontextuelle Übersetzer" (Kontextualisierte Token-Komposition)

Anstatt den Artikelcode [A_3, B_4, C_5] als festen, unveränderlichen Label zu behandeln, lässt DECOR den Roboter diesen Code basierend auf der aktuellen Situation neu interpretieren.

Die Analogie: Stellen Sie sich vor, Sie hören das Wort „Bank". Wenn Sie über Angeln sprechen, bedeutet „Bank" das Ufer eines Flusses. Wenn Sie über Geld sprechen, bedeutet es eine Finanzinstitution.
Wie es funktioniert: Im alten System bedeutete „Bank" immer dasselbe. In DECOR sagt der Roboter, wenn der Nutzer gerade Anglerzubehör angesehen hat, beim Blick auf den Code für „Bank": „Ah, in diesem Kontext bedeutet dieser Code 'Flussufer'." Wenn der Nutzer Kreditkarten angesehen hat, sagt er: „In diesem Kontext bedeutet dieser Code 'Geld'."
Das Ergebnis: Der Roboter kann die Absicht hinter dem Artikel sofort verstehen, selbst wenn der Code des Artikels dem anderer Artikel identisch sieht. Er wird nicht mehr durch die im Bild 1 der Arbeit gezeigte „Präfix-Ambiguität" verwirrt.

2. Der „Dual-Motor-Speicher" (Decomponierte Embedding-Fusion)

DECOR erkennt, dass der Roboter zwei Arten von Speicher benötigt, die zusammenarbeiten, nicht nur einen.

Motor A (Eingefrorenes Wissen): Dies ist das ursprüngliche, reiche Wissen aus dem Wörterbuch (z. B. die Kenntnis, dass „Apple" eine Frucht ist). DECOR hält diesen Teil eingefroren, damit er nie überschrieben oder vergessen wird.
Motor B (Gelerntes Verhalten): Dies ist das neue Wissen, das der Roboter aus Nutzerklicks lernt (z. B. „Leute, die Laptops kaufen, kaufen oft Mäuse").
Die Fusion: DECOR wirkt wie ein intelligenter Mixer. Es nimmt das eingefrorene Wissen (Motor A) und die neuen Verhaltensmuster (Motor B) und mischt sie perfekt zusammen. Auf diese Weise verliert der Roboter nie seinen allgemeinen Verstand, während er gleichzeitig spezifische Nutzergewohnheiten lernt.

Warum es wichtig ist

Die Arbeit testete dies an drei realen Datensätzen (Wissenschaftliche Artikel, Musikinstrumente und Videospiele).

Bessere Genauigkeit: DECOR schlug konsistent die besten bestehenden Methoden. Zum Beispiel verbesserte DECOR in der Kategorie „Musikinstrumente", wo Artikel sehr spezifische technische Namen haben, die Genauigkeit um mehr als 5 % im Vergleich zur nächstbesten Methode.
Schnelleres Lernen: Da DECOR nicht ständig das Wörterbuch umschreiben muss (was bei anderen Methoden zu Instabilität führt), lernt es schneller. Es erreichte seine Spitzenleistung 23 Trainingsdurchläufe (Epochen) schneller als eine konkurrierende Methode, die versuchte, alles auf einmal zu tun.
Effizienz: Es fügt dem Empfehlungsprozess fast keine Verzögerung hinzu (weniger als 1 Millisekunde), was es für die Echtzeitnutzung schnell genug macht.

Zusammenfassung

Einfach ausgedrückt waren frühere Systeme wie ein Bibliothekar, der jedem Buch ein statisches, verwirrendes Etikett gab und dann die Geschichte im Inneren des Buches vergaß. DECOR ist wie ein Bibliothekar, der die ursprüngliche Geschichte intakt hält, aber das Etikett sofort so erklären kann, dass es für den spezifischen Leser Sinn ergibt, der gerade vor ihm steht. Es kombiniert tiefes, vorbestehendes Wissen mit Echtzeit-Nutzerverhalten, um intelligentere und genauere Empfehlungen zu geben.

Technische Zusammenfassung: Lernen dekomponierter kontextueller Token-Repräsentationen aus vortrainierten und kollaborativen Signalen für generative Empfehlungssysteme

1. Problemstellung

Die Arbeit adressiert zwei kritische Einschränkungen, die aktuellen zweistufigen Paradigmen für generative Empfehlungssysteme inhärent sind, welche typischerweise eine Tokenisierung von Items gefolgt vom Training eines Large Language Model (LLM) beinhalten:

Suboptimale statische Tokenisierung (C1): Bestehende Methoden verlassen sich auf feste semantische IDs, die von einem vortrainierten Tokenizer (z. B. RQ-VAE) generiert werden, um Item-Metadaten zu rekonstruieren. Diese statischen Tokens können sich nicht an diverse Nutzerinteraktionskontexte anpassen. Folglich können semantisch unterschiedliche Items (z. B. Kopfhörer für das Büro vs. zum Schlafen) identische Präfix-Tokens teilen, was eine „Präfix-Ambiguität" erzeugt, die das Modell bis zum letzten Generierungsschritt blind für die Nutzerabsicht macht. Diese statische Zuweisung erzeugt einen Repräsentations-Engpass, der die diskriminierende Kraft des Aufmerksamkeitsmechanismus begrenzt.
Verworfene vortrainierte Semantik (C2): Während des Trainingsstadiums des Empfehlungssystems wird das reiche semantische Wissen, das in den vortrainierten Embeddings kodiert ist, effektiv verworfen. Während der Tokenizer lernt, diese Embeddings zu rekonstruieren, werden die vom LLM verwendeten Token-Embeddings zufällig initialisiert und ausschließlich auf Nutzerinteraktionsdaten trainiert. Dieser Prozess überschreibt das vortrainierte Weltwissen (z. B. die doppelte Bedeutung von „Apple" als Frucht oder Tech-Marke), was zu fehlgeleiteten Empfehlungen führt, insbesondere bei spärlichen Items.

Die Autoren stellen fest, dass bestehende Versuche, diese Probleme zu lösen, wie etwa die End-to-End-Joint-Optimierung (z. B. ETEGRec), oft Trainingsinstabilität und Rechenoverhead durch wiederholte Re-Tokenisierung einführen.

2. Methodik: DECOR

Die Autoren schlagen DECOR (Decomposed Contextual Token Representations) vor, ein einheitliches Framework, das entwickelt wurde, um vortrainierte Semantik zu bewahren und gleichzeitig die Anpassungsfähigkeit von Tokens zu verbessern, ohne iterative Re-Tokenisierung zu erfordern. DECOR besteht aus zwei Hauptkomponenten:

3.1 Dekomponierte Embedding-Fusion

Um den Verlust vortrainierter Semantik (C2) zu adressieren, unterhält DECOR zwei parallele Embedding-Räume:

Eingefrorene vortrainierte semantische Embeddings ( $E_{pre}$ ): Abgeleitet aus den Codebooks eines vortrainierten RQ-VAE-Tokenizers. Diese bleiben eingefroren, um die ursprünglichen semantischen Rekonstruktionsfähigkeiten zu bewahren.
Lernbare kollaborative Embeddings ( $E_{collab}$ ): Von Grund auf trainiert basierend auf Nutzerinteraktionssequenzen, um sequenzielle Muster und Ko-Okkurrenz-Dynamiken zu erfassen.

Diese beiden Modalitäten werden durch ein leichtgewichtiges Netzwerk fusioniert. Beide Embeddings werden in einen gemeinsamen latenten Raum projiziert, normalisiert, konkateniert und über eine lernbare Fusionsmatrix zurück auf die ursprüngliche Dimension abgebildet. Dies ermöglicht dem Modell, statisches semantisches Wissen dynamisch mit kollaborativen Signalen zu integrieren.

3.2 Kontextualisierte Token-Komposition

Um die suboptimale statische Tokenisierung (C1) zu adressieren, führt DECOR einen dynamischen Interpretationsmechanismus ein, der während der autoregressiven Generierungsphase angewendet wird. Anstatt sich ausschließlich auf das statische Embedding eines Tokens zu verlassen, verfeinert das Modell die Token-Repräsentation basierend auf dem Kontext der Nutzerinteraktion:

Kontextvektor: Ein auf Aufmerksamkeitsmechanismen basierender Pooling-Mechanismus aggregiert die fusionierten Embeddings der historischen Interaktionssequenz, um einen Kontextvektor ( $u_c$ ) zu erzeugen.
Weiche Komposition: Für jeden Token in der Sequenz führt das Modell eine weiche Komposition über einen Kandidatensatz von Tokens durch (speziell alle Tokens derselben RQ-VAE-Codebook-Schicht). Das finale zusammengesetzte Embedding ist eine gewichtete Summe der Kandidaten-Embeddings, geleitet durch den Kontextvektor.
Residuale Fusion: Das kontextuell zusammengesetzte Embedding wird über eine residuale Verbindung, die durch einen Hyperparameter $\alpha$ gesteuert wird, mit dem ursprünglichen statischen Embedding fusioniert. Dies ermöglicht dem Modell, statische Tokens dynamisch neu zu interpretieren, ohne den zugrunde liegenden Tokenizer zu verändern.

3.3 Lernbare BOS (Beginning-of-Sequence)-Komposition

In Anerkennung der Tatsache, dass der erste Token als globaler semantischer Anker fungiert, führen die Autoren eine Menge lernbarer BOS-Query-Vektoren ein. Diese Vektoren werden kontextuell zusammengesetzt, um das initiale Präfix zu verfeinern, wodurch sichergestellt wird, dass der Generierungsprozess mit einem semantischen Anker beginnt, der mit der spezifischen Historie des Nutzers übereinstimmt, was die Ausbreitung von Ambiguitäten reduziert.

3. Hauptbeiträge

Problemanalyse: Die Arbeit ist die erste, die explizit analysiert, wie statische Tokenisierung die Fähigkeit generativer Empfehlungssysteme einschränkt, Item-Repräsentationen an diverse Nutzerkontext-Dynamiken anzupassen, und identifiziert Präfix-Ambiguität als einen wesentlichen Fehlermodus.
Neues Framework (DECOR): Die Autoren schlagen ein Framework vor, das eingefrorene vortrainierte semantische Embeddings mit lernbaren kollaborativen Embeddings fusioniert. Entscheidend ist die Einführung eines dynamischen, kontextbewussten Token-Kompositionsmechanismus, der statische Eingabetokens während der Generierung interpretiert und so die Instabilität der End-to-End-Re-Tokenisierung vermeidet.
Effizienz und Stabilität: Die Methode erzielt im Vergleich zu Joint-Training-Baselines eine schnellere Konvergenz und höhere Genauigkeit bei nur moderatem Rechenoverhead.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DECOR auf drei realen Datensätzen aus der Amazon-Review-Sammlung: Scientific, Instrument und Game.

Leistung: DECOR übertraf konsistent state-of-the-art Baselines, einschließlich traditioneller sequenzieller Empfehlungssysteme (SASRec, GRU4Rec) und generativer Modelle (TIGER, LETTER, CoST, ETEGRec).
- Auf dem Scientific-Datensatz erreichte DECOR eine relative Verbesserung von über 14 % in NDCG@10 im Vergleich zur stärksten Baseline.
- Auf dem Instrument-Datensatz (bekannt für spezialisierte Terminologie und spärlichen Text) verbesserte DECOR NDCG@10 um 5,0 % gegenüber der besten Baseline und demonstrierte Robustheit dort, wo textprior-basierte Modelle Schwierigkeiten hatten.
Ablationsstudien: Das Entfernen entweder der Dekomponierten Embedding-Fusion (DEF) oder der Kontextualisierten Token-Komposition (CTC) führte zu signifikanten Leistungseinbußen, was bestätigt, dass sowohl die Bewahrung vortrainierter Semantik als auch die Ermöglichung kontextueller Anpassung notwendig sind. Die Hinzufügung lernbarer BOS-Queries verbesserte die Leistung weiter, insbesondere bei der Ausrichtung von hochrangiger Semantik mit dem Nutzerkontext.
Konvergenz: DECOR erreichte 95 % seiner Spitzenleistung 23 Epochen schneller als die Joint-Training-Baseline (ETEGRec) und vermied die Lernstagnation, die bei ETEGRec während der mittleren Trainingsphasen beobachtet wurde.
Embedding-Nutzung: DECOR verbesserte die Nutzung von Codebook-Einträgen signifikant. Während TIGER nur etwa 26 % der aktiven Embeddings in der ersten Quantisierungsschicht nutzte, aktivierte DECOR 100 % der Embeddings auf den Instrument- und Game-Datensätzen, indem es inaktive Tokens während der Komposition nutzte.
Effizienz: Die Inferenz-Latenz erhöhte sich um etwa 0,85 ms pro Probe (bei Batch-Größe 128) im Vergleich zur TIGER-Baseline, während ~82 % des Baseline-Durchsatzes beibehalten wurden. Dieser Trade-off wird als höchst günstig angesehen, gegeben die Genauigkeitsgewinne von 5–14 %.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DECOR eine neuartige Lösung bietet, die die Instabilität der Re-Tokenisierung vermeidet und gleichzeitig die Vorteile vortrainierter Semantik bewahrt. Durch die Entkopplung der statischen semantischen Struktur von den dynamischen kollaborativen Signalen und die Ermöglichung einer kontextuellen Neuinterpretation zur Generierungszeit überbrückt DECOR die Lücke zwischen Weltwissen und Nutzerverhalten. Die Autoren positionieren dies als eine stabilere und ausdrucksstärkere Alternative zu bestehenden Frameworks für generative Empfehlungssysteme, die insbesondere in Szenarien mit spärlichen Daten oder spezialisierten Item-Terminologien wirksam ist, wo statische Text-Priors unzureichend sind.