💬 NLP

Learning Decomposed Contextual Token Representations from Pretrained and Collaborative Signals for Generative Recommendation

Dit artikel stelt DECOR voor, een geïntegreerd kader dat de doelmatigheidsafwijking tussen semantische tokenisatie en modellering van gebruikersinteractie in generatieve aanbevelingssystemen aanpakt door het leren van gedecomponeerde contextuele tokenrepresentaties die vooraf getrainde semantics behouden terwijl ze zich aanpassen aan collaboratieve signalen, waardoor ze de state-of-the-art baselines overtreffen.

Oorspronkelijke auteurs: Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme robot (een Large Language Model) te leren hoe hij het perfecte item aan een klant moet aanbevelen, zoals een paar hoofdtelefoons. Om dit te doen, moet de robot een manier hebben om over deze items te "spreken".

De Oude Weg: Het Starre Woordenboek

Momenteel gebruiken de meeste systemen een tweestapsproces dat een beetje lijkt op het gebruik van een woordenboek geschreven door een bibliothecaris die nooit hoofdtelefoons heeft gekocht.

Stap 1 (Het Woordenboek): Eerst kijkt een systeem naar de beschrijving van het item (bijvoorbeeld "Ruisonderdrukkende hoofdtelefoons voor slapen") en wijst het een vaste code toe, zoals een geheim ID-nummer. Stel dat deze code [A_3, B_4, C_5, D_95] is. Deze code wordt een keer gemaakt en verandert nooit.
Stap 2 (De Koper): Vervolgens leert de robot het volgende item te voorspellen op basis van wat de gebruiker eerder heeft aangeklikt, met behulp van die vaste codes.

Het Probleem: Deze aanpak heeft twee grote gebreken, die in het artikel "Suboptimale statische tokenisatie" en "Verworpen voorgeprogrammeerde semantiek" worden genoemd.

De "Een-maat-voor-alles"-Valstrik: Stel je drie verschillende hoofdtelefoons voor: één voor op kantoor, één voor de sportschool en één om in te slapen. Ze klinken allemaal vergelijkbaar, dus het woordenboek geeft ze precies dezelfde eerste drie codes: [A_3, B_4, C_5]. De robot ziet dit en denkt: "Oh, ze zijn allemaal hetzelfde!" Hij weet niet of de gebruiker wil slapen of rennen totdat hij het allerlaatste cijfer ziet. Dit verwart de robot en maakt het voor hem traag om te begrijpen wat de gebruiker eigenlijk wil.
De "Verspilde Kennis"-Valstrik: Het woordenboek is gebouwd met een enorme hoeveelheid algemene kennis (zoals het weten dat "Apple" een fruit of een tech-merk kan zijn). Maar zodra de robot begint te leren van gebruikersklikken, vergeet hij vaak deze algemene kennis. Hij behandelt de code [A_3] als gewoon een willekeurig symbool en gooit de rijke betekenis die het oorspronkelijk had weg.

De Nieuwe Oplossing: DECOR

De auteurs stellen een nieuw raamwerk voor genaamd DECOR (Decomposed Contextual Token Representations). Denk aan DECOR als het geven van een slimme, aanpasbare vertaler aan de robot in plaats van een star woordenboek.

DECOR lost de problemen op met twee hoofdtrucs:

1. De "Contextuele Vertaler" (Contextualized Token Composition)

In plaats van de itemcode [A_3, B_4, C_5] te behandelen als een vaste, onveranderlijke label, laat DECOR de robot die code herinterpreteren op basis van de huidige situatie.

De Analogie: Stel je voor dat je het woord "Bank" hoort. Als je het over vissen hebt, betekent "Bank" de oever van een rivier. Als je het over geld hebt, betekent het een financiële instelling.
Hoe het werkt: In het oude systeem betekende "Bank" altijd hetzelfde. Bij DECOR zegt de robot, als de gebruiker net naar hengelsportspullen keek, naar de code voor "Bank" en denkt: "Ah, in deze context betekent deze code 'Rivieroever'." Als de gebruiker naar creditcards keek, zegt hij: "In deze context betekent deze code 'Geld'."
Het Resultaat: De robot kan direct de intentie achter het item begrijpen, zelfs als de itemcode identiek lijkt aan die van andere items. Hij raakt niet meer in de war door de "prefix-ambiguïteit" die in Figuur 1 van het artikel wordt getoond.

2. De "Tweemotorige Geheugen" (Decomposed Embedding Fusion)

DECOR beseft dat de robot twee soorten geheugen nodig heeft die samenwerken, niet slechts één.

Motor A (Bevroren Kennis): Dit is de originele, rijke kennis uit het woordenboek (bijvoorbeeld het weten dat "Apple" een fruit is). DECOR houdt dit deel bevroren zodat het nooit wordt overschreven of vergeten.
Motor B (Gedrag dat wordt geleerd): Dit is de nieuwe kennis die de robot leert van gebruikersklikken (bijvoorbeeld "Mensen die laptops kopen, kopen vaak muizen").
De Fusie: DECOR fungeert als een slimme mixer. Het neemt de bevroren kennis (Motor A) en de nieuwe gedragspatronen (Motor B) en mengt ze perfect samen. Op deze manier verliest de robot nooit zijn algemene intelligentie terwijl hij toch specifieke gebruikersgewoonten leert.

Waarom het Belangrijk Is

Het artikel testte dit op drie real-world datasets (Wetenschappelijke artikelen, Muziekinstrumenten en Videospellen).

Betere Nauwkeurigheid: DECOR sloeg consequent de beste bestaande methoden. Bijvoorbeeld, in de categorie "Muziekinstrumenten", waar items zeer specifieke technische namen hebben, verbeterde DECOR de nauwkeurigheid met meer dan 5% ten opzichte van de volgende beste methode.
Sneller Leren: Omdat DECOR niet constant het woordenboek hoeft te herschrijven (wat instabiliteit veroorzaakt bij andere methoden), leert het sneller. Het bereikte zijn piekprestatie 23 trainingssessies (epochs) sneller dan een concurrerende methode die probeerde alles in één keer te doen.
Efficiëntie: Het voegt bijna geen vertraging toe aan het aanbevelingsproces (minder dan 1 milliseconde), waardoor het snel genoeg is voor gebruik in real-time.

Samenvatting

In eenvoudige termen waren eerdere systemen als een bibliothecaris die elk boek een statisch, verwarrend label gaf en vervolgens het verhaal binnenin het boek vergat. DECOR is als een bibliothecaris die het originele verhaal intact houdt, maar het label direct kan uitleggen op een manier die zinvol is voor de specifieke lezer die op dat moment voor hem staat. Het combineert diepe, bestaande kennis met real-time gebruikersgedrag om slimmere, nauwkeurigere aanbevelingen te doen.

Technische Samenvatting: Het Leren van Gedecomposeerde Contextuele Tokenrepresentaties uit Voorgetrainde en Collaboratieve Signalen voor Generatieve Aanbeveling

1. Probleemstelling

Het artikel adresseert twee kritieke beperkingen die inherent zijn aan huidige twee-traps paradigmata voor generatieve aanbeveling, die doorgaans tokenisatie van items gevolgd door training van een Large Language Model (LLM) omvatten:

Suboptimale Statische Tokenisatie (C1): Bestaande methoden vertrouwen op vaste semantische ID's gegenereerd door een voorgetrainde tokenizer (bijv. RQ-VAE) om itemmetadata te reconstrueren. Deze statische tokens falen in het aanpassen aan diverse contexten van gebruikersinteractie. Bijgevolg kunnen semantisch verschillende items (bijv. hoofdtelefoons voor op kantoor versus voor slapen) identieke prefix-tokens delen, wat "prefix-ambiguïteit" creëert die het model blind maakt voor gebruikersintentie tot de laatste generatiestap. Deze statische toewijzing creëert een representatiebottleneck die de discriminatieve kracht van het attentiemechanisme beperkt.
Verworpen Voorgetrainde Semantiek (C2): Tijdens de trainingsfase van de aanbeveler wordt de rijke semantische kennis die is gecodeerd in de voorgetrainde embeddings effectief weggegooid. Hoewel de tokenizer leert om deze embeddings te reconstrueren, worden de tokenembeddings die door het LLM worden gebruikt willekeurig geïnitieerd en uitsluitend getraind op gebruikersinteractiedata. Dit proces overschrijft de voorgetrainde wereldkennis (bijv. de dubbele betekenis van "Apple" als fruit of als techmerk), wat leidt tot misaligneerde aanbevelingen, met name voor spaarzame items.

De auteurs merken op dat bestaande pogingen om deze problemen op te lossen, zoals end-to-end gezamenlijke optimalisatie (bijv. ETEGRec), vaak trainingsinstabiliteit en rekenkundige overhead introduceren door herhaalde re-tokenisatie.

2. Methodologie: DECOR

De auteurs stellen DECOR (Decomposed Contextual Token Representations) voor, een unificerend raamwerk ontworpen om voorgetrainde semantiek te behouden terwijl de aanpasbaarheid van tokens wordt verbeterd zonder iteratieve re-tokenisatie te vereisen. DECOR bestaat uit twee primaire componenten:

3.1 Gedecomposeerde Embeddingfusie

Om het verlies van voorgetrainde semantiek (C2) aan te pakken, handhaaft DECOR twee parallelle embeddingruimten:

Vrieze Voorgetrainde Semantische Embeddings ( $E_{pre}$ ): Afgeleid van de codeboeken van een voorgetrainde RQ-VAE-tokenizer. Deze worden gefixeerd gehouden om de oorspronkelijke semantische reconstructiecapaciteiten te behouden.
Leerbaar Collaboratieve Embeddings ( $E_{collab}$ ): Vanuit het niets getraind op basis van sequenties van gebruikersinteracties om sequentiële patronen en co-occurrence-dynamiek vast te leggen.

Deze twee modaliteiten worden gefuseerd via een lichtgewicht netwerk. Beide embeddings worden geprojecteerd in een gedeelde latente ruimte, genormaliseerd, geconcateneerd en via een leerbare fusiematrix teruggemapt naar de oorspronkelijke dimensie. Dit stelt het model in staat om statische semantische kennis adaptief te integreren met dynamische collaboratieve signalen.

3.2 Contextualiseerde Tokencompositie

Om suboptimale statische tokenisatie (C1) aan te pakken, introduceert DECOR een dynamisch interpretatiemechanisme dat wordt toegepast tijdens de autoregressieve generatiefase. In plaats van uitsluitend te vertrouwen op de statische embedding van een token, verfijnt het model de tokenrepresentatie op basis van de context van gebruikersinteractie:

Contextvector: Een op attentie gebaseerd poolingmechanisme aggregeert de gefuseerde embeddings van de historische interactiesequentie om een contextvector ( $u_c$ ) te genereren.
Zachte Compositie: Voor elke token in de sequentie voert het model een zachte compositie uit over een kandidaatset van tokens (specifiek, alle tokens uit dezelfde RQ-VAE-codeboeklaag). De uiteindelijke samengestelde embedding is een gewogen som van kandidaat-embeddings, geleid door de contextvector.
Residuale Fusie: De contextueel samengestelde embedding wordt gefuseerd met de oorspronkelijke statische embedding via een residuale link die wordt gecontroleerd door een hyperparameter $\alpha$ . Dit stelt het model in staat om statische tokens dynamisch te herinterpreteren zonder de onderliggende tokenizer te wijzigen.

3.2 Leerbare BOS (Beginning-of-Sequence) Compositie

Omdat de eerste token fungeert als een globale semantische anker, introduceren de auteurs een set van leerbare BOS-queryvectoren. Deze vectoren worden contextueel samengesteld om de initiële prefix te verfijnen, zodat het generatieproces begint met een semantische anker die is afgestemd op de specifieke geschiedenis van de gebruiker, waardoor ambiguiteitspropagatie wordt verminderd.

3. Belangrijkste Bijdragen

Probleemanalyse: Het artikel is het eerste dat expliciet analyseert hoe statische tokenisatie de mogelijkheid van generatieve aanbevelers beperkt om itemrepresentaties aan te passen aan diverse dynamieken van gebruikerscontext, waarbij prefix-ambiguïteit wordt geïdentificeerd als een belangrijke faalmodus.
Nieuw Raamwerk (DECOR): De auteurs stellen een raamwerk voor dat gefixeerde voorgetrainde semantische embeddings fuseert met leerbare collaboratieve embeddings. Cruciaal introduceert het een dynamisch, contextbewust tokencompositiemechanisme dat statische inputtokens tijdens de generatie interpreteert, waardoor de instabiliteit van end-to-end re-tokenisatie wordt vermeden.
Efficiëntie en Stabiliteit: De methode bereikt snellere convergentie en hogere nauwkeurigheid in vergelijking met baselines voor gezamenlijke training, met slechts een matige rekenkundige overhead.

4. Experimentele Resultaten

De auteurs evalueerden DECOR op drie real-world datasets uit de Amazon Review-collectie: Scientific, Instrument en Game.

Prestaties: DECOR presteerde consequent beter dan state-of-the-art baselines, inclusief traditionele sequentiële aanbevelers (SASRec, GRU4Rec) en generatieve modellen (TIGER, LETTER, CoST, ETEGRec).
- Op de Scientific-dataset bereikte DECOR een relatieve verbetering van meer dan 14% in NDCG@10 ten opzichte van de sterkste baseline.
- Op de Instrument-dataset (bekend om gespecialiseerde terminologie en spaarzame tekst) verbeterde DECOR NDCG@10 met 5,0% ten opzichte van de beste baseline, wat robuustheid aantoont waar modellen gebaseerd op tekst-prior worstelden.
Ablatiestudies: Het verwijderen van óf de Gedecomposeerde Embeddingfusie (DEF) óf de Contextualiseerde Tokencompositie (CTC) resulteerde in significante prestatiedalingen, wat bevestigt dat zowel het behoud van voorgetrainde semantiek als het mogelijk maken van contextuele aanpassing noodzakelijk zijn. De toevoeging van leerbare BOS-query's verbeterde de prestaties verder, met name bij het aligneren van hoogwaardige semantiek met gebruikerscontext.
Convergentie: DECOR bereikte 95% van zijn piekprestaties 23 epochs sneller dan de baseline voor gezamenlijke training (ETEGRec) en vermijdt de leerverstopping die bij ETEGRec werd waargenomen tijdens intermediaire trainingsfasen.
Embeddinggebruik: DECOR verbeterde het gebruik van codeboekvermeldingen aanzienlijk. Waar TIGER slechts ongeveer 26% van de actieve embeddings in de eerste quantisatielaag gebruikte, activeerde DECOR 100% van de embeddings op de Instrument- en Game-datasets door gebruik te maken van inactieve tokens tijdens de compositie.
Efficiëntie: De inferentielatentie nam toe met ongeveer 0,85 ms per steekproef (bij een batchgrootte van 128) in vergelijking met de TIGER-baseline, terwijl ongeveer 82% van de doorvoer van de baseline werd behouden. Deze trade-off wordt gepresenteerd als zeer gunstig gezien de 5–14% winst in nauwkeurigheid.

5. Betekenis en Claims

Het artikel claimt dat DECOR een nieuwe oplossing biedt die de instabiliteit van re-tokenisatie vermijdt terwijl de voordelen van voorgetrainde semantiek worden behouden. Door de statische semantische structuur te ontkoppelen van de dynamische collaboratieve signalen en contextuele herinterpretatie op generatietijd mogelijk te maken, overbrugt DECOR de kloof tussen wereldkennis en gebruikersgedrag. De auteurs positioneren dit als een stabielere en expressievere alternatief voor bestaande raamwerken voor generatieve aanbeveling, met name effectief in scenario's met spaarzame data of gespecialiseerde itemterminologieën waar statische tekst-priors ontoereikend zijn.