🤖 AI

TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

TokenMinds is een industrieel schaalbaar systeem dat het PLUM-framework uitbreidt om zowel discrete, semantisch gegronde gebruikers-tokens als dichte embeddings te genereren via een vooraf getrainde LLM-architectuur, waarmee het succesvol gedrag van zowel lange als korte video's verenigt om kosten te verlagen terwijl het complementaire waarde demonstreert in grootschalige YouTube-rangschikkingssystemen.

Oorspronkelijke auteurs: Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hon

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hong, Li Wei, Xinyang Yi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de smaak van een persoon in films probeert te begrijpen. In de oude dagen probeerden aanbevelingssystemen (zoals die van YouTube) dit te doen door de volledige kijkgeschiedenis van een persoon samen te persen in één enkele, kleine, dichte "samenvattingskaart". Denk hierbij aan het proberen te beschrijven van een hele roman door slechts één zin op een plaknotitieblokje te schrijven. Je verliest veel van de nuance, de specifieke details en de unieke smaak van het verhaal.

Andere systemen probeerden een lange, gedetailleerde paragraaf over de gebruiker te schrijven. Maar deze paragrafen waren vaak vaag en legden algemene onderwerpen vast (zoals "ze houden van katten") in plaats van de specifieke, diepe patronen van wat ze daadwerkelijk keken en wanneer.

TokenMinds is een nieuw systeem ontwikkeld door Google DeepMind en YouTube dat dit oplost door gebruikers een "digitale ID-kaart" te geven die bestaat uit discrete tokens (zoals een reeks specifieke, betekenisvolle codes) én de oude "samenvattingskaart" (dichte embeddings) als back-up te bewaren.

Hier is hoe het werkt, uitgelegd met eenvoudige analogieën:

1. De "Semantische ID" (De Magische Postcode)

In plaats van elke video een willekeurig nummer te geven (zoals "Video #49201"), geeft TokenMinds elke video een Semantische ID (SID).

De Analogie: Stel je voor dat elke video een "postcode" heeft op basis van waar het echt over gaat. Een video over "het bakken van zuurdesembrood" heeft misschien een postcode die begint met Food-Baking-Bread. Een video over "het repareren van een gootsteen" begint misschien met Home-Plumbing.
Waarom het helpt: Als een gebruiker een video over "zuurdesem" bekijkt, ziet het systeem niet alleen een willekeurig nummer; het ziet het "Food-Baking" deel van de code. Dit helpt het systeem om de betekenis achter de kijkervaring te begrijpen, niet alleen de ID.

2. De "Dual-Output" Engine (De Set met Twee Gereedschappen)

TokenMinds gebruikt een speciale AI-architectuur (encoder-decoder) die werkt als een Zwitsers zakmes. Het produceert twee dingen tegelijkertijd:

De Dichte Embedding (De Samenvattingskaart): Dit is de klassieke, continue numerieke vector die bestaande systemen al gebruiken. Het is als een snelle snapshot van de 'vibe' van de gebruiker.
De SID Tokens (De Gedetailleerde Code): Dit is het nieuwe deel. De AI genereert een lijst met specifieke "postcodes" die de toekomstige interesses van de gebruiker vertegenwoordigen. Het is alsof de AI zegt: "Op basis van wat je hebt bekeken, zul je waarschijnlijk interesse hebben in: Food-Baking-Bread, Tech-Coding-Python en Sports-Basketball."

Het Voordeel: Het systeem krijgt het beste van twee werelden. Het houdt de oude systemen tevreden (door de samenvattingskaart te gebruiken) terwijl het een nieuwe laag van precieze, semantische begrijpelijkheid toevoegt (de tokens). Het onderzoek toonde aan dat het gebruik van beide samen beter werkt dan het gebruik van één van beide alleen.

3. De "Asynchrone" Levering (Het Pre-order Systeem)

Het genereren van deze gedetailleerde tokens is zwaar werk, zoals het bereiden van een complex gerecht. Als je het gerecht zou proberen te koken terwijl de klant aan de toonbank staat te wachten, zou het te langzaam gaan.

De Analogie: TokenMinds gebruikt een "pre-order" systeem. Het genereert de "ID-kaart" en de "tokens" van de gebruiker op de achtergrond (asynchroon) terwijl de gebruiker gewoon aan het browsen is. Wanneer de gebruiker daadwerkelijk op "aanbevelen" klikt, pakt het systeem gewoon de vooraf gemaakte kaart uit een snelle opslaglocker. Dit betekent dat het systeem miljarden gebruikers kan afhandelen zonder te vertragen.

4. De "Universele Vertaler" (Eén Model voor Alle Video's)

YouTube heeft twee zeer verschillende soorten video's: Long-Form (zoals een 20-minuten durende documentaire) en Short-Form (zoals 15-seconden durende Shorts). Meestal heb je twee verschillende modellen nodig om deze te begrijpen, omdat mensen ze anders consumeren.

De Analogie: TokenMinds is als een universele vertaler. Het gebruikt hetzelfde "postcodesysteem" voor zowel lange als korte video's. Het kan naar de kijkgeschiedenis van een gebruiker kijken die een 20-minuten durende kookshow en een 15-seconden durende kookhack heeft bekeken, en beseffen: "Ah, deze persoon houdt van koken!"
Het Resultaat: In plaats van twee aparte, dure modellen te trainen en te draaien, gebruiken ze één model voor beide taken. Dit heeft hun computerkosten met 50% voor training en met 31% voor het serveren (serving) verlaagd, zonder kwaliteitsverlies.

5. De Resultaten (Het Bewijs)

Het team heeft dit getest op echt YouTube-verkeer (miljarden gebruikers).

Betere Aanbevelingen: Wanneer ze deze nieuwe tokens toevoegden aan het rankingsysteem, zagen ze een meetbare toename in hoe vaak mensen de video's bekeken en hoe tevreden ze waren.
Efficiëntie: Door de modellen voor lange en korte video's te combineren, bespaarden ze een enorme hoeveelheid computerkracht.
Diversiteit: Het systeem gokte niet steeds hetzelfde; het genereerde een diverse lijst van potentiële interesses, net zoals een menselijke vriend die een verscheidenheid aan dingen voorstelt die je leuk zou kunnen vinden.

Kortom: TokenMinds is een slimmere, efficiëntere manier om te begrijpen wat gebruikers willen. Het stopt met het proberen te persen van de complexe smaak van een persoon in één enkel getal en geeft in plaats daarvan een reeks betekenisvolle "codes" die hun interesses beschrijven, terwijl het op een enkele, kosteneffectieve engine draait die alle soorten video-inhoud kan verwerken.

Technische Samenvatting: TokenMinds

Probleemstelling

Industriële aanbevelingssystemen vertrouwen traditioneel op dichte, vast-dimensionale gebruikersembeddings om gebruikersinteresses te modelleren. Hoewel effectief, lijden deze representaties aan inherente beperkingen, zoals het verlies van fijnmazige signalen wanneer een volledig spectrum aan interesses van een gebruiker wordt samengeperst in een enkele vector. Daartegenover staan opkomende benaderingen die Large Language Models (LLMs) gebruiken om tekstgebaseerde gebruikersprofielen te genereren, die echter aanzienlijke knelpunten ervaren: ze leggen vaak slechts topische co-occurrences vast in plaats van diepe sequentiële gedragsdynamiek, hebben moeite om tekstuele outputs te grond in specifieke itemattributen, en introduceren modaliteitsverschillen bij integratie in niet-tekstuele downstream-systemen. Bovendien is de toepassing van Semantic IDs (SIDs) voor item-tokenisatie in generatieve aanbeveling weliswaar bewezen effectief, maar hun toepassing op gebruikersmodellering blijft grotendeels onverkend.

Methodologie

TokenMinds is een industrieel schaalbaar systeem dat deze hiaten overbrugt door het PLUM-framework uit te breiden van item-retrieval naar gebruikersmodellering. Het maakt gebruik van een uniforme encoder-decoder architectuur, aangepast van pre-trained LLMs, om gelijktijdig twee complementaire outputs te genereren:

Dense User Embeddings: Geëxtraheerd uit de encoder, wat compatibiliteit garandeert met bestaande downstream-modellen die afhankelijk zijn van continue vectoren.
Discrete SID-gebaseerde User Tokens: Autoregressief gegenereerd door de decoder, wat zorgt voor semantisch gegronde, discrete representaties van gebruikersinteresses.

Kerncomponenten

Architectuur: Het systeem gebruikt een encoder-decoder opzet. De encoder verwerkt sequentiële gebruikerskenmerken (kijkhistorie, zoekopdrachten) om dichte embeddings te produceren. De decoder maakt gebruik van cross-attention op de output van de encoder om SID-gebaseerde gebruikerstokens te genereren. Dit duale output-ontwerp stelt het systeem in staat om zowel legacy dense-embedding modellen als nieuwe token-gebaseerde modellen te bedienen.
Input Tokenisatie: Gebruikersgedrag wordt getokeniseerd in een sequentie bestaande uit:
- SID Tokens: Hiërarchische discrete codewords afgeleid van video-contentkenmerken via een Residual-Quantized Variational AutoEncoder (RQ-VAE). Om diversiteit te stimuleren en memorisatie te beperken, wordt alleen de prefix- $L$ van de volledige SID gebruikt.
- Soft Tokens: Niet-SID kenmerken (bijv. kijktijd, apparaat) worden als soft tokens gecodeerd via MLP-projectie.
- Condition Tokens: Scenario-specifieke tokens (bijv. <LFV>, <SFV>, <Search>) worden vooraf geplaatst om contenttypen te onderscheiden en zoekopdrachten te verweven.
Trainingsdoel: Het model wordt getraind via Supervised Fine-Tuning (SFT) volgend op Continued Pre-Training (CPT) op het SID-vocabulaire. Het maakt gebruik van look-ahead sampling, waarbij willekeurig meerdere toekomstige doel-kijkmomenten worden geselecteerd uit een venster van 24 uur, in plaats van alleen het onmiddellijke volgende item. Dit voorkomt overfitting op directe sessies en verbetert de generalisatie naar toekomstige interesses. De loss-functie minimaliseert de cross-entropy van voorspelde SID-prefixes, gewogen door een engagement reward-signaal.
Cross-Scenario Modellering: TokenMinds verenigt Long-Form Video (LFV) en Short-Form Video (SFV) modellering binnen één enkel framework. Door scenario-specifieke condition tokens toe te voegen, kan één enkel model chronologisch geïntegreerde sequenties verwerken. Bij inferentie maakt multi-context decoding het systeem in staat om scenario-specifieke gebruikerstokens te genereren vanuit één gedeelde gedeelde encoder-pass, waardoor redundante inferentie-runs worden geëlimineerd.
Serving Infrastructuur: Om miljarden gebruikers te bedienen onder strikte latentie-eisen, ontkoppelt het systeem de representatiegeneratie van real-time scoring. Gebruikersembeddings en tokens worden asynchroon gegenereerd via een achtergrondservice en gecached in een key-value store. Real-time scoring haalt deze vooraf berekende representaties op, wat zorgt voor een constante latentie ongeacht de complexiteit van het onderliggende model.

Belangrijkste Bijdragen

Dual-Output Architectuur: De voorstel van TokenMinds, een uniforme architectuur die gezamenlijk standaard dichte continue embeddings en discrete SID-gebaseerde gebruikerstokens genereert, wat compatibiliteit met bestaande systemen mogelijk maakt terwijl het nieuwe representatieve vermogens introduceert.
Getokeniseerde Gebruikersrepresentaties: De innovatieve toepassing van SID-gebaseerde discrete tokens voor gebruikersrepresentatie. Het artikel identificeert optimale adaptatiestrategieën (specifiek Learnable Embeddings) voor het integreren van deze tokens in downstream rankingmodellen, en toont aan dat tokens en dichte embeddings complementaire signalen vastleggen.
Cross-Scenario Modellering: Een zeer efficiënt paradigma dat training en serving voor verschillende scenario's (LFV en SFV) consolideert in één enkel model. Deze aanpak maakt gebruik van multi-context decoding om scenario-bewuste outputs te bereiken zonder de overhead van meerdere modellen.
Industriële Schaalbaarheid: De succesvolle validatie van het systeem door uitgebreide offline experimenten en live A/B-tests op meerdere YouTube-oppervlakken, waarbij de volledige gebruikersverkeer van miljarden gebruikers wordt bediend.

Resultaten

Offline Prestaties: Ablatie-studies bevestigen dat look-ahead sampling en grofmazige SID-prefixes cruciaal zijn voor generalisatie. Het gebruik van CPT-initialisatie presteert aanzienlijk beter dan random initialisatie of standaard pre-trained checkpoints.
Online Prestaties: Live A/B-tests op productieranking-systemen laten statistisch significante winsten zien:
- Kern Gebruikersmetrieken: Tot +0,11% verbetering.
- Kern Engagement Metrieken: Tot +0,62% verbetering.
- Complementariteit: Het combineren van zowel dichte embeddings als discrete tokens levert versterkte winsten op vergeleken met het gebruik van slechts één van beide, wat het duale output-ontwerp valideert.
Efficiëntie:
- Training: Het consolideren van LFV en SFV in één enkel model vermindert de upstream trainingsrekenkracht met 50%.
- Serving: Multi-context decoding vermindert de upstream serving-rekenkracht met 31% vergeleken met het onderhouden van aparte modellen.
- Opslag: Discrete token-representaties vereisen 72% minder opslagruimte (1.280 bytes versus 4.608 bytes) dan dichte embeddings.
Schaalbaarheid: Schalingsstudies geven aan dat de prestaties van het model verzadigen bij ongeveer 1.000 watch history items, en grotere batch-groottes versnellen de convergentie en verbeteren de kwaliteit van de representatie.

Betekenis

Het artikel stelt dat TokenMinds de praktische levensvatbaarheid van SID-gebaseerde gebruikerstokens op industriële schaal aantoont. Het vestigt dat discrete, semantisch gegronde gebruikersrepresentaties een veelbelovende richting bieden voor het opschalen van gebruikersmodellering voorbij de beperkingen van dichte embeddings alleen. Door de succesvolle integratie van deze tokens in productie ranking-systemen en het aantonen van hun complementaire waarde met dichte embeddings, suggereert dit werk een nieuw paradigma voor gebruikersbegrip in grote aanbevelingssystemen dat een balans vindt tussen generalisatie, efficiëntie en compatibiliteit.