Technische Samenvatting: Token Factory

Probleemstelling

Large Recommendation Models (LRMs) gebaseerd op Transformer-architecturen hebben veelbelovende resultaten laten zien in industriële taken op grote schaal, zoals next-video voorspelling. Er bestaat echter een kritieke bottleneck bij het holistisch integreren van traditionele signalen (dense, sparse en embedding features) in deze modellen. Conventionele benaderingen "tekstualiseren" deze heterogene signalen doorgaans of mappen ze naar discrete item-representaties (bijv. Semantic IDs). Deze directe mapping leidt tot:

• Excessieve Promptlengtes: Het omzetten van dense signalen (bijv. kijkompercentage, kijktijd) naar tekst creëert evenredig lange prompts.
• Resource Overhead: Lange prompts resulteren in een aanzienlijke geheugenvoetafdruk en hoge computationele kosten tijdens training en inferentie.
• Informatieverlies of Inefficiëntie: Om binnen contextvensters te passen, knippen systemen vaak oudere gebruikersinteracties af, waardoor waardevolle historische data verloren gaat.

Methodologie: Token Factory

Om deze beperkingen aan te pakken, stellen de auteurs Token Factory voor, een framework dat traditionele signalen transformeert naar "soft tokens." In tegenstelling tot standaard "harde" tokens (discrete ID's uit een vaste vocabulaire), zijn soft tokens continue embedding-representaties die direct binnen de embedding space van het model worden gegenereerd.

Kernarchitectuur

Het framework bestaat uit Token Makers, die fungeren als gespecialiseerde modules om specifieke featuregroepen te verwerken:

1. WH Token Maker: Verwerkt gebruikersinteractie-sequenties (bijv. kijkgeschiedenis).
2. Query Token Maker: Integreert user-level features.
3. Candidate Token Maker: Integreert candidate item-level features.

Transformatieproces:

• Input: Ruwe features (dense, sparse, embeddings) worden genormaliseerd of ge-embedded en geconcateneerd tot een vector $E_{input}$.
• Projectie: Een leerbare functie $G$ (bijv. een Multi-Layer Perceptron of neuraal netwerk) mapt $E_{input}$ naar een vast aantal ($N$) soft tokens ($T_{output}$).
• Integratie: Deze soft tokens worden naadloos tussen tekstuele tokens (bijv. videotitels) geweven in de LRM-prompt.
• Optimalisatie: De functie $G$ wordt end-to-end meegetraind met de LRM, zodat de soft tokens uitgelijnd worden met de semantische ruimte van het model.

Belangrijke Mechanismen

• Prompt Compactheid: Door een willekeurig aantal features te mappen naar een vast, klein aantal soft tokens, voorkomt het framework een explosie van de promptlengte.
• Deterministische Lengte: De promptlengte wordt begrensd door een vooraf gedefinieerd budget, ongeacht het aantal input features, bereikt via fixed-output projectielagen.
• Sequentiecompressie: Voor lange interactiegeschiedenissen gebruikt het framework MLP Compressie (het projecteren van de sequentie-dimensie) of Attention Pooling (het samenvatten van elke $K$ items tot één token) om de sequentielengte verder te reduceren terwijl cruciale informatie behouden blijft.
• Caching: Omdat user- en query-level features statisch zijn over meerdere candidate scoring-momenten heen, kunnen de bijbehorende soft tokens vooraf berekend en gecached worden, wat de inferentie-latentie aanzienlijk vermindert.

Belangrijkste Bijdragen

1. Empirische Validatie van Traditionele Signalen: De auteurs demonstreren dat het benutten van een rijke set traditionele signalen (dense/sparse features) cruciaal is voor de LRM-prestaties, waarmee zij de beperkingen van huidige state-of-the-art methoden adresseren die deze vaak uitsluiten vanwege computationele trade-offs.
2. Nieuw Architecturaal Framework: Introductie van Token Factory, dat het efficiënt mappen van heterogene features naar soft tokens mogelijk maakt, wat dient als een nieuwe modaliteit voor aanbevelingsmodellen.
3. Validatie van Efficiëntie en Kwaliteit: Door middel van offline en online evaluaties wordt aangetoond dat het framework een vergelijkbare of superieure ranking- en retrieval-kwaliteit bereikt, terwijl het significante efficiëntieverbeteringen mogelijk maakt.

Experimentele Resultaten

Het framework werd geëvalueerd op PLUM, een productie-schaal Large Recommendation Model bij Google, voor zowel ranking- als generatieve retrieval-taken.

Ranking Taak (CTR Voorspelling)

• Setup: Vergeleek een baseline (tekstuele Semantic IDs + custom tokenisatie van dense signalen) met Token Factory (soft tokens).
• Efficiëntie: Token Factory reduceerde de promptlengte van 1.536 tokens naar 480 tokens (een reductie van ~70%), wat resulteerde in een 200% toename in trainingssnelheid.
• Kwaliteit: Aanvankelijk liep het Token Factory-model iets achter door de noodzaak om nieuwe embedding tables te leren. Echter, het haalde de baseline in bij 1,5M trainingsstappen en behield een vergelijkbare prestatie.
• Scaling: Het verhogen van de batch size met 200% (mogelijk gemaakt door de efficiëntiewinsten) stelde het Token Factory-model in staat om de baseline zelfs in vroege trainingsfasen te overtreffen.

Generatieve Retrieval Taak (Next Video Voorspelling)

• Setup: Vergeleek een baseline (tekstuele SIDs) met Token Factory op een YouTube Homepage aanbevelingstaak.
• Offline Prestaties: Bereikte een +2,0% verbetering in Recall@10.
• Online Prestaties:
  • Unieke Impressies: Gestegen met +16,8%.
  • Ontdekking van Verse Content: Unieke impressies voor one-day-fresh video's namen toe met +67,1%, wat wijst op een verbeterd vermogen om nieuwe content te ophalen.
  • Gebruikerstevredenheid: Positieve winsten in Satisfied Watchers (+0,04%) en Satisfied Watch Time (+0,05%), wat bevestigt dat de winsten in exploratie de gebruikerservaring niet hebben aangetast.

Ablatie Studies

• Feature Belang: Het verwijderen van traditionele dense/sparse features leidde tot prestatieverslechtering, wat hun waarde bevestigt.
• Soft Token vs. Tekstuele SID: Wanneer de beperkingen van het contextvenster strikt waren, presteerden soft tokens beter dan tekstuele SIDs omdat ze meer items (200 versus minder) binnen het vaste promptbudget lieten passen.
• Langere Geschiedenis: Het comprimeren van uitgebreide kijkgeschiedenissen (van 200 naar 500 items) in soft tokens leverde een +0,08% AUC verbetering op, wat de waarde van het behoud van een langere context aantoont.

Betekenis

Het artikel stelt dat Token Factory een verenigde oplossing biedt voor het "promptlengte explosie" probleem in industriële aanbevelingssystemen. Door heterogene signalen te transformeren naar soft tokens, stelt het Large Recommendation Models in staat om:

1. Rijkere informatie te absorberen (langere geschiedenissen, meer features) zonder de computationele overhead te verhogen.
2. Modelkwaliteit te handhaven of te verbeteren in zowel ranking- als retrieval-taken.
3. Significante efficiëntiewinsten te behalen in training en serving, wat grotere batch sizes en snellere iteraties mogelijk maakt.

Dit werk positioneert soft tokens niet enkel als een compressietechniek, maar als een noodzakelijke evolutie voor het integreren van het volledige spectrum aan traditionele aanbevelingssignalen in moderne Transformer-gebaseerde architecturen.