Technische Samenvatting: Tokeniseren van Numerieke en Embedding-kenmerken voor LLM RecSys

Probleemstelling

Hoewel Large Language Models (LLM's) zijn uitgegroeid tot krachtige backbones voor aanbevelingssystemen vanwege hun sequentiële modellering en semantisch begrip, bestaat er een fundamentele mismatch tussen de input-interfaces van LLM's en industriële aanbevelingspipelines. LLM's consumeren primair discrete tekstuele tokens, terwijl praktische aanbevelingssystemen zwaar leunen op continue numerieke kenmerken (bijv. prijs, ratings) en dichte embedding-kenmerken gegenereerd door upstream engineering of gepre-trainde encoders.

Bestaande strategieën om deze kloof te overbruggen — zoals het verbaliseren van signalen naar tekst, het discretiseren van itemrepresentaties, of het achteraf toevoegen van externe kenmerken na de LLM-encoding — maskeren vaak schaalgevoelige numerieke informatie, gooien fijngedetailleerde continue signalen weg, of beperken de interactie tussen tekstuele en niet-tekstuele kenmerken binnen het model. Dit artikel adresseert de uitdaging om deze heterogene, niet-tekstuele signalen direct in de embedding-ruimte van de LLM op te nemen zonder hun continue aard te verliezen of post-hoc verwerking te vereisen.

Methodologie

De auteurs stellen een soft-token fusion framework voor dat numerieke en embedding-kenmerken in kaart brengt naar "soft tokens" (continue vectoren) die compatibel zijn met de standaard token-interface van de LLM. Dit framework wordt geïmplementeerd binnen een shared-parameter LLM-gebaseerd two-tower retrieval model.

1. Soft-Token Constructie

De methode zet niet-tekstuele kenmerken om in soft-token sequenties met behulp van specifieke codering- en compressiestrategieën:

• Embedding Kenmerken: Dichte embedding-kenmerken (afgeleid van item-metadata of gebruikersgeschiedenis) worden eerst gecodeerd door een auxiliary LLM text encoder (Qwen3-4B). Om de sequentielengte te beheren, wordt mean pooling toegepast over opeenvolgende token-embeddings. Deze gepoolde embeddings worden vervolgens gecomprimeerd tot een vast aantal embedding soft tokens met behulp van een Q-Former adapter. De Q-Former maakt gebruik van leerbare query-tokens om te attention te geven aan de variabel lengte input-kenmerken, waarbij het fungeert als een informatie-bottleneck.
• Numerieke Kenmerken: Continue numerieke kenmerken (specifiek prijs) worden gecodeerd met behulp van Fourier feature encoding om fijngedetailleerde waardeverschillen en schaalgevoeligheid te behouden. Deze gecodeerde waarden worden geprojecteerd in de LLM hidden dimension en vervolgens gecomprimeerd tot numerieke soft tokens via een dedicated numerieke Q-Former.

2. Interactie-gebaseerde Fusie

Een cruciaal onderdeel van het framework is de interaction-based fusion module. In plaats van simpelweg tekstuele tokens, embedding soft tokens en numerieke soft tokens te concateneren (wat de auteurs suboptimaal vonden), verfijnt de voorgestelde methode de heterogene soft tokens voordat ze worden ingevoegd.

• De embedding en numerieke soft tokens worden geconcateneerd en door een lichtgewicht Transformer fusion module gestuurd.
• Deze module modelleert relaties tussen de twee typen kenmerken met behulp van attention-mechanismen (bidirectionele of eenrichtings cross-feature attention).
• De verfijnde soft tokens worden vervolgens ingevoegd in de uiteindelijke LLM input sequentie (Qwen3-0.6B) naast de tekstuele prompt tokens en de end-of-sequence ([EOS]) token.

3. Architectuur

Het systeem maakt gebruik van een two-tower retrieval architectuur waarbij beide user en item towers dezelfde LLM parameters delen. De towers coderen de gefuseerde input sequenties naar dichte retrieval representaties met behulp van last-token pooling over de [EOS] token. Het model wordt getraind met een contrastieve objectief met in-batch negatives.

Belangrijkste Bijdragen

1. Identificatie van Mismatch: Het artikel identificeert expliciet de disconnect tussen token-gebaseerde LLM inputs en de continue numerieke/dichte embedding kenmerken die standaard zijn in aanbevelingspipelines.
2. Soft-Token Fusion Framework: Het stelt een methode voor om niet-tekstuele kenmerken om te zetten in LLM-compatibele soft tokens, waardoor heterogene signalen geconsumeerd kunnen worden via de standaard token-interface.
3. Interactie-gebaseerde Fusie: De auteurs introduceren een specifieke module die interacties modelleert tussen embedding-afgeleide en numerieke soft tokens vóór de LLM-encoding, wat aantoont superieur te zijn aan directe concatenatie.
4. Empirische Validatie: Het framework wordt geïmplementeerd in een shared-parameter two-tower retrieval model en geëvalueerd op drie Amazon aanbevelingsbenchmarks (Beauty, Sports and Outdoors, Toys and Games).

Experimentele Resultaten

De auteurs evalueerden hun methode tegen verschillende baselines, waaronder text-only LLM varianten, single-source soft-token varianten, direct concatenation baselines, en gevestigde sequentiële/generatieve aanbevelingsmodellen (bijv. SASRec, TIGER).

• Effectiviteit van Niet-Tekstuele Kenmerken: Zowel numerieke als embedding soft tokens boden prestatiewinst ten opzichte van text-only baselines. Het relatieve nut varieerde per dataset (numerieke kenmerken waren impactvoller op Beauty en Sports; embedding kenmerken waren impactvoller op Toys).
• Superioriteit van Interactie: Directe concatenatie van heterogene soft tokens bleek inconsistent en presteerde vaak minder goed dan single-source varianten. In contrast bereikte de interaction-based fusion benadering de beste of gelijk aan de beste prestaties over de meeste metrieken (Recall@K, NDCG@K) op alle drie de datasets.
• Vergelijking met Baselines: Het voorgestelde interactie-gebaseerde model presteerde beter dan de TIGER baseline in Recall@10 over alle datasets en behaalde de sterkste algehele prestaties op de Toys and Games dataset. Het overtrof ook traditionele sequentiële modellen zoals GRU4Rec, Caser, en HGN.
• Ablatie Studies: Aanvullende experimenten bevestigden de noodzaak van specifieke ontwerpkeuzes:
  • Het vervangen van Q-Former adapters door MLP projecties leidde tot een significante degradatie van de prestaties (tot 60% drop in R@5 op Sports).
  • Het vervangen van Fourier encoding door tokenizer-gebaseerde numerieke representatie verminderde de prestaties consistent.
  • Naïeve prompt concatenatie was minder effectief dan expliciete soft-token constructie en interactie.

Betekenis en Claims

Het artikel claimt dat soft-token fusion dient als een praktisch interface om LLM's te verbinden met kenmerk-rijke aanbevelingssystemen. Door continue numerieke en dichte embedding kenmerken te representeren als soft tokens en hun interacties expliciet te modelleren vóór de LLM-encoding, stelt de methode LLM-gebaseerde aanbevelers in staat om fijngedetailleerde niet-tekstuele signalen te exploiteren zonder de token-gebaseerde architectuur te verlaten.

De auteurs positioneren dit werk als een stap richting het bewegen van taakspecifieke aanbevelingsarchitecturen naar LLM-gecentreerde modellen die natief heterogene datatypen kunnen consumeren. Ze merken op dat toekomstig werk dit framework kan uitbreiden naar aanvullende feature types, grotere backbone modellen en meer realistische grootschalige retrieval settings. De resultaten suggereren dat het modelleren van relaties tussen niet-tekstuele kenmerken cruciaal is om het potentieel van LLM's in aanbevelingstaken te maximaliseren.