Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

Probleemstelling: Token-Embedding Misalignement

Het paper adresseert een fundamenteel probleem bij het uitbreiden van de vocabulaire van voorgeprogrammeerde Taalmodellen (LM's) met nieuwe, leerbare tokens voor domeinspecifieke taken, zoals Generatieve Aanbeveling (Generative Recommendation). In dit scenario worden duizenden nieuwe tokens (bijvoorbeeld Semantische ID's of SIDs voor items) toegevoegd aan het bestaande vocabulaire.

De huidige standaardpraktijk is mean-of-vocabulary initialisatie: nieuwe token-embeddings worden geïnitieerd als het gemiddelde van de bestaande vocabulaire-embeddings. Het paper toont aan dat deze aanpak ernstige tekortkomingen heeft:

1. Degeneratie: Alle nieuwe tokens worden naar één enkel punt in de embedding-ruimte afgebeeld, waardoor alle onderscheid tussen tokens verloren gaat.
2. Verlies van semantische structuur: De domeinspecifieke semantiek en hiërarchische relaties die de nieuwe tokens zouden moeten vertegenwoordigen, worden gewist.
3. Onvoldoende herstel: Zelfs na gesuperviseerde fine-tuning (SFT) lukt het model niet om deze verloren structuur volledig te herstellen. Spectrale analyses tonen aan dat de nieuwe tokens in een laag-rangige, degeneratieve deelruimte blijven steken, wat de prestaties van het model beperkt.

Methodologie: Grounded Token Initialization (GTI)

Om dit probleem op te lossen, stellen de auteurs de Grounded Token Initialization Hypothesis voor: nieuwe tokens moeten voor de fine-tuning linguïstisch worden verankerd ("grounded") in de voorgeprogrammeerde embedding-ruimte.

De voorgestelde methode, GTI, bestaat uit een lichtgewicht "grounding"-fase die wordt ingevoegd tussen de initialisatie en de standaard end-to-end fine-tuning:

1. Vastzetten van de Backbone: Het hoofd van het taalmodel (LM backbone) en de bestaande vocabulaire-embeddings worden bevroren (frozen).
2. Gepaarde Linguïstische Supervisie: Alleen de embeddings van de nieuwe tokens worden getraind. Dit gebeurt via een paar-taak (paired task) waarbij het model leert om:
   • Natuurlijke taalbeschrijvingen (bijv. titels of beschrijvingen van items) te vertalen naar de nieuwe token-sequenties (SIDs).
   • De nieuwe token-sequenties terug te vertalen naar de natuurlijke taalbeschrijvingen.
3. Semantische Verankering: Door deze bidirectionele training in een gefaseerde setting, worden de nieuwe tokens naar distincte, semantisch betekenisvolle locaties in de embedding-ruimte verplaatst die consistent zijn met de bestaande geometrie van het model.
4. Standaard Fine-tuning: Na deze grounding-fase wordt het volledige model (inclusief de nu goed geinitialiseerde nieuwe tokens) onderworpen aan de standaard gesuperviseerde fine-tuning voor de downstream taak.

Belangrijkste Bijdragen

1. Diagnose: Het paper biedt een systematische analyse (via spectrale en geometrische diagnostiek) die aantoont dat mean-initialisatie leidt tot een "token-collapse" die niet volledig door fine-tuning kan worden gecorrigeerd.
2. Hypothese & Methode: De introductie van de Grounded Token Initialization Hypothesis en de praktische implementatie van GTI, een eenvoudige maar effectieve methode die de initialisatieproblematiek aanpakt zonder de complexiteit van multi-task training tijdens de fine-tuning.
3. Empirische Validatie: Uitgebreide experimenten op zowel industriële (LinkedIn) als publieke datasets (Vibrent Clothes Rental) tonen aan dat GTi superieur is aan bestaande methoden.

Resultaten

De prestaties van GTI werden geëvalueerd op benchmarks voor generatieve aanbeveling, waarbij de volgende resultaten werden behaald:

• Industriële Dataset (LinkedIn):

  • GTI presteerde aanzienlijk beter dan zowel de standaard SFT (met mean-initialisatie) als LC-Rec (een methode die multi-task learning gebruikt tijdens fine-tuning).
  • Bij de strengste "Good Match"-criteria boekte GTI een relatieve winst van +21,63% in Precision@5 ten opzichte van de baseline, terwijl LC-Rec slechts +6,38% haalde.
  • De verbetering was consistent over verschillende K-waarden (Top-K) en candidate pool sizes.

• Publieke Dataset (Vibrent Clothes Rental):

  • Zelfs zonder extra multi-task objectives tijdens de fine-tuning (alleen GTI + Vanilla SFT), overtrof GTI de LC-Rec methode significant in Recall@K (bijv. +26,02% vs +13,41% bij Recall@20).
  • Dit bevestigt dat de verbetering voornamelijk voortkomt uit de kwaliteit van de initialisatie en niet uit de complexiteit van de trainingstaken.

• Analyse van Embedding-ruimte:

  • Spectrale Analyse: GTI resulteert in een langzamere afname van singuliere waarden en een hogere effectieve rang (effective rank) van de embedding-matrix, wat aangeeft dat de ruimte minder degeneratief is.
  • Semantische Structuur: In tegenstelling tot mean- of random-initialisatie, behoudt GTI de hiërarchische blokkestructuur van de Semantische ID's (zoals gegenereerd door de RQ-VAE) zelfs na de fine-tuning. De cosine-afstanden tussen tokens behouden hun betekenisvolle relaties.

Betekenis en Conclusie

Het paper concludeert dat token-initialisatie een kritieke bottleneck is bij het uitbreiden van vocabulaires in taalmodellen. De traditionele aanpak van het simpelweg middelen van bestaande embeddings is onvoldoende omdat het de semantische discriminatie van nieuwe tokens vernietigt.

De Grounded Token Initialization (GTI) biedt een elegante oplossing: door nieuwe tokens vooraf linguïstisch te verankeren in de voorgeprogrammeerde ruimte, kan het model direct gebruikmaken van zijn bestaande wereldkennis om de nieuwe tokens te verwerken. Dit leidt tot robuustere representaties en aanzienlijk betere prestaties in complexe taken zoals generatieve aanbeveling. De methode is lichtgewicht, task-agnostisch (maakt geen aannames over de downstream taak) en kan worden toegepast op elk scenario waarbij nieuwe tokens aan een LM moeten worden toegevoegd.