Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

Problemstellung

Sprachmodelle (LMs) werden zunehmend für domänenspezifische Aufgaben erweitert, indem neue lernbare Vokabular-Token hinzugefügt werden. Ein prominentes Beispiel ist die generative Empfehlung (Generative Recommendation), bei der Artikel durch diskrete semantische Codes (Semantic IDs, SIDs) repräsentiert werden, die autoregressiv vom Modell generiert werden.

Das zentrale Problem liegt in der Initialisierung dieser neuen Token:

• Der aktuelle Standard (State-of-the-Art) initialisiert neue Token-Embeddings als den Mittelwert (Mean) aller bestehenden Vokabular-Embeddings.
• Analyse der Autoren: Diese Strategie führt dazu, dass alle neuen Token in einen einzigen Punkt im Embedding-Raum kollabieren. Dies löscht jegliche Unterscheidung zwischen den Token und entfernt domänenspezifische Semantik.
• Folge: Selbst nach anschließendem Fine-Tuning (Supervised Fine-Tuning, SFT) kann die feingranulare Struktur und die Unterscheidbarkeit der Token oft nicht vollständig wiederhergestellt werden. Das Modell startet aus einem „degenerierten" Unterraum, was die Nutzung des vorab trainierten allgemeinen Wissens erschwert.

Methodik: Grounded Token Initialization (GTI)

Die Autoren schlagen eine neue Methode vor, die auf der Hypothese basiert, dass neue Token linguistisch im vorab trainierten Embedding-Raum verankert (gegroundet) werden müssen, bevor das Fine-Tuning beginnt.

Der GTI-Ansatz:

1. Zweistufiger Prozess:
   • Schritt 1: Grounding Stage (Verankerung): Bevor das eigentliche Fine-Tuning für die Downstream-Aufgabe beginnt, wird eine separate Phase eingeführt. Dabei werden die Parameter des LM-Rückgrats (Backbone) und die ursprünglichen Vokabular-Embeddings eingefroren (frozen). Nur die Embeddings der neuen Token werden trainiert.
   • Schritt 2: Standard Fine-Tuning: Nach der Grounding-Phase wird das gesamte Modell für die Zielaufgabe (z. B. generative Empfehlung) weiter trainiert.
2. Trainingsmechanismus:
   • Es wird ein gepaartes Korpus verwendet, das natürliche Sprachbeschreibungen (z. B. Artikel-Titel oder -Beschreibungen) mit den entsprechenden neuen Token-Sequenzen (SIDs) verbindet.
   • Das Training erfolgt bidirektional:
     • Text → Token: Das Modell lernt, basierend auf einer Beschreibung den korrekten SID zu generieren.
     • Token → Text: Das Modell lernt, basierend auf einem SID die zugehörige Beschreibung zu generieren.
   • Dies zwingt die neuen Token-Embeddings, sich an semantisch sinnvolle Positionen im bestehenden Embedding-Raum zu orientieren, anstatt willkürlich oder als Mittelwert platziert zu werden.

Wichtige Beiträge

1. Diagnose des Initialisierungsproblems: Durch spektrale und geometrische Analysen (z. B. Singulärwertzerlegung, Kosinus-Ähnlichkeitsmatrizen) zeigen die Autoren, dass die Mittelwert-Initialisierung zu einem Zusammenbruch in einen niedrig-rangigen Unterraum führt, der durch nachfolgendes Fine-Tuning nicht vollständig korrigiert werden kann.
2. Einführung von GTI: Entwicklung einer leichten, effizienten Grounding-Phase, die neue Token durch gepaarte linguistische Überwachung in den Embedding-Raum integriert, ohne das Hauptmodell zu verändern.
3. Empirische Validierung: Umfassende Experimente auf industriellen und öffentlichen Datensätzen im Bereich der generativen Empfehlung, die zeigen, dass GTI überlegene Ergebnisse liefert.

Ergebnisse

Die Methode wurde auf zwei Datensätzen evaluiert: einem industriellen Kandidaten-Retrieval-Datensatz (LinkedIn) und dem öffentlichen „Vibrent Clothes Rental"-Datensatz.

• Vergleichsbaselines: GTI wurde gegen die Standard-Mittelwert-Initialisierung mit Vanilla SFT und gegen einen fortgeschrittenen Multi-Task-Ansatz (LC-Rec, der während des Fine-Tunnings zusätzliche Hilfsaufgaben nutzt) verglichen.
• Performance-Gewinne:
  • GTI übertraf konsistent beide Baselines in Metriken wie Precision@K, Recall@K und NDCG.
  • Auf dem industriellen Datensatz erzielte GTI unter dem strengen „Good Match"-Kriterium einen relativen Gewinn von +21,63 % bei Precision@5 gegenüber dem Standard-SFT, während LC-Rec nur +6,38 % erreichte.
  • Auf dem öffentlichen Datensatz zeigte GTI signifikante Verbesserungen beim Recall (z. B. +26,02 % bei Recall@20 gegenüber LC-Rec).
• Strukturelle Analyse:
  • Embeddings, die mit GTI initialisiert wurden, behielten eine hierarchische Blockstruktur und eine höhere effektive Rangzahl (effective rank) bei, selbst nach dem Fine-Tuning.
  • Im Gegensatz dazu zeigten Mittelwert-Initialisierungen auch nach dem Training eine flache, unstrukturierte Ähnlichkeitsmatrix.
  • Die Representational Similarity Analysis (RSA) bestätigte, dass GTI die ursprüngliche semantische Struktur der Item-Codes besser bewahrt.

Bedeutung und Fazit

Die Arbeit identifiziert die Initialisierung neuer Vokabular-Token als einen kritischen Engpass bei der Erweiterung von Sprachmodellen. Sie widerlegt die Annahme, dass nachfolgendes Fine-Tuning ausreicht, um semantische Informationen in neu eingeführten Token zu kodieren.

• Paradigmenwechsel: Statt zu versuchen, das Modell durch komplexe Multi-Task-Loss-Funktionen während des Fine-Tunnings zu korrigieren, zeigt GTI, dass eine saubere, semantisch fundierte Initialisierung vorab entscheidend ist.
• Allgemeingültigkeit: Da der Grounding-Mechanismus keine Annahmen über die spezifische Downstream-Aufgabe trifft, ist die Methode potenziell auf viele andere Szenarien der Vokabular-Erweiterung übertragbar, nicht nur auf Empfehlungssysteme.
• Effizienz: GTI ist rechnerisch effizient, da das teure Backbone-Modell während der Grounding-Phase eingefroren bleibt und nur die wenigen neuen Embedding-Parameter trainiert werden.

Zusammenfassend demonstriert das Paper, dass die Qualität der Token-Initialisierung ein fundamentaler Faktor für den Erfolg von generativen Empfehlungssystemen und der Erweiterung von Sprachmodellen ist, und bietet mit GTI eine einfache, aber hochwirksame Lösung.