Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

1. Problématique : L'effondrement sémantique lors de l'extension de vocabulaire

Les modèles de langage (LM) pré-entraînés sont de plus en plus adaptés à des domaines spécifiques (comme la recommandation générative) en y ajoutant de nouveaux tokens apprenables, tels que des Semantic-IDs (SIDs) qui codent les identifiants d'articles ou de documents.

• Pratique actuelle : La méthode standard consiste à initialiser ces nouveaux tokens comme la moyenne des embeddings du vocabulaire existant.
• Le problème : Les auteurs démontrent que cette approche provoque un effondrement sémantique. Tous les nouveaux tokens sont projetés sur un même point dans l'espace d'embedding, effaçant toute distinction inter-token et la structure sémantique hiérarchique qu'ils devraient encoder.
• Limitation du fine-tuning : L'analyse spectrale et géométrique montre que le fine-tuning supervisé ultérieur ne parvient pas à récupérer complètement cette structure perdue. Les tokens restent dans un sous-espace dégénéré de faible rang, ce qui limite la capacité du modèle à transférer ses connaissances générales vers le nouveau domaine.

2. Méthodologie : GTI (Grounded Token Initialization)

Pour résoudre ce goulot d'étranglement, les auteurs proposent l'hypothèse de l'initialisation ancrée (Grounded Token Initialization) : il est crucial de « ancrer » linguistiquement les nouveaux tokens dans l'espace d'embedding pré-entraîné avant le fine-tuning final.

Le processus GTI se déroule en deux étapes :

1. Phase d'Ancrage (Grounding Stage) :

   • Le modèle de langage (backbone) et le vocabulaire original sont figés (frozen).
   • Seuls les embeddings des nouveaux tokens (SIDs) sont appris.
   • L'apprentissage utilise une supervision linguistique appariée : le modèle est entraîné à mapper les descriptions naturelles (titres, descriptions d'articles) vers les séquences de tokens SIDs, et inversement (génération de descriptions à partir des SIDs).
   • Cela force les nouveaux tokens à occuper des positions distinctes et sémantiquement cohérentes dans l'espace pré-entraîné, en exploitant la géométrie existante du modèle.

2. Phase de Fine-Tuning Standard :

   • Une fois les embeddings ancrés, le modèle subit un fine-tuning complet (ou partiel) pour la tâche cible (ex: recommandation générative).

3. Contributions Clés

1. Diagnostic Spectral et Géométrique : Les auteurs fournissent une analyse rigoureuse montrant que l'initialisation par moyenne crée un sous-espace de rang faible (degenerate subspace) qui résiste à la récupération par le fine-tuning.
2. Hypothèse de l'Initialisation Ancriée : Ils formalisent l'idée que l'ancrage linguistique préalable est nécessaire pour permettre au LM d'exploiter ses connaissances générales sur les nouveaux tokens.
3. Méthode GTI : Une approche légère et efficace qui ajoute une étape d'ancrage avant le fine-tuning, sans nécessiter de tâches auxiliaires complexes pendant la phase principale.
4. Validation Empirique : Des résultats supérieurs sur des benchmarks industriels et publics, prouvant que l'initialisation est un facteur limitant critique.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux ensembles de données : un système de récupération de candidats à l'échelle industrielle (LinkedIn) et un jeu de données public de location de vêtements (Vibrent).

• Performance sur Données Industrielles :

  • GTI surpasse significativement l'initialisation par moyenne (Vanilla SFT) et la méthode concurrente LC-Rec (qui utilise des tâches auxiliaires pendant le fine-tuning).
  • Gain relatif de Precision@5 de +21,63 % par rapport à la baseline (contre +6,38 % pour LC-Rec).
  • Gain de NDCG@5 de +17,88 % contre +6,94 % pour LC-Rec.
  • Les gains sont particulièrement marqués pour les métriques à faible K (top-K), indiquant une meilleure capacité de discrimination immédiate.

• Performance sur Données Publiques (Vibrent) :

  • GTI atteint des performances supérieures en Recall (ex: +26,02 % à Recall@20 vs +13,41 % pour LC-Rec) même sans tâches auxiliaires pendant le fine-tuning, confirmant que l'ancrage initial est le moteur principal de l'amélioration.

• Analyses de Structure :

  • Matrices de similarité : Contrairement à l'initialisation par moyenne (qui crée un bloc uniforme) ou aléatoire (bruit), GTI préserve une structure hiérarchique en blocs claire entre les tokens SID.
  • Analyse Spectrale (SVD) : Les embeddings initialisés par GTI montrent un déclin spectral plus lent et un rang effectif plus élevé après le fine-tuning, indiquant une meilleure préservation de la diversité des caractéristiques.
  • Analyse de Similarité Représentationnelle (RSA) : La géométrie sémantique des embeddings appris par GTI correspond mieux à celle du codebook d'origine (RQ-VAE) que les autres méthodes.

5. Signification et Impact

Ce travail remet en question la pratique courante d'initialiser les nouveaux tokens par la moyenne du vocabulaire. Il démontre que la qualité de l'initialisation est un goulot d'étranglement majeur dans l'extension de vocabulaire des LMs.

• Efficacité : GTI est une méthode simple, peu coûteuse en calcul (seuls les embeddings sont mis à jour pendant l'ancrage) et applicable à divers domaines au-delà de la recommandation.
• Théorique : Il établit un lien entre l'initialisation des tokens et la préservation de la géométrie de l'espace latent, suggérant que le fine-tuning seul ne peut pas « réparer » un point de départ dégénéré.
• Pratique : Pour les systèmes de recommandation générative et toute tâche nécessitant l'intégration de symboles spécifiques à un domaine, l'ajout d'une étape d'ancrage linguistique est désormais recommandé pour maximiser les performances.

En résumé, le papier propose un changement de paradigme : au lieu de laisser le modèle « apprendre » la signification des nouveaux tokens à partir de zéro (ou d'un point moyen), il faut les positionner sémantiquement dès le départ pour permettre une adaptation efficace.