Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

Titolo: Inizializzazione di Token Fondati (Grounded) per Nuovi Vocabolari nei Modelli Linguistici per la Raccomandazione Generativa

1. Il Problema: Il Collasso Semantico nell'Estensione del Vocabolario

I modelli linguistici (LM) pre-addestrati vengono sempre più adattati a domini specifici (come la raccomandazione generativa) estendendo il loro vocabolario con migliaia di nuovi token apprendibili (ad esempio, Semantic-ID o SID).

• Pratica Standard: La metodologia convenzionale inizializza questi nuovi token come la media delle embedding del vocabolario esistente.
• Il Difetto Critico: L'analisi spettrale e geometrica condotta dagli autori rivela che questa strategia causa un collasso degenerato. Tutti i nuovi token vengono mappati nello stesso punto nello spazio delle embedding, cancellando qualsiasi distinzione inter-token e struttura semantica di livello dominio.
• Fallimento del Fine-Tuning: Il fine-tuning supervisionato successivo non riesce a recuperare completamente la struttura persa. I nuovi token rimangono in un sottospazio a rango basso (degenerato), limitando la capacità del modello di trasferire la conoscenza pre-addestrata al nuovo dominio.

2. Metodologia: Grounded Token Initialization (GTI)

Per risolvere questo collo di bottiglia, gli autori propongono l'Ipotesi di Inizializzazione di Token Fondati e un metodo operativo chiamato GTI.

• Ipotesi Fondamentale: Prima del fine-tuning, è necessario "radicare" (ground) i nuovi token nello spazio delle embedding pre-addestrato del LM, mappandoli in posizioni semanticamente distinte e significative basandosi su supervisione linguistica.
• Fase di Grounding (GTI):
  • Congelamento: Il backbone del LM e le embedding del vocabolario originale vengono congelati.
  • Apprendimento: Vengono aggiornati solo i parametri delle embedding dei nuovi token ($E_{new}$).
  • Supervisione: Viene utilizzata una supervisione linguistica accoppiata (paired supervision). Il modello viene addestrato su coppie di prompt che mappano bidirezionalmente:
    1. Da descrizione naturale (titolo/descrizione dell'item) $\rightarrow$ Sequenza di nuovi token (SID).
    2. Da nuovi token (SID) $\rightarrow$ Descrizione naturale.
  • Obiettivo: Questa fase crea una struttura semantica iniziale ricca e differenziata prima di procedere con il fine-tuning end-to-end completo.

3. Contributi Chiave

1. Diagnosi del Problema: Dimostrazione sistematica, tramite analisi spettrale (decomposizione ai valori singolari) e geometrica (similarità coseno), che l'inizializzazione a media porta a un collasso dimensionale che il fine-tuning non risolve.
2. Metodologia GTI: Introduzione di una fase di inizializzazione leggera ed efficace che sfrutta la conoscenza linguistica preesistente per posizionare i nuovi token in modo coerente con la geometria del modello.
3. Validazione Empirica: Dimostrazione che GTI supera sia l'inizializzazione a media che i metodi di adattamento multi-task esistenti (come LC-Rec) in scenari di raccomandazione generativa su larga scala.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset principali: un dataset industriale per il recupero di candidati (LinkedIn) e un dataset pubblico (Vibrent Clothes Rental).

• Performance di Recupero: GTI ha mostrato miglioramenti significativi rispetto alle baseline (Vanilla SFT e LC-Rec) su metriche come Precision@K, Recall@K e NDCG.
  • Esempio (Dataset Industriale): Su Precision@5 per "Good Match", GTI ha ottenuto un guadagno relativo del +21.63% rispetto alla baseline, contro il +6.38% di LC-Rec.
  • Robustezza: I miglioramenti sono consistenti su diverse dimensioni del pool di candidati e su diversi livelli di rilevanza.
• Analisi Strutturale:
  • Struttura Persistente: Le embedding iniziate con GTI mantengono una struttura gerarchica a blocchi (blockwise hierarchical structure) anche dopo il fine-tuning, a differenza delle altre metodologie che producono pattern piatti o rumorosi.
  • Rango Effettivo: L'analisi SVD mostra che GTI preserva un rango effettivo più alto e un decadimento spettrale più lento, indicando uno spazio delle feature più espressivo e non degenere.
  • Analisi di Similarità Rappresentazionale (RSA): Le embedding apprese con GTI mostrano una correlazione più alta con i vettori del codebook ground-truth (RQ-VAE), confermando una migliore preservazione della struttura semantica originale.

5. Significato e Implicazioni

• Ridefinizione dell'Inizializzazione: Il paper stabilisce che la qualità dell'inizializzazione è un collo di bottiglia critico nell'estensione del vocabolario, spesso più importante della strategia di adattamento successiva.
• Efficienza: GTI è un metodo leggero che richiede solo una fase aggiuntiva di addestramento sui nuovi token (con il backbone congelato), senza necessità di compiti ausiliari complessi durante il fine-tuning principale.
• Generalizzabilità: Sebbene testato sulla raccomandazione generativa, il principio di "radicare" i nuovi token nello spazio semantico preesistente è applicabile a qualsiasi scenario in cui un LM deve integrare nuovi simboli o token specifici di un dominio, offrendo una via per migliorare il trasferimento della conoscenza pre-addestrata.

In sintesi, il paper dimostra che non basta aggiungere nuovi token a un modello linguistico; è fondamentale inizializzarli in modo che "capiscano" la loro posizione nello spazio semantico del modello prima di iniziare l'addestramento specifico per il compito.