Riepilogo Tecnico: Apprendimento di Rappresentazioni Token Contestuali Decomposte da Segnali Pre-addestrati e Collaborativi per la Raccomandazione Generativa

1. Enunciato del Problema

Il documento affronta due limitazioni critiche intrinseche negli attuali paradigmi di raccomandazione generativa in due fasi, che tipicamente coinvolgono la tokenizzazione degli elementi seguita dall'addestramento di un Modello Linguistico di Grande Dimensione (LLM):

1. Tokenizzazione Statica Subottimale (C1): I metodi esistenti si basano su ID semantici fissi generati da un tokenizzatore pre-addestrato (ad es. RQ-VAE) per ricostruire i metadati degli elementi. Questi token statici non riescono ad adattarsi a contesti diversificati di interazione utente. Di conseguenza, elementi semanticamente distinti (ad es. cuffie per ufficio vs. cuffie per dormire) possono condividere token di prefisso identici, creando un'"ambiguità del prefisso" che acceca il modello riguardo all'intento dell'utente fino all'ultimo passo di generazione. Questa assegnazione statica crea un collo di bottiglia nella rappresentazione che limita il potere discriminatorio del meccanismo di attenzione.
2. Semantica Pre-addestrata Scartata (C2): Durante la fase di addestramento del sistema di raccomandazione, la ricca conoscenza semantica codificata negli embedding pre-addestrati viene efficacemente scartata. Sebbene il tokenizzatore impari a ricostruire questi embedding, gli embedding token utilizzati dall'LLM sono inizializzati casualmente e addestrati esclusivamente sui dati di interazione utente. Questo processo sovrascrive la conoscenza del mondo pre-addestrata (ad es. il doppio significato di "Apple" come frutto o marchio tecnologico), portando a raccomandazioni disallineate, in particolare per elementi sparsi.

Gli autori notano che i tentativi esistenti di risolvere questi problemi, come l'ottimizzazione congiunta end-to-end (ad es. ETEGRec), introducono spesso instabilità nell'addestramento e sovraccarico computazionale a causa della ripetuta re-tokenizzazione.

2. Metodologia: DECOR

Gli autori propongono DECOR (Rappresentazioni Token Contestuali Decomposte), un framework unificato progettato per preservare le semantica pre-addestrata migliorando al contempo l'adattabilità dei token senza richiedere re-tokenizzazione iterativa. DECOR è composto da due componenti principali:

3.1 Fusione di Embedding Decomposti

Per affrontare la perdita di semantica pre-addestrata (C2), DECOR mantiene due spazi di embedding paralleli:

• Embedding Semantici Pre-addestrati Congelati ($E_{pre}$): Derivati dai codebook di un tokenizzatore RQ-VAE pre-addestrato. Questi vengono mantenuti congelati per preservare le capacità originali di ricostruzione semantica.
• Embedding Collaborativi Apprendibili ($E_{collab}$): Addestrati da zero basandosi su sequenze di interazione utente per catturare pattern sequenziali e dinamiche di co-occorrenza.

Queste due modalità vengono fuse attraverso una rete leggera. Entrambi gli embedding sono proiettati in uno spazio latente condiviso, normalizzati, concatenati e mappati nuovamente alla dimensione originale tramite una matrice di fusione apprendibile. Ciò permette al modello di integrare in modo adattivo la conoscenza semantica statica con segnali collaborativi dinamici.

3.2 Composizione Contestualizzata del Token

Per affrontare la tokenizzazione statica subottimale (C1), DECOR introduce un meccanismo di interpretazione dinamica applicato durante la fase di generazione autoregressiva. Invece di affidarsi esclusivamente all'embedding statico di un token, il modello affina la rappresentazione del token basandosi sul contesto di interazione dell'utente:

• Vettore di Contesto: Un meccanismo di pooling basato sull'attenzione aggrega gli embedding fusi della sequenza storica di interazione per generare un vettore di contesto ($u_c$).
• Composizione Morbida: Per ogni token nella sequenza, il modello esegue una composizione morbida su un insieme candidato di token (specificamente, tutti i token dallo stesso livello del codebook RQ-VAE). L'embedding composto finale è una somma pesata degli embedding candidati, guidata dal vettore di contesto.
• Fusione Residuale: L'embedding composto contestualmente viene fuso con l'embedding statico originale tramite un collegamento residuo controllato da un iperparametro $\alpha$. Ciò permette al modello di reinterpretare dinamicamente i token statici senza alterare il tokenizzatore sottostante.

3.3 Composizione Apprendibile di BOS (Inizio Sequenza)

Riconoscendo che il primo token funge da ancora semantica globale, gli autori introducono un insieme di vettori di query BOS apprendibili. Questi vettori sono composti contestualmente per rifinire il prefisso iniziale, assicurando che il processo di generazione inizi con un'ancora semantica allineata alla storia specifica dell'utente, riducendo così la propagazione dell'ambiguità.

3. Contributi Chiave

• Analisi del Problema: Il documento è il primo ad analizzare esplicitamente come la tokenizzazione statica limiti la capacità dei raccomandatori generativi di adattare le rappresentazioni degli elementi a dinamiche di contesto utente diversificate, identificando l'ambiguità del prefisso come un modo di fallimento chiave.
• Framework Innovativo (DECOR): Gli autori propongono un framework che fonde embedding semantici pre-addestrati congelati con embedding collaborativi apprendibili. Crucialmente, introduce un meccanismo di composizione dinamica e consapevole del contesto che interpreta i token di input statici durante la generazione, evitando l'instabilità della re-tokenizzazione end-to-end.
• Efficienza e Stabilità: Il metodo raggiunge una convergenza più rapida e una maggiore accuratezza rispetto alle linee di base di addestramento congiunto, con un sovraccarico computazionale solo moderato.

4. Risultati Sperimentali

Gli autori hanno valutato DECOR su tre dataset reali della raccolta Amazon Review: Scientific, Instrument e Game.

• Prestazioni: DECOR ha costantemente superato le linee di base dello stato dell'arte, inclusi raccomandatori sequenziali tradizionali (SASRec, GRU4Rec) e modelli generativi (TIGER, LETTER, CoST, ETEGRec).
  • Sul dataset Scientific, DECOR ha ottenuto un miglioramento relativo superiore al 14% in NDCG@10 rispetto alla linea di base più forte.
  • Sul dataset Instrument (noto per la terminologia specializzata e il testo sparso), DECOR ha migliorato NDCG@10 del 5,0% rispetto alla migliore linea di base, dimostrando robustezza laddove i modelli basati su prior testuali hanno faticato.
• Studi di Ablazione: La rimozione della Fusione di Embedding Decomposti (DEF) o della Composizione Contestualizzata del Token (CTC) ha portato a cali significativi delle prestazioni, confermando che sia la preservazione delle semantica pre-addestrate sia l'abilitazione dell'adattamento contestuale sono necessari. L'aggiunta di query BOS apprendibili ha ulteriormente migliorato le prestazioni, in particolare nell'allineamento delle semantica di alto livello con il contesto utente.
• Convergenza: DECOR ha raggiunto il 95% delle sue prestazioni massime 23 epoche più velocemente della linea di base di addestramento congiunto (ETEGRec) ed ha evitato la stagnazione dell'apprendimento osservata in ETEGRec durante le fasi intermedie di addestramento.
• Utilizzo degli Embedding: DECOR ha migliorato significativamente l'utilizzo delle voci del codebook. Mentre TIGER utilizzava solo circa il 26% degli embedding attivi nel primo livello di quantizzazione, DECOR ha attivato il 100% degli embedding sui dataset Instrument e Game sfruttando token inattivi durante la composizione.
• Efficienza: La latenza di inferenza è aumentata di circa 0,85 ms per campione (con dimensione del batch 128) rispetto alla linea di base TIGER, mantenendo circa l'82% del throughput della linea di base. Questo compromesso è presentato come altamente favorevole dati i guadagni di accuratezza del 5–14%.

5. Significato e Affermazioni

Il documento afferma che DECOR fornisce una soluzione innovativa che evita l'instabilità della re-tokenizzazione mantenendo al contempo i benefici delle semantica pre-addestrate. Disaccoppiando la struttura semantica statica dai segnali collaborativi dinamici e permettendo una reinterpretazione contestuale al momento della generazione, DECOR colma il divario tra conoscenza del mondo e comportamento utente. Gli autori lo posizionano come un'alternativa più stabile ed espressiva rispetto ai framework di raccomandazione generativa esistenti, particolarmente efficace in scenari con dati sparsi o terminologie specializzate di elementi dove i prior testuali statici sono insufficienti.