Riepilogo Tecnico: Gli LLM hanno bisogno di Encoder anche per gli ID Semantici

Definizione del Problema

I sistemi di raccomandazione generativa rappresentano gli item come ID Semantici (SID): codici gerarchici generati tramite RQ-VAE. Sebbene questi codici consentano il trasferimento di conoscenza tra item semanticamente simili, essi presentano una sfida unica per i Large Language Models (LLM). A differenza dei normali token linguistici, il significato di un token SID è strettamente dipendente dal contesto: un codice specifico (ad esempio, 505) rappresenta cluster di item completamente diversi a seconda del suo prefisso (ad esempio, 1273-505 rispetto a 974-505).

Gli approcci attuali trattano i codici SID come token di vocabolario piatti, assegnando un embedding statico singolo a ciascun codice indipendentemente dal prefisso. Ciò costringe l'LLM a imparare le relazioni combinatorie tra prefisso e codice partendo da zero all'interno dei propri parametri condivisi. Dato il corpus di item su scala miliardaria e la natura sparsa e gerarchica delle distribuzioni SID (esacerbata dal "fenomeno della clessidra" ai livelli intermedi), questo problema di apprendimento è computazionalmente costoso e spesso non riesce a catturare le dipendenze strutturali profonde, in particolare per gli item rari o per pattern di prefissi complessi.

Metodologia: PrefixMem

Gli autori propongono PrefixMem, un encoder per SID leggero e dedicato, analogo agli encoder di visione nei modelli LLM multimodali. Invece di fare affidamento esclusivamente sui meccanismi di attenzione interni dell'LLM per inferire il contesto, PrefixMem fornisce rappresentazioni esplicite, condizionate dal prefisso, al modello.

Architettura

PrefixMem è implementato come una tabella di memoria n-gramma basata su hash per i prefissi. Per una sequenza di SID $(c_1, \dots, c_L)$, l'encoder opera ad ogni livello $\ell$ come segue:

1. Hashing: Il prefisso precedente $(c_1, \dots, c_{\ell-1})$ viene trasformato in hash in molteplici ordini di $n$-grammi (da lunghezza 1 a $\min(\ell, N_{max})$) utilizzando molteplici teste di hash.
2. Lookup: Questi hash indicizzano tabelle di embedding sparse ($E_{n,h}$) per recuperare i vettori.
3. Aggregazione: I vettori recuperati vengono concatenati tra le teste, sommati attraverso gli ordini di $n$-grammi e proiettati tramite un livello lineare ($W_{out}$).
4. Iniezione: Il vettore risultante $\mathbf{m}_\ell$ viene aggiunto all'embedding di input del token corrente $c_\ell$ prima che entri nel transformer dell'LLM.

Questo meccanismo assicura che l'LLM riceva una rappresentazione distinta per lo stesso codice a seconda della sua cronologia di prefissi, scaricando efficacementamente l'archiviazione delle statistiche di transizione tra prefisso e codice dai pesi densi del transformer alle tabelle di lookup sparse.

Strategia di Pre-training

Similmente agli encoder di visione, PrefixMem può essere pre-addestrato indipendentamente prima di essere collegato a un LLM. Il documento esplora tre obiettivi di pre-training:

1. Classificazione: Predire il codice successivo $c_{\ell+1}$ partendo dall'embedding del prefisso tramite una testa lineare.
2. Recupero Generativo: Addestramento su un modello di SID generativo (ad esempio, TIGER) per catturare i pattern di transizione del comportamento degli utenti.
3. Joint Training con LLM: Addestramento dell'encoder congiuntamente a un piccolo LLM su dati testuali + SID per infondere rappresentazioni ancorate al linguaggio.

Contributi Chiave

1. Riformulazione dei SID come Modalità: Il documento sostiene che gli ID Semantici costituiscono una modalità distinta che richiede un encoder dedicato, tracciando un parallelo con il modo in cui gli encoder di visione e audio collegano le modalità non linguistiche nei modelli LLM multimodali.
2. Design di PrefixMem: Introduzione di un modulo di memoria n-gramma per i prefissi che fornisce rappresentazioni strutturate e condizionate dal prefisso. È leggero, pre-addestinabile e trasferibile tra diverse famiglie di LLM.
3. Efficienza e Scalabilità: L'encoder scinde la conoscenza dei SID dai parametri dell'LLM. Ciò consente a modelli più piccoli (ad esempio, 0.6B) dotati di PrefixMem di superare significativamente modelli molto più grandi (ad esempio, 4B) privi di esso.
4. Valutazione Esaustiva: Valutazione estesa sul catalogo di Pinterest su scala miliardaria con diverse famiglie di LLM (Qwen, Llama, Gemma) e architetture non-LLM (TIGER).

Risultati Sperimentali

Valutato sul catalogo di item di Pinterest su scala miliardaria con SID a 5 livelli (2048 codici per livello), PrefixMem dimostra miglioramenti significativi:

• Accuratezza per Livello: A parità di calcolo di addestramento, PrefixMem migliora l'accuratezza dei livelli SID più profondi (L4 e L5) fino al 46% relativo (ad esempio, dal 37,6% al 54,8% su Qwen3 1.7B). I livelli 1–3 rimangono ampiamente invariati, confermando che l'encoder mira all'esplosione combinatoria dei prefissi più profondi.
• Performance di Recupero: Il Recall@100 per il recupero del SID completo migliora fino al 22% relativo. Il beneficio scala monotonicamente con la larghezza del beam (beam width), indicando che l'encoder aiuta a far emergere i percorsi corretti in spazi di ricerca più ampi.
• Esempi Difficili: I guadagni sono concentrati sugli esempi "irraggiungibili" dove il decoding greedy fallisce. In questi casi difficili, l'accuratezza migliora fino al 77% relativo.
• Item Rari: L'encoder beneficia sproporzionatamente degli item rari (quarto inferiore della frequenza del prefisso), migliorando l'accuratezza del 115% relativo, rispetto al 34% per gli item popolari. Ciò evidenzia la capacità dell'encoder di apprendere i pattern dei prefissi in modo più efficiente rispetto ai pesi densi del transformer.
• Validità del Catalogo: L'encoder riduce i SID allucinati (inesistenti), migliorando il tasso di hit di L5 dal 50,7% al 65,1%.
• Generalizzazione: Un modello da 0.6B con PrefixMem raggiunge un'accuratezza di predizione SID superiore a un modello da 4B senza di esso. L'encoder migliora anche le performance di modelli non-LLM come TIGER (35M di parametri), aumentando l'accuratezza di L5 del 121%.
• Confronto tra Architetture: Un encoder transformer causale a 4 strati (336M di parametri) non è riuscito a eguagliare le prestazioni del PrefixMem basato su hash sparso, suggerendo che l'encoding dei SID sia fondamentalmente un problema di capacità di memoria piuttosto che un problema di computazione appresa.

Significato e Rivendicazioni

Il documento sostiene che trattare i SID come una modalità di primo livello che richiede un encoder dedicato è un passo critico verso una raccomandazione generativa efficiente e scalabile. Scaricando l'onere combinatorio delle gerarchie SID su tabelle di memoria esterne e pre-addestrabili, PrefixMem permette agli LLM di concentrarsi sull'utilizzo della struttura piuttosto che sul suoo scoprire da zero.

Gli autori sottolineano che questo approccio offre una via pratica per rendere la raccomandazione basata su LLM più accessibile:

• Efficienza Computazionale: L'encoder aggiunge un sovraccarico computazionale trascurabile (<0,02% del totale dei FLOP) e può essere pre-addestrato a basso costo.
• Scalabilità del Modello: Permette a modelli più piccoli e meno costosi di raggiungere livelli di performance precedentemente riservati a modelli molto più grandi.
• Modularità: L'encoder è indipendente dall'architettura, può essere trasferito tra diverse famiglie di LLM e persino tra modelli generativi non-LLM.

Il lavoro conclude che, proprio come gli LLM multimodali si affidano a encoder dedicati per immagini e audio, i sistemi di raccomandazione generativa richiedono encoder dedicati per i Semantic ID per gestire efficacemente la loro natura gerarchica e dipendente dal contesto.