Riepilogo Tecnico: Tokenizzazione di Caratteristiche Numeriche e di Embedding per LLM RecSys

Problema

Sebbene i Large Language Models (LLM) siano emersi come potenti backbone per i sistemi di raccomandazione grazie alle loro capacità di modellazione di sequenze e comprensione semantica, esiste un disallineamento fondamentale tra le interfacce di input degli LLM e le pipeline di raccomandazione industriali. Gli LLM consumano principalmente token testuali discreti, mentre i sistemi di raccomandazione pratici si affidano fortemente a caratteristiche numeriche continue (es. prezzo, valutazioni) e caratteristiche di embedding dense generate da ingegneria a monte o encoder pre-addestrati.

Le strategie esistenti per colmare questo divario — come la verbalizzazione dei segnali in testo, la discretizzazione delle rappresentazioni degli item o l'aggiunta di caratteristiche esterne solo dopo l'encoding dell'LLM — spesso oscurano le informazioni numeriche sensibili alla scala, scartano segnali continui fini o limitano l'interazione tra caratteristiche testuali e non testuali all'interno del modello. Questo articolo affronta la sfida di incorporare questi segnali eterogenei e non testuali direttamente nello spazio di embedding dell'LLM senza perdere la loro natura continua o richiedere un processing post-hoc.

Metodologia

Gli autori propongono un framework di fusione di soft-token che mappa le caratteristiche numeriche e di embedding in "soft token" (vettori continui) compatibili con l'interfaccia standard dei token dell'LLM. Questo framework è istanziato all'interno di un modello di retrieval a due torri basato su LLM con parametri condivisi.

1. Costruzione dei Soft-Token

Il metodo converte le caratteristiche non testuali in sequenze di soft token utilizzando specifiche strategie di encoding e compressione:

• Caratteristiche di Embedding: Le caratteristiche di embedding dense (derivate dai metadati dell'item o dalla cronologia dell'utente) vengono prima codificate da un encoder di testo LLM ausiliario (Qwen3-4B). Per gestire la lunghezza della sequenza, viene applicato il mean pooling sui consecutivi embedding dei token. Questi embedding poolati vengono poi compressi in un numero fisso di embedding soft tokens utilizzando un adapter Q-Former. Il Q-Former utilizza query token apprendibili per prestare attenzione alle caratteristiche di input a lunghezza variabile, agendo come un collo di bottiglia informativo.
• Caratteristiche Numeriche: Le caratteristiche numeriche continue (specificamente il prezzo) sono codificate utilizzando l'encoding delle feature di Fourier per preservare le differenze di valore fini e la sensibilità alla scala. Questi valori codificati vengono proiettati nella dimensione nascosta dell'LLM e successivamente compressi in numerical soft tokens tramite un Q-Former numerico dedicato.

2. Fusione Basata sull'Interazione

Un componente critico del framework è il modulo di fusione basato sull'interazione. Piuttosto che concatenare semplicemente i token testuali, gli embedding soft tokens e i numerical soft tokens (cosa che gli autori hanno trovato essere subottimale), il metodo proposto raffina i soft token eterogenei prima dell'inserimento.

• Gli embedding soft tokens e i numerical soft tokens vengono concatenati e passati attraverso un modulo di fusione Transformer leggero.
• Questo modulo modella le relazioni tra i due tipi di caratteristiche utilizzando meccanismi di attenzione (attenzione cross-feature bidirezionale o unidirezionale).
• I soft token raffinati vengono quindi inseriti nella sequenza di input finale dell'LLM (Qwen3-0.6B) insieme ai token del prompt testuale e al token di fine sequenza ([EOS]).

3. Architettura

Il sistema impiega un'architettura di retrieval a due torri in cui entrambe le torri (utente e item) condividono gli stessi parametri dell'LLM. Le torri codificano le sequenze di input fuse in rappresentazioni di retrieval dense utilizzando il last-token pooling sul token [EOS]. Il modello è addestrato con un obiettivo contrastivo utilizzando negativi in-batch.

Contributi Chiave

1. Identificazione del Disallineamento: Il paper identifica esplicitamente il distacco tra gli input degli LLM basati su token e le caratteristiche numeriche continue/embedding dense standard nelle pipeline di raccomandazione.
2. Framework di Fusione Soft-Token: Propone un metodo per convertire le caratteristiche non testuali in soft token compatibili con l'LLM, permettendo ai segnali eterogenei di essere consumati attraverso l'interfaccia standard dei token.
3. Fusione Basata sull'Interazione: Gli autori introducono un modulo specifico che modella le interazioni tra gli embedding soft tokens e i numerical soft tokens prima dell'encoding dell'LLM, dimostrando che questo è superiore alla semplice concatenazione diretta.
4. Validazione Empirica: Il framework è istanziato in un modello di retrieval a due torri con parametri condivisi ed è valutato su tre benchmark di raccomandazione di Amazon (Beauty, Sports and Outdoors, Toys and Games).

Risultati Sperimentali

Gli autori hanno valutato il loro metodo contro diversi baseline, inclusi varianti LLM text-only, varianti a singola sorgente di soft-token, baseline di concatenazione diretta e modelli di raccomandazione sequenziali/generativi stabiliti (es. SASRec, TIGER).

• Efficacia delle Caratteristiche Non Testuali: Sia i numerical soft tokens che gli embedding soft tokens hanno fornito guadagni di performance rispetto ai baseline text-only. L'utilità relativa variava a seconda del dataset (le caratteristiche numeriche erano più impattanti su Beauty e Sports; le caratteristiche di embedding erano più impattanti su Toys).
• Superiorità dell'Interazione: La concatenazione diretta di eterogenei soft token è risultata inconsistente e spesso inferiore alle varianti a singola sorgente. Al contrario, l'approccio di fusione basata sull'interazione ha ottenuto le migliori performance o si è pareggiato con le migliori su quasi tutti i metriche (Recall@K, NDCG@K) su tutti e tre i dataset.
• Confronto con i Baseline: Il modello proposto basato sull'interazione ha superato il baseline TIGER in Recall@10 in tutti i dataset e ha ottenuto la performance complessiva più forte sul dataset Toys and Games. Ha inoltre superato i modelli sequenziali tradizionali come GRU4Rec, Caser e HGN.
• Studi di Ablazione: Esperimenti aggiuntivi hanno confermato la necessità di specifiche scelte di design:
  • Sostituire gli adapter Q-Former con proiezioni MLP ha degradato significativamente le performance (calo fino al 60% in R@5 su Sports).
  • Sostituire l'encoding di Fourier con una rappresentazione numerica basata su tokenizer ha ridotto costantemente le performance.
  • La concatenazione ingenua del prompt era meno efficace rispetto alla costruzione e interazione esplicita dei soft-token.

Significato e Claim

Il paper sostiene che la fusione soft-token serva come interfaccia pratica per collegare gli LLM con le pipeline di raccomandazione ricche di feature. Rappresentando le caratteristiche numeriche continue e gli embedding densi come soft token e modellando esplicitamente le loro interazioni prima dell'encoding dell'LLM, il metodo permette ai sistemi di raccomandazione basati su LLM di sfruttare segnali non testuali fini senza abbandonare l'architettura basata su token.

Gli autori posizionano questo lavoro come un passo verso il passaggio da architetture di raccomandazione task-specific verso modelli centrati sugli LLM che possano consumare nativamente tipi di dati eterogenei. Notano che il lavoro futuro potrebbe estendere questo framework ad ulteriori tipi di caratteristiche, modelli backbone più grandi e scenari di retrieval su larga scala più realistici. I risultati suggeriscono che la modellazione delle relazioni tra caratteristiche non testuali sia cruciale per massimizzare il potenziale degli LLM nei compiti di raccomandazione.