Riepilogo Tecnico: Eliminazione delle Raccomandazioni Out-of-Domain nei Sistemi di Raccomandazione basati su LLM

1. Definizione del Problema

I Large Language Models (LLM) sono sempre più applicati ai sistemi di raccomandazione conversazionali grazie alle loro superiori capacità di ragionamento e di seguire le istruzioni. Tuttavia, un fallimento critico negli attuali sistemi di raccomandazione basati su LLM è la generazione di elementi Out-of-Domain (OOD). A differenza dei sistemi tradizionali basati su ID che operano rigorosamente all'interno di un catalogo noto, gli LLM spesso allucinano elementi che non esistono nel dominio target, portando a impatti negativi nel mondo reale.

Gli approcci esistenti per mitigare le raccomandazioni OOD rientrano generalmente in tre paradigmi isolati:

1. Basato sul recupero (Retrieval-based): Mappatura delle informazioni di utente/elemento in embedding per recuperare elementi in-domain.
2. Generazione Vincolata (Constrained Generation): Restrizione della decodifica a un sottospazio dipendente dal catalogo (ad esempio, tramite alberi di prefisso sui titoli degli articoli).
3. Item-Tokenizer: Mappatura degli elementi in sequenze di token discreti e generazione sopra questo spazio appreso.

Questi metodi sono tipicamente sviluppati con diversi backbone e prompt, rendendo difficile confrontare sistematicamente i loro relativi punti di forza o comprendere i compromessi tra recupero, generazione e tokenizzazione in un contesto unificato.

2. Metodologia: Il Framework RecLM

Gli autori propongono RecLM, un framework unificato che unisce recupero e generazione sotto un'unica architettura e un protocollo di addestramento. L'innovazione principale è l'uso di speciali token di controllo per demarcare i segmenti di raccomandazione, consentendo a diversi meccanismi di grounding da essere inseriti nello stesso processo di decodifica.

2.1 Special Item Indicator Tokens (Token Indicatori di Elemento Speciali)

RecLM equipaggia il backbone LLM (Llama3-8B-Instruct) con due token speciali:

• <SOI> (Start-of-Item): Segnala che il modello sta entrando in un segmento di raccomandazione dove si applicano i vincoli di grounding.
• <EOI> (End-of-Item): Segna la terminazione del segmento, dopo il quale il modello riprende la generazione di testo generale.

Tra <SOI> e <EOI>, il framework delega a una di tre varianti:

A. RecLM-ret (Basato sul recupero)

• Meccanismo: Utilizza lo stato nascosto a <SOI> per recuperare l'elemento più vicino da un indice di embedding pre-costruito (costruito usando BGE-M3).
• Addestramento: Ottimizzato con una perdita di modellazione del linguaggio standard più una perdita di recupero ausiliaria che allinea lo stato nascosto di <SOI> con l'embedding dell'elemento di ground-truth.

B. RecLM-cgen (Generazione Vincolata su Titoli Riscritti)

• Meccanismo: Genera titoli di elementi sotto un vincolo di albero di prefisso costruito su un catalogo di titoli riscritti.
• Title Rewriter (TR): Un modulo leggero addestrato tramite Group Relative Policy Optimization (GRPO) per trasformare metadati densi in titoli concisi e leggibili dall'uomo. Il TR è ottimizzato utilizzando cinque componenti di ricompensa:
  • Item-to-Item Similarity (I2I): Preserva la struttura di vicinato.
  • User-to-Item Alignment (U2I): Assicura che i titoli riflettano le preferenze dell'utente.
  • Decoding Complexity (DC): Minimizza la perplessità condizionale.
  • Conciseness (CR): Favorisce titoli più brevi.
  • Discriminative Power (DPR): Assicura che i titoli siano distinguibili da elementi simili.
• Addestramento: Impiega lo Scope Mask Training, dove il denominatore softmax durante il calcolo della perdita è ristretto ai token validi nell'albero di prefisso, garantendo che l'addestramento corrisponda ai vincoli di inferenza.

C. RecLM-token (Generazione di Token di Elemento Discreti)

• Meccanismo: Mappa ogni elemento del catalogo in una breve sequenza di token discreti (ad esempio, <a_11><b_2>...) utilizzando un encoder RQ-VAE (Residual Vector Quantization). L'LLM genera queste sequenze di token tra <SOI> e <EOI>.
• Addestramento: Comporta il fine-tuning supervisionato per allineare l'LLM con il codebook, seguito da apprendimento per rinforzo basato su GRPO. La funzione di ricompensa combina ricompense di ranking sensibili alla posizione e ricompense basate sull'inclusione.

2.2 Addestramento a Dialogo Multi-Round

Per evitare che il modello diventi uno strumento di QA rigido, gli autori incorporano campioni di dialogo multi-round (combinando dialoghi ShareGPT con compiti di raccomandazione) nei dati di addestramento, assicurando che il modello possa intercalare naturalmente le raccomandazioni con la conversazione generale.

3. Contributi Chiave

1. Framework Unificato: RecLM unifica i paradigmi di recupero, generazione vincolata e tokenizzazione degli elementi sotto un'unica architettura utilizzando l'interfaccia <SOI>/<EOI>, consentendo un confronto equo tra diverse strategie di grounding.
2. Moduli di Potenziamento Leggeri: Introduzione di un Title Rewriter addestrato con GRPO per comprimere i metadati e di una strategia di addestramento Scope Mask per allineare la decodifica vincolata con gli obiettivi di addestramento.
3. Valutazione Sistematica: Uno studio empirico completo su tre dataset pubblici (Steam, Amazon Movies, Amazon Toys) dimostra che tutte le varianti di RecLM eliminano rigorosamente le raccomandazioni OOD pur ottenendo prestazioni competitive o allo stato dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Steam, Amazon Movies e Amazon Toys, confrontando RecLM con 12 baseline (tradizionali basate su ID, LLM congelati, LLM sottoposti a fine-tuning e LLM con item-tokenizer).

• Eliminazione OOD: Tutte e tre le varianti di RecLM hanno raggiunto OOD@10 = 0, eliminando rigorosamente le raccomandazioni fuori dominio in tutti i dataset. Ciò contrasta nettamente con gli LLM congelati (es. GPT-4o, Llama3) che hanno mostrato tassi OOD compresi tra ~15% e oltre il 90%.
• Accuratezza: Le varianti di generazione vincolata (RecLM-cgen e RecLM-token) hanno raggiunto prestazioni allo stato dell'arte, superando le forti baseline basate su ID (come SASRec) e altri LLM sottoposti a fine-tuning (come BIGRec, CtrlRec) in HR@10 e NDCG@10.
  • Sul dataset Steam, RecLM-cgen ha raggiunto un HR@10 di 0.0868, un miglioramento del 14,8% rispetto alla migliore baseline non-RecLM.
  • Sul dataset Toys, RecLM-token ha raggiunto il più alto NDCG@5 (0.0643), un miglioramento del 19,1%.
• Affidabilità del Controllo: Nei test di dialogo multi-turno, RecLM-cgen e RecLM-token hanno ottenuto punteggi di simbolo di controllo (CSN) quasi perfetti, generando esattamente 10 token <SOI> per i turni di raccomandazione e zero per i turni di ragionamento, senza sacrificare le capacità di ragionamento generale (MMLU, GSM8K).
• Studi di Ablazione: Sono stati osservati miglioramenti incrementali con ogni componente: la generazione vincolata ha migliorato il ranking rispetto al fine-tuning non vincolato; lo scope masking ha ulteriormente aumentato l'accuratezza; e il Title Rewriter (specialmente con tutti i reward RL) ha fornito i guadagni finali di performance.

5. Significato e Rivendicazioni

Il paper sostiene che RecLM fornisce una base sistematica per confrontare distinti paradigmi per ridurre le allucinazioni degli elementi. Integrando recupero, generazione vincolata e tokenizzazione in un framework unificato, gli autori dimostrano che:

• Affidabilità e Qualità non sono mutuamente esclusive: È possibile imporre rigorosamente la fedeltà del catalogo (OOD@10 = 0) pur ottenendo simultaneamente un'accuratezza di raccomandazione allo stato dell'arte.
• Compromessi tra Paradigmi: La visione unificata rivela punti di forza complementari; mentre il recupero (RecLM-ret) è efficace, la generazione vincolata (RecLM-cgen/token) offre un ranking e una flessibilità conversazionale superiori.
• Utilità Pratica: Il framework offre uno strumento pratico per progettare sistemi di raccomandazione basati su LLM sia in ambito accademico che industriale, fornendo un percorso chiaro per mitigare il problema OOD che affligge gli attuali sistemi di raccomandazione generativi.

Gli autori riconoscono i limiti riguardanti la latenza di inferenza dovuta alla natura autoregressiva degli LLM e la necessità di futuri lavori sulla diversità, l'equità e le metriche di soddisfazione dell'utente a lungo termine. Tuttavia, posizionano RecLM come un passo fondamentale verso raccomandatori basati su LLM affidabili e privi di allucinazioni.