RGAlign-Rec: Ranking-Guided Alignment for Latent Query Reasoning in Recommendation Systems

1. Il Problema: Predizione Proattiva delle Intenzioni in E-commerce

Il lavoro affronta la sfida della predizione proattiva delle intenzioni nei chatbot per l'e-commerce. L'obiettivo è fornire raccomandazioni "zero-query" (senza che l'utente scriva nulla), anticipando i bisogni dell'utente basandosi su segnali comportamentali e contestuali (es. stato dell'ordine, profilo, cronologia).

Sebbene i sistemi di raccomandazione tradizionali siano efficaci, ne esistono due sfide fondamentali in questo contesto specifico:

1. Divario Semantico e Mismatch di Modalità: I modelli di raccomandazione industriali (DLRM) si basano su identificatori discreti (ID utente, ID intento), mentre le intenzioni nei chatbot sono ricche di testo e semanticamente granulari. Esiste un gap nel collegare le caratteristiche comportamentali sparse dell'utente alle descrizioni testuali delle intenzioni nella Knowledge Base (KB), specialmente in assenza di query esplicite.
2. Disallineamento degli Obiettivi: Le tecniche di allineamento standard per i Large Language Models (LLM), come SFT (Supervised Fine-Tuning) o DPO (Direct Preference Optimization), sono ottimizzate per preferenze linguistiche umane (fluidità, utilità percepita). Tuttavia, questi obiettivi non corrispondono direttamente alle metriche di ranking a valle (es. CTR - Click-Through Rate). Di conseguenza, le rappresentazioni semantiche generate dall'LLM possono essere interpretabili ma sub-ottimali per migliorare le prestazioni di ranking.

2. Metodologia: RGAlign-Rec

Gli autori propongono RGAlign-Rec, un framework di allineamento a ciclo chiuso che integra un reasoner semantico basato su LLM con un modello di ranking Query-Enhanced (QE-Rec). Il cuore della metodologia è il Ranking-Guided Alignment (RGA), un paradigma di training multi-stadio che utilizza i segnali di ranking a valle come feedback per raffinare il ragionamento latente dell'LLM.

Il framework si articola in tre fasi principali:

Fase 1: Training Iniziale del QE-Rec (Reward Model)

• Viene addestrato un modello di raccomandazione Query-Enhanced (QE-Rec) a tre torri (Utente, Intento, Query).
• La torre "Query" utilizza embedding derivati da un LLM congelato (Qwen3-4B) che trasforma le caratteristiche discrete dell'utente in una query semantica latente.
• Questo modello funge da Reward Model (RM) stabile per le fasi successive, fornendo un segnale di feedback orientato al ranking.

Fase 2: Allineamento Guidato dal Ranking (RGA)

Questa fase mira ad allineare lo spazio semantico dell'LLM con lo spazio di ottimizzazione del ranking.

• Generazione Multi-LLM: Vengono utilizzati diversi LLM (Gemini, GPT-5, CompassMax, Qwen3) per generare diverse query latenti per lo stesso contesto utente.
• Campionamento Best-of-N: Le query candidate vengono valutate dal modello QE-Rec (Fase 1) usando metriche come NDCG. Vengono selezionate le query migliori ($Q_w$) e quelle peggiori ($Q_l$) per creare coppie di preferenza.
• Strategie di Allineamento:
  1. RG-SFT (Supervised Fine-Tuning): Addestra l'LLM a generare le query ottimali identificate dal Reward Model.
  2. RG-DPO (Direct Preference Optimization): Massimizza il margine tra le query ottimali e quelle sub-ottimali.
  3. RG-CL (Contrastive Learning): Un approccio a livello di rappresentazione che sincronizza direttamente gli stati nascosti dell'LLM (specificamente l'embedding dell'ultimo token) con gli embedding delle query ottimali, utilizzando una funzione di perdita InfoNCE. Questo supera i limiti del DPO che opera a livello di probabilità dei token.

Fase 3: Calibrazione a Ciclo Chiuso

Il LLM raffinato viene utilizzato per re-addestrare il modello QE-Rec, creando un ciclo di feedback continuo che sincronizza costantemente il ragionamento semantico con gli obiettivi di ranking.

3. Contributi Chiave

1. Architettura RGAlign-Rec: Integrazione di un reasoner semantico LLM in un framework di raccomandazione a tre torri per colmare il divario semantico nelle raccomandazioni zero-query.
2. Allineamento Guidato dal Ranking (RGA): Un nuovo paradigma che utilizza il modello di ranking come Reward Model per guidare l'allineamento dell'LLM, garantendo che le rappresentazioni semantiche siano ottimizzate per il CTR e non solo per la coerenza linguistica.
3. Impatto Industriale: Validazione su larga scala su un dataset reale di Shopee, dimostrando miglioramenti consistenti sia nelle metriche offline che online.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset industriale di Shopee (7.53M campioni, 89 feature, 5 settimane di dati).

Risultati Offline:

• GAUC: Miglioramento assoluto di +0.12% rispetto alla baseline di produzione, corrispondente a una riduzione dell'errore del 3.52%.
• Recall@3: Miglioramento del +0.56%.
• NDCG@3: Miglioramento del +0.35%.
• L'analisi di ablazione ha mostrato che l'uso degli embedding dell'ultimo token (LTP) dell'LLM è superiore rispetto all'uso di modelli di embedding esterni (come BGE), poiché permette un'ottimizzazione end-to-end dello spazio semantico.
• La strategia di campionamento V2 (Non-Qwen3), che esclude le query generate dal modello base durante l'allineamento, ha dimostrato la migliore generalizzazione, evitando il bias di auto-adattamento.

Risultati Online (A/B Test):

• Il modello QE-Rec (solo integrazione LLM) ha portato a un aumento del CTR@3 del +0.98%.
• L'aggiunta dello stadio di Ranking-Guided Alignment (RGAlign-Rec Full) ha contribuito con un ulteriore +0.13% di CTR.
• Intent Hit Rate (IHR): Aumento del +1.43% rispetto alla baseline.
• CSAT (Customer Satisfaction): Si è osservato un lieve calo (-0.21%) nel CSAT post-allineamento. Gli autori spiegano che, sebbene il modello identifichi l'intento corretto con maggiore precisione (migliorando il ranking), la qualità del contenuto di risposta associato a quegli intenti rimane un fattore limitante indipendente dal ranking.

5. Significato e Conclusioni

Il lavoro dimostra che l'allineamento "consapevole del ranking" è fondamentale per integrare efficacemente gli LLM nei sistemi di raccomandazione industriali.

• Sincronizzazione Obiettivi: RGAlign-Rec risolve il conflitto tra la generazione linguistica generale e gli obiettivi specifici di business (CTR), allineando lo spazio latente semantico con lo spazio di ottimizzazione del ranking.
• Scalabilità: Il framework è stato implementato con successo in un ambiente di produzione ad alta scala (Shopee), utilizzando tecniche di ottimizzazione come la quantizzazione a 8 bit e l'uso di GPU NVIDIA B200, mantenendo latenze accettabili (1.5s per il servizio completo).
• Impatto Pratico: Fornisce una pipeline pratica per distillare l'intelligenza orientata al ranking nei modelli generativi, migliorando l'esperienza utente nelle interazioni proattive con i chatbot e-commerce.

In sintesi, RGAlign-Rec rappresenta un passo avanti significativo verso sistemi di raccomandazione proattiva che non solo "capiscono" il linguaggio naturale, ma lo usano strategicamente per massimizzare le metriche di successo aziendale.