Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

1. Problema e Contesto

Il paper affronta la sfida della raccomandazione di notizie cross-domain su larga scala. Le piattaforme di notizie moderne devono gestire un sovraccarico informativo, dove gli utenti generano segnali eterogenei (ricerche, click, cronologia di navigazione) che spesso non sono direttamente correlati al consumo di notizie.
Le limitazioni dei metodi tradizionali basati su embedding e filtraggio collaborativo includono:

• Difficoltà nell'apprendere embedding personalizzati e ragionevoli per tutti gli utenti.
• Incapacità di catturare segnali sequenziali profondi e bisogni informativi sottostanti oltre i semplici pattern comportamentali superficiali.
• Scalabilità limitata nei sistemi di produzione reali.

L'obiettivo è inferire interessi utente riutilizzabili e profondi partendo da segnali cross-domain rumorosi, trasformando questo processo in una generazione di liste di query di ricerca per notizie.

2. Metodologia

Il framework proposto si basa su un approccio di Reinforcement Learning (RL) guidato dal ragionamento e su una successiva distillazione on-policy. Il sistema opera in tre fasi principali:

A. Pulizia dei Dati (Noise Cleaning)

I log comportamentali grezzi contengono rumore (stringhe casuali, numeri di telefono, input di navigazione). Viene utilizzato un classificatore binario leggero (basato su RoBERTa) per filtrare i segnali irrilevanti, mantenendo solo i comportamenti informativi per la modellazione degli interessi.

B. Generazione degli Interessi con RL Multi-Reward

Il cuore del sistema è un modello LLM "Teacher" (addestrato) che genera liste di query di ricerca basate sugli interessi.

• Formulazione: La generazione della lista di query $Z_u$ è trattata come un problema di ottimizzazione della politica $\pi_\theta$.
• Algoritmo: Viene utilizzato GRPO (Group Relative Policy Optimization), una variante migliorata che ottimizza la politica massimizzando il ritorno atteso su un gruppo di campioni, utilizzando la media del gruppo come baseline.
• Segnali di Ricompensa (Reward): Vengono definiti cinque segnali complementari per guidare l'addestramento:
  1. Allineamento alla Ricerca ($R_{align}$): Verifica che le query generate recuperino articoli rilevanti dall'indice interno (ANN).
  2. Copertura degli Interessi ($R_{cov}$): Assicura che l'insieme delle query rifletta la diversità degli interessi latenti.
  3. Specificità della Query ($R_{spec}$): Favorisce query ricche di contenuto e non generiche.
  4. Diversità Intralist ($R_{div}$): Promuove la non ridondanza semantica tra le query nella stessa lista.
  5. Validità Strutturale ($R_{struct}$): Verifica il rispetto dei vincoli di formato di output.

C. Distillazione On-Policy

Poiché l'inferenza di un LLM grande (Teacher) è troppo costosa per la produzione in tempo reale, viene applicata una distillazione on-policy.

• Un modello "Studente" più compatto (es. 0.5B parametri) viene addestrato a imitare la distribuzione della politica del Teacher.
• L'obiettivo minimizza la divergenza KL inversa tra le distribuzioni dello studente e del Teacher, utilizzando supervisione densa a livello di token durante il decoding. Questo permette di mantenere le capacità di ragionamento con una latenza molto inferiore.

3. Contributi Chiave

1. Proprietà di Scaling per la Modellazione degli Interessi: Lo studio dimostra che sia l'aumento della capacità del modello (scaling spaziale, da 0.5B a 32B parametri) sia l'aumento del calcolo al momento dell'inferenza (temporale, tramite campionamento best-of-N) portano a miglioramenti coerenti e simili alle leggi di scaling nella qualità degli interessi e nelle prestazioni di recupero.
2. Distillazione On-Policy Scalabile: Viene proposto un framework che trasferisce la politica complessa di un LLM addestrato con RL in un modello studente compatto, preservando la maggior parte dei guadagni di performance e rendendo possibile il deployment in produzione a bassa latenza.
3. Validazione su Larga Scala: Il metodo è stato validato non solo con valutazioni offline, ma anche attraverso test A/B online su un sistema di raccomandazione di notizie commerciale su larga scala, dimostrando guadagni reali.

4. Risultati Sperimentali

Valutazioni Offline

• Confronto con Baseline: Il modello proposto (Teacher addestrato con RL su Qwen2.5-32B) ha superato tutte le baseline tradizionali (GRU, SASRec, NRHUB, PinSage, HSTU) su tutte le metriche (Recall@K, NDCG@K, MRR).
• Efficienza dello Studente: Il modello studente distillato (Qwen2.5-0.5B) ha preservato la maggior parte dei guadagni del Teacher (es. Recall@10: 0.261 vs 0.271 del Teacher) riducendo drasticamente le dimensioni del modello.
• Scaling: L'aumento delle dimensioni del modello e del campionamento durante l'inferenza ha mostrato miglioramenti costanti, confermando il comportamento di scaling.

Test A/B Online

In un esperimento online di 7 giorni su un sistema di produzione:

• DAU (Daily Active Users): +0.95% (p-value 0.012).
• CTR (Click-Through Rate): +0.22% (p-value 0.031).
• Utenti "Cold": Un miglioramento significativo del +4.38% nel DAU per gli utenti freddi (con poca storia di interazione), dimostrando l'efficacia del modello nell'inferire interessi da segnali eterogenei anche in assenza di dati diretti sulle notizie.

5. Significato e Impatto

Questo lavoro rappresenta una delle prime implementazioni di un framework di Reinforcement Learning guidato dal ragionamento per la modellazione degli interessi utente in un sistema commerciale di raccomandazione su larga scala.
Dimostra che:

• È possibile superare i limiti dei metodi basati su embedding tradizionali utilizzando la capacità di ragionamento degli LLM su segnali eterogenei.
• Le tecniche di distillazione on-policy sono cruciali per rendere praticabili i modelli LLM complessi in ambienti di produzione con vincoli di latenza.
• L'approccio è particolarmente efficace per gli utenti con pochi dati storici (cold start), aprendo nuove direzioni per combinare ragionamento LLM, RL scalabile e pipeline industriali di raccomandazione.