Sintesi Tecnica: GFlowGR

Definizione del Problema

I framework di Raccomandazione Generativa (GR), che utilizzano i Large Language Models (LLM) per generare autoregressivamente identificatori di item, hanno mostrato una promettente efficacia nelle applicazioni industriali. Tuttavia, i paradigmi di addestramento esistenti, principalmente il Supervised Fine-Tuning (SFT), soffrono di due fondamentali disallineamenti con i requisiti di distribuzione nel mondo reale:

1. Mismatch Punto-punto vs. Set-wise: L'SFT ottimizza la predizione di un singolo item ground-truth per istanza di addestramento. Al contrario, i sistemi di produzione richiedono la generazione di un set diversificato e di alto valore di candidati. L'SFT ignora l'intero set di item rilevanti durante l'addestramento, creando un divario tra la predizione offline di un singolo item e l'inferenza online di un set.
2. Valore di Interazione Uniforme: L'Sft tratta tutte le interazioni dell'utente (ad es. impressioni, clic, acquisti) come ugualmente informative. Non tiene conto delle differenze intrinseche di utilità, dove un segnale di acquisto indica un intento più forte e un valore per la piattaforma superiore rispetto a una semplice impressione.

Sebbene recenti approcci di fine-tuning basati sul reward (ad es. Reinforcement Learning, Direct Preference Optimization) tentino di affrontare la consapevolezza del valore, essi spesso mancano di supervisione a livello di token. Poiché gli item nella GR sono rappresentati come sequenze multi-token, assegnare reward solo a livello di item limita la precisione dell'ottimizzazione e la qualità della generazione.

Metodologia: GFlowGR

Per affrontare queste sfide, gli autori propongono GFlowGR, un framework di fine-tuning basato sui Generative Flow Networks (GFlowNets). Il framework riformula la GR come un problema di generazione di set sequenziale in cui la probabilità di generare una sequenza di item è esplicitamente allineata alla sua utilità.

Componenti Core

GFlowGR consiste in tre componenti strettamente integrati:

1. Trajectory Sampler (Campionatore di Traiettorie):

   • Costruisce traiettorie di addestramento da set di candidati anziché da singoli item per abilitare l'apprendimento set-wise.
   • Supporta molteplici strategie di campionamento:
     • Interaction Logs: Utilizzando i dati storici delle sessioni.
     • Random Sampling: Aumentando i dati sparsi con negativi casuali.
     • Collaborative Model (CM) Sampling: Un approccio adattivo di tipo curriculum in cui un CM pre-addestrato guida la selezione dei campioni negativi. La fase iniziale dell'addestramento utilizza negativi "facili" (punteggi CM bassi), mentre le fasi successive incorporano negativi più "difficili" (punteggi CM più alti) per mantenere la difficoltà dell'addestramento.
     • LLM-based Sampling: Utilizzando la beam search dell'attuale LLM per generare negativi on-policy.

2. Behavior-Aware Reward Model (Modello di Reward Consapevole del Comportamento):

   • Quantifica l'utilità dell'item integrando segnali utente eterogenei in un reward composito $R(s_L)$.
   • Il reward combina tre segnali:
     • Segnale di Interazione ($r_a$): Basato sui livelli di feedback osservati (ad es. acquisto > clic > impressione).
     • Punteggio Stimato ($r_c$): Punteggi da un modello collaborativo o probabilità forward di un LLM.
     • Obiettivo di Business ($r_{sim}$): Correttezza parziale misurata dal numero di token condivisi con il campione positivo.
   • Questo modello assegna reward sia agli item positivi osservati che ai campioni aumentati (inclusi gli item non presentati), evitando il bias di esposizione derivante dall'assegnare zero reward agli item non osservati.

3. Obiettivo GFlowNet:

   • Fornisce supervisione a livello di token imponendo un principio di flow-matching. Il framework assicura che la probabilità di generare una sequenza di item completa sia proporzionale al suo reward terminale ($P(\tau) \propto R(s_L)$).
   • Utilizza funzioni di perdita Detailed Balance (DB) o Trajectory Balance (TB) per allineare le probabilità di generazione forward con il flusso backward, scomponendo i reward a livello di item in segnali di apprendimento a livello di token.
   • La perdita totale combina la standard next-token prediction loss (SFT) per i campioni positivi e la perdita GFlowNet ($L_{GFN}$) sulle traiettorie campionate, bilanciate da un iperparametro $\lambda$.

Contributi Chiave

1. Formalizzazione: Il paper formalizza la GR come un compito di generazione di set multi-step e consapevole del valore e propone GFlowGR come il primo framework di fine-tuning basato su GFlowNet per la GR che abilita la supervisione a livello di token.
2. Design Modulare: Presenta un'architettura flessibile composta da un campionatore di traiettorie, un modello di reward multi-segnale e una perdita GFlowNet, dimostrata attraverso varie istanze pratiche.
3. Validazione Empirica: Esperimenti estesi su tre dataset reali (Yelp, Beauty, Instruments) utilizzando due backbone rappresentativi di GR basati su LLM (TIGER e LETTER) mostrano miglioramenti costanti e significativi rispetto a forti baseline, inclusi varianti di SFT, GRPO e DPO.
4. Deployment Industriale: Il framework è stato integrato con successo nel business di pubblicità di ricerca di Taobao, servendo centinaia di milioni di utenti attivi giornalieri.

Risultati

Valutazione Offline

• Performance: Le varianti di GFlowGR (DB e TB) hanno superato costantemente le baseline in tutte le metriche (Hit Rate e NDCG a top-5 e top-10). GFlowGR-TB ha mostrato una performance particolarmente forte, probabilmente grazie alla sua capacità di ottimizzare su intere traiettorie.
• Studi di Ablazione:
  • La rimozione di qualsiasi componente del modello di reward ha degradato le performance, confermando la necessità di combinare segnali di interazione, punteggi collaborativi e similarità di token.
  • Il campionamento adattivo (basato su CM) ha superato il campionamento casuale.
  • L'apprendimento da set di item (traiettorie aumentate) è stato cruciale; i modelli addestrati su singoli item positivi ($N=1$) hanno mostrato una generalizzazione peggiore.
• Integrazione del Reward: Una somma pesata apprendibile dei segnali di reward ha superato leggermente la semplice sommatoria, suggerendo che calibrare segnali eterogenei migliori i risultati.

Deployment Online (Taobao)

• Impatto sui Ricavi: Dal metà 2025, GFlowGR ha fornito un miglioramento relativo dello 0,4% dei ricavi annuali nella pubblicità di ricerca di Taobao, corrispondente a guadagni monetari di livello miliardario.
• A/B Testing: Un test di 15 giorni sul 10% del traffico ha mostrato un incremento statisticamente significativo del +0,43% nei ricavi totali.
• Efficienza: Sebbene GFlowGR richieda circa 2,1 volte il tempo di addestramento dello standard SFT (a causa dei campioni aumentati), raggiunge questo risultato con una capacità di utilizzo delle interazioni utente significativamente più efficiente rispetto ad altri metodi RL come GRPO.
• Performance sulla Long-tail: Il modello ha mostrato miglioramenti notevoli nei casi meno serviti, inclusi un incremento dei ricavi del +4,0% per gli item appena inseriti e del +1,8% per le query long-tail, insieme a una maggiore diversità di copertura degli item.

Significato e Rivendicazioni

Il paper sostiene che GFlowGR fornisce una base rigorosa per i sistemi di raccomandazione generativa di prossima generazione, colmando il divario tra l'addestramento punto-punto e il servizio set-wise. Modellando la generazione di item come una traiettoria stocastica e allineando le probabilità di generazione con i reward consapevoli del comportamento, il framework abilita raccomandazioni proporzionali al valore, diversificate e di alta qualità.

Gli autori sottolineano che GFlowGR affronta il collo di bottiglia critico dei paradigmi di addestramento nella GR, andando oltre l'ottimizzazione del singolo item verso un approccio set-wise e consapevole del valore che è sia teoricamente fondato nei GFlowNets sia praticamente validato in un contesto industriale su larga scala. Il lavoro dimostra che incorporare la supervisione a livello di token e set di candidati diversificati è essenziale per allineare i sistemi di raccomandazione basati su LLM con gli obiettivi di business reali.