Riepilogo Tecnico: PageLLM

Enunciato del Problema

L'Ottimizzazione dell'Intera Pagina (Whole-Page Optimization, WPO) consiste nel generare una pagina completa e classificata di risultati di ricerca o raccomandazione che bilanci pertinenza, diversità, esposizione posizionale e ridondanza. Sebbene i Modelli Linguistici su Larga Scala (LLM) offrano un approccio unificato alla WPO trattando la generazione della pagina come generazione condizionale di sequenze, la loro adattamento ad ambienti su scala web incontra tre colli di bottiglia critici:

1. Scarsità e Costo della Supervisione: Il Reinforcement Learning da Feedback Umano (RLHF) standard richiede costose annotazioni umane per confrontare intere pagine. Su scala industriale, la crescita lineare delle dimensioni del catalogo e del pubblico rende ciò proibitivo.
2. Limitazioni delle Ricompense a Grana Singola: I metodi esistenti tipicamente collassano le ricompense in un singolo scalare (a livello di pagina o a livello di elemento). Una ricompensa a livello di pagina cattura la coerenza globale ma ignora gli spostamenti posizionali fini critici per il tasso di clic. Al contrario, una ricompensa a livello di elemento ottimizza il posizionamento individuale ma non garantisce che la pagina nel suo insieme sia diversificata e non ridondante.
3. Modalità di Fallimento Complementari: Il documento sostiene che le formulazioni a grana singola falliscono in modi "a immagine speculare". Rimuovere i segnali a livello di pagina degrada la coerenza globale dell'elenco, mentre rimuovere i segnali a livello di elemento degrada la nitidezza posizionale. Nessuno dei due segnali da solo è sufficiente per massimizzare la soddisfazione dell'utente.

Metodologia: Il Framework PageLLM

PageLLM propone un framework di affinamento basato su ricompense in tre fasi che scompone la supervisione in due granularità complementari utilizzando esclusivamente feedback implicito degli utenti.

1. Costruzione dei Dati da Feedback Implicito

Invece di etichette umane, il framework costruisce dati di addestramento dai log di interazione utente-elemento (ad esempio, il corpus delle Recensioni di Amazon):

• Elucidi Dorati (Golden Lists): Per ogni utente, viene costruito un elenco "dorato" classificato filtrando le interazioni positive ($r_{ui} > 3$), ri-classificando in base alla popolarità fine e bilanciando la diversità delle categorie.
• Famiglie di Coppie di Preferenza: Vengono generate quattro famiglie di elenchi negativi per localizzare specifiche modalità di fallimento, creando coppie contrastive rispetto all'elenco dorato:
  • Non preferiti ($\sigma_{np}$): Elementi con valutazioni basse (fallimento di pertinenza).
  • Classifica ($\sigma_{rk}$): Scambi adiacenti di elementi nell'elenco dorato (fallimento posizionale).
  • Diversità ($\sigma_{d}$): Sostituzione di elementi unici con elementi omogenei (fallimento di diversità).
  • Ridondanza ($\sigma_{rd}$): Sovra-concentrazione di elementi da una singola categoria (fallimento di ridondanza).

2. Modellazione della Ricompensa Multi-Grana

L'innovazione centrale è un modello di ricompensa disaccoppiato con due testine addestrate sugli stessi dati di preferenza ma con obiettivi diversi:

• Ricompensa a Grana Grossa (Livello Pagina) ($R_c$): Un modello Bradley-Terry che valuta l'intero elenco generato come un'unica unità. Apprende segnali globali come la miscela di categorie e la pertinenza media, fornendo stabilità contro feedback rumorosi.
• Ricompensa a Grana Fine (Livello Elemento) ($R_f$): Un modello che valuta singoli elementi e ne calcola la media. È addestrato a rilevare scambi di posizione sensibili all'engagement (ad esempio, come lo scambio di due elementi adiacenti influisce sul punteggio complessivo).
• Combinazione: La ricompensa finale è una semplice somma ($R = R_c + R_f$). Gli autori sostengono che questo approccio additivo sia superiore a un prodotto, poiché preserva gradienti indipendenti e consente guadagni di prestazioni super-additivi.

3. Affinamento RLHF con PPO

Un LLM pre-addestrato (ad esempio, GPT-2) subisce un processo di addestramento in tre passaggi:

1. Pre-addestramento su Meta-Information: Il modello viene adattato alla semantica delle raccomandazioni tramite previsione delle valutazioni e previsione del token successivo su meta-prompt.
2. Affinamento Supervisionato (SFT): Il modello viene affinato sugli elenchi dorati per apprendere lo schema di output e la distribuzione di base.
3. Ottimizzazione PPO: Il modello viene ulteriormente ottimizzato utilizzando l'Ottimizzazione della Politica Prossima (Proximal Policy Optimization, PPO) con la ricompensa multi-grana combinata. Una penalità di divergenza KL rispetto alla politica di riferimento SFT previene che il modello si sposti verso spazi di output degeneri.

Contributi Chiave

1. Pipeline da Feedback a Ricompensa: La formalizzazione di quattro famiglie di coppie di preferenze che trasformano feedback implicito rumoroso in supervisione RLHF utilizzabile per la generazione di pagine senza etichette umane.
2. Architettura di Ricompensa Multi-Grana: L'introduzione di un sistema di ricompensa disaccoppiato che accoppia un modello Bradley-Terry a livello di pagina con un modello di scambio di posizione a livello di elemento, dimostrando empiricamente la loro complementarità.
3. Evidenza Scalabile: Valutazione completa su sette categorie di Amazon contro undici baseline, un test A/B online su 10 milioni di utenti e studi sulla robustezza al cold-start e sull'efficienza del backbone.
4. Modularità del Deployment: Una dimostrazione che la natura additiva della ricompensa permette di distribuire il componente a livello di pagina come una funzionalità di ranking lato CPU, facilitando il rollout incrementale su infrastrutture esistenti.

Risultati Sperimentali

• Prestazioni Offline: Su sette categorie di Amazon, PageLLM supera undici baseline (inclusi fattorizzazione di matrici, transformer sequenziali e altri raccomandatori basati su LLM). Raggiunge un miglioramento fino al 46,8% in NDCG@100 rispetto a una variante senza ricompensa. I guadagni sono più pronunciati in categorie con preferenze sfumate (Lusso, Sport, Strumenti, Bellezza).
• Studi di Ablazione: Rimuovere la testina di ricompensa a livello di pagina o quella a livello di elemento degrada significativamente le prestazioni (riducendo NDCG@100 rispettivamente del 17,8% e del 15,2%), confermando che i segnali sono complementari e non ridondanti.
• Test A/B Online: Distribuito su un motore di ricerca di e-commerce commerciale con oltre 10 milioni di utenti unici, PageLLM ha aumentato il GMV dello 0,44% e il Click-Through Rate (CTR) dello 0,14% in un periodo di una settimana.
• Robustezza: Nelle simulazioni di cold-start (riduzione del 50% dei dati), PageLLM ha degradato meno rispetto alle baseline sequenziali (SASRec) e autoencoder (Multi-VAE).
• Efficienza del Backbone: Esperimenti che confrontano GPT-2 e Llama3.2-1B suggeriscono che GPT-2 offre un equilibrio Pareto-ottimale tra prestazioni e costo computazionale per questo compito, indicando che la struttura della ricompensa è il fattore limitante piuttosto che la capacità del modello.

Significato e Affermazioni

Il documento afferma che il collo di bottiglia principale per la WPO basata su LLM non è la mancanza di dati di supervisione, ma la granularità del segnale di supervisione. Scomponendo la ricompensa in componenti a livello di pagina e a livello di elemento, PageLLM allinea con successo gli LLM agli obiettivi di WPO su scala web utilizzando esclusivamente feedback implicito.

Gli autori sottolineano che questo approccio:

• Elimina la necessità di costose annotazioni umane.
• Risolve la modalità di fallimento "a grana singola" in cui i metodi esistenti non possono ottimizzare simultaneamente la coerenza globale della pagina e il posizionamento locale degli elementi.
• Fornisce un percorso pratico verso il deployment in produzione, come dimostrato dal riuscito test A/B su 10 milioni di utenti e dalla capacità di distribuire parzialmente i componenti su infrastrutture CPU.

Il lavoro conclude che le ricompense multi-grana derivate da feedback implicito sono sufficienti per scalare gli LLM verso l'ottimizzazione dell'intera pagina a livello di produzione, offrendo una nuova strada per i sistemi di raccomandazione che trattano la pagina come un'entità generativa coesa piuttosto che come un insieme di elementi valutati.