Sintesi Tecnica: Allineamento Progressivo di un Modello di Fondazione per la Raccomandazione tramite Post-Training Multi-Fase

Definizione del Problema

Sebbene i Modelli di Fondazione (FM) per la raccomandazione abbiano dimostrato forti capacità nel modellare il comportamento sequenziale dell'utente a lungo termine, il loro dispiegamento pratico affronta due sfide critiche:

1. Dimenticanza Catastrofica (Catastrophic Forgetting): Il fine-tuning diretto di massicci backbone pre-addestrati insieme a moduli specifici per il task inizializzati casualmente in un unico passaggio spesso destabilizza le rappresentazioni pre-addestrate, portando alla perdita della conoscenza comportamentale generale.
2. Disallineamento con le Metriche di Business: Il classico Supervised Fine-Tuning (SFT) ottimizza il feedback implicito denso (es. click, like). Tuttavia, questi obiettivi a livello di task non sempre si allineano con le metriche di business sparse e ritardate (es. ritenzione a lungo termine, conversione a pagamento) che determinano in ultima analisi la qualità della raccomandazione. Inoltre, l'ottimizzazione diretta delle policy di serving su label di business sparse risulta spesso in una scarsa generalizzazione e in una debole capacità di discriminazione del ranking rispetto alle policy addestrate su segnali densi.

Gli approcci esistenti faticano a bilanciare la stabilità dell'adattamento con la necessità di allineare la policy di serving agli obiettivi di business a lungo termine senza sacrificare la capacità di ranking costruita sul feedback denso.

Metodologia

Gli autori propongono un framework di post-training progressivo in tre fasi che separa esplicitamente l'adattamento della conoscenza downstream dall'allineamento delle metriche di business. Il framework consiste nelle seguenti fasi:

1. Architettura del Modello

Il sistema impiega un paradigma Foundation–Expert. Un encoder sequenziale pre-addestrato (backbone FM) genera embedding utente, che vengono fusi con un modulo downstream leggero e specifico per il task che codifica feature superficiali specifiche.

• Encoder Downstream: Utilizza il cross-attention pooling per comprimere la sequenza FM in una rappresentazione fissa, concatenata con le feature downstream.
• Modello di Ricompensa (Reward Model): Per gestire gli obiettivi di business sparsi, un modello di ricompensa viene addestrato per predire la profondità dell'engagement dell'utente (modellata come un imbuto ordinale a 6 livelli dall'impressione al completamento dei contenuti a pagamento). Questo modello incorpora una testa di propensione all'impressione per correggere il bias di esposizione utilizzando lo Self-Normalized Inverse Propensity Scoring (SNIPS).

2. Fase 1: Linear Probing (LP)

• Obiettivo: Stabilizzare l'integrazione dei componenti specifici per il task senza corrompere il backbone pre-addestrato.
• Processo: Il backbone FM è congelato. Vengono ottimizzati solo il modulo downstream e le teste di predizione.
• Obiettivo: Minimizzare una perdita combinata di policy (predizione del click), reward (profondità dell'imbuto) e propensione (esposizione) per allineare gli spazi semantici dei componenti downstream con la rappresentazione FM congelata.

3. Fase 2: Full Fine-Tuning (FFT)

• Obiettivo: Specializzare congiuntamente l'intero modello per il target task preservando la stabilità ottenuta nella Fase 1.
• Processo: Il backbone FM viene scongelato. Tutti i parametri vengono aggiornati.
• Strategia: Viene impiegata una strategia di learning rate discriminativa, in cui il backbone FM viene aggiornato con un learning rate di un ordine di grandezza inferiore rispetto ai moduli downstream. Ciò consente una rapida adattazione dei componenti specifici del task mentre il backbone si co-adatta in modo conservativo per prevenire la dimenticanza catastrofica.

4. Fase 3: Reinforcement Fine-Tuning (RFT)

• Obiettivo: Allineare la policy di serving stabilizzata con gli obiettivi di business a lungo termine utilizzando il modello di ricompensa appreso come segnale, anziché ottimizzare direttamente su label sparse.
• Processo: Lo snapshot del modello alla fine della FFT funge da policy di riferimento ($\pi_{ref}$) congelata. La testa della policy e il backbone FM vengono ottimizzati utilizzando Group Relative Policy Optimization (GRPO) o Direct Preference Optimization (DPO).
• Meccanismo:
  • GRPO: Per un dato stato utente, la policy campiona un gruppo di azioni candidate. Il modello di ricompensa fornisce un feedback scalare denso. Gli advantage sono calcolati normalizzando le ricompense all'interno del gruppo, e la policy viene aggiornata per massimizzare l'obiettivo surrogato clippato con regolarizzazione KL rispetto a $\pi_{ref}$.
  • DPO: Le coppie di preferenza sono costruite in base ai punteggi del modello di ricompensa (o agli esiti osservati dell'imbuto), e la policy è ottimizzata per preferire item con reward più elevati senza un esplicito modellamento della ricompensa durante la fase di update.
• Distinzione Chiave: Il modello di ricompensa non viene distribuito come policy di serving. Invece, agisce come un segnale di allineamento per guidare la policy addestrata sul feedback denso verso gli obiettivi di business.

Contributi Chiave

1. Framework di Adattamento Progressivo: Il documento introduce una pipeline strutturata LP-FFT-RFT che mitiga la dimenticanza catastrofica separando la stabilizzazione delle teste downstream dalla specializzazione del modello completo.
2. Strategia di Allineamento Decoupled: Propone una nuova separazione dei ruoli dove il feedback implicito denso addestra la capacità di ranking della policy di serving, mentre le metriche di business sparse addestrano un modello di ricompensa utilizzato esclusivamente come segnale di allineamento. Ciò evita i problemi di generalizzazione dell'ottimizzazione diretta su label sparse.
3. Allineamento Basato su Reward vs. Serving Diretto: Il lavoro dimostra che l'uso di un modello di ricompensa appreso come segnale di allineamento (tramite RFT) produce prestazioni superiori rispetto al dispiegamento diretto del modello di ricompensa come policy di ranking.
4. Validazione Empirica: Il framework è validato attraverso estesi studi di ablazione offline e test A/B su larga scala in produzione su una piattaforma Webtoon.

Risultati

Valutazione Offline

• Superiorità di LP-FFT: Il processo SFT a due fasi (LP $\to$ FFT) con learning rate discriminativi supera i baseline a fase singola (sia LP-only che FFT-only) sia su Rank NDCG (ranking dei click su tutto il catalogo) che su Funnel NDCG (ranking dei titoli impressionati in base alla profondità di engagement).
• Efficacia di RFT: L'applicazione di RFT alla policy SFT stabilizzata migliora ulteriormente entrambi i parametri.
• Alignment vs. Direct Serving:
  • Una policy addestrata direttamente sul modello di ricompensa ha ottenuto un alto Funnel NDCG ma un basso Rank NDCG, indicando una mancanza di discriminazione per il ranking dell'intero catalogo.
  • GRPO con Modellazione della Ricompensa ha ottenuto le migliori prestazioni complessive, eguagliando il Funnel NDCG del modello di ricompensa diretto pur mantenendo un Rank NDCG significativamente più elevato.
  • DPO ha mostrato risultati misti; sebbene il DPO con preferenze osservate abbia performato bene, il DPO con preferenze indotte dal modello di ricompensa è stato meno efficace, suggerendo che convertire i reward scalari in coppie binarie possa scartare informazioni relative utili.

Test A/B Online

• Miglioramento del Baseline: Il baseline del modello di fondazione con SFT a 2 fasi ha superato costantemente il modello di produzione convenzionale non-foundation (CTRL) in tutte le metriche in-session (Click, Engaged Reading, Paid Conversion).
• Guadagni di Allineamento: Le varianti allineate tramite RFT hanno fornito ulteriori guadagni rispetto al baseline SFT.
  • GRPO con RM: Ha mostrato i miglioramenti più forti sulle metriche di engagement medio-profonde (es. raggiungimento dell'ultimo episodio gratuito, ultimo episodio a pagamento), dimostrando un efficace orientamento verso gli obiettivi di business a lungo termine.
  • DPO senza RM: Ha mostrato i maggiori guadagni sulle metriche di interazione immediata (Click/Imp), suggerendo che è altamente efficace per il ranking top-of-funnel quando si utilizzano le preferenze osservate dirette.
• Stabilità: Tutte le varianti del modello di fondazione hanno mostrato un lift stabile dopo un periodo transitorio iniziale, con GRPO con RM che mostra i guadagni più persistenti sugli esiti di engagement profondo.

Significato e Rivendicazioni

Il documento afferma che il post-training progressivo è un approccio pratico ed efficace per il dispiegamento di modelli di fondazione nei sistemi di raccomandazione industriali. Il suo significato primario risiede in:

1. Stabilità: Separare esplicitamente l'adattamento della conoscenza specifica del task (tramite LP e FFT) dall'allineamento basato sul reward previene l'instabilità e la dimenticanza catastrofica associate all'ottimizzazione diretta di tutti i parametri.
2. Colmare il Divario: Il framework riesce a colmare il divario tra il feedback implicito denso (che fornisce una forte discriminazione del ranking) e le metriche di business sparse (che definiscono il valore reale) utilizzando queste ultime solo come segnale di reward per l'allineamento, piuttosto che come obiettivo di addestramento diretto per la policy di serving.
3. Viabilità in Produzione: I risultati online su larga scala confermano che questo approccio multi-fase migliora la qualità della raccomandazione rispetto ai baseline convenzionali, validando il fatto che separare l'adattamento supervisionato dall'allineamento basato sul reward potenzia sia la stabilità dell'ottimizzazione che le prestazioni di serving a valle.