Action-Aware Generative Sequence Modeling for Short Video Recommendation

1. Enunciato del Problema

I tradizionali sistemi di raccomandazione multi-task per video brevi trattano tipicamente un video come una singola entità olistica, affidandosi alla classificazione binaria (ad esempio, clic/non clic, mi piace/non mi piace) per prevedere le preferenze degli utenti. Questo approccio presenta due limitazioni critiche:

• Perdita di Granularità: I video brevi contengono spesso segmenti diversi (ad esempio, un medley di canzoni o un'intervista a più argomenti). Gli utenti possono apprezzare segmenti specifici mentre ne disprezzano altri. Trattare il video come un tutto diluisce questi interessi di gran finezza, portando a embedding inaccurati e raccomandazioni scadenti (ad esempio, raccomandare un video su Ronaldo a un utente che ha apprezzato solo il segmento su Messi).
• Ignorare le Dinamiche Temporali: Il consumo da parte degli utenti è un processo temporale. Il momento di un'azione (ad esempio, mettere mi piace a 2 secondi rispetto a 16 secondi) e la sequenza delle azioni (ad esempio, Segui poi Mi piace rispetto a Mi piace poi Segui) portano significati semantici distinti riguardo all'intento dell'utente. I modelli esistenti non riescono a catturare queste dipendenze temporali e sequenze di azioni all'interno di un singolo elemento.

La sfida fondamentale è modellare il comportamento dell'utente non solo come un insieme di eventi isolati, ma come una sequenza temporale di azioni che si verificano a timestamp specifici all'interno di un video, catturando così interessi genuini a livello di segmento.

2. Metodologia: Action-Aware Generative Sequence Network (A2Gen)

Gli autori propongono A2Gen, un nuovo framework che concatena le azioni degli utenti in una sequenza unificata per la previsione generativa. Invece di prevedere esiti binari, il modello genera una sequenza completa di azioni $\{(A_1, T_1), \dots, (A_m, T_m)\}$, dove $A$ è il tipo di azione e $T$ è il timestamp.

L'architettura è composta da tre componenti principali:

A. Context-aware Attention Module (CAM)

A differenza dell'attenzione self-standard nell'NLP, il CAM incorpora caratteristiche contestuali specifiche dell'elemento nel meccanismo di attenzione.

• Meccanismo: Integra informazioni contestuali (caratteristiche dell'elemento) nel vettore di query. Questo garantisce che il calcolo della similarità tra due azioni dipenda dal contenuto specifico degli elementi associati, non solo dai tipi di azione.
• Gating: Una rete di gating apprende l'importanza relativa dei diversi testine di attenzione per compiti specifici, consentendo un'ottimizzazione specifica per il compito.
• Funzione: Modella efficacemente la sequenza di input (azioni storiche) catturando l'interazione tra tipi di azione e contesti degli elementi.

B. Hierarchical Sequence Encoder (HSE)

La storia dell'utente coinvolge due dimensioni: la sequenza delle azioni all'interno di un singolo elemento e la sequenza degli elementi consumati nel tempo. L'HSE affronta questo tramite una codifica a due livelli:

1. Dimensione Azione: Elabora la sequenza delle azioni per ogni elemento storico utilizzando il CAM per estrarre rappresentazioni di interesse a livello di elemento ($Seq_j$).
2. Dimensione Elemento: Tratta la sequenza degli elementi storici (ciascuno rappresentato dalla sua $Seq_j$ e dalle caratteristiche dell'elemento) come una nuova sequenza. Il CAM viene applicato nuovamente, utilizzando le caratteristiche dell'elemento target come contesto per calcolare pesi di similarità personalizzati tra gli elementi storici e il candidato corrente.

• Output: Una rappresentazione completa dell'utente ($Vec_{hist}$) che cattura sia interessi di segmento di gran finezza che preferenze a lungo termine sugli elementi.

C. Action-seq Autoregressive Generator (AAG)

Questo modulo impiega un paradigma generativo autoregressivo per prevedere la sequenza futura di azioni per un elemento target.

• Input: Caratteristiche dell'utente, caratteristiche dell'elemento target e la rappresentazione storica ($Vec_{hist}$).
• Processo: Prevede le azioni passo dopo passo. Ad ogni passo $i$, prevede il tipo di azione ($A_i$) e il momento ($T_i$) basandosi sulle azioni precedentemente generate ($A_{1:i-1}, T_{1:i-1}$).
• Addestramento: Utilizza il Teacher Forcing (verità fondamentale dei passaggi precedenti) per abilitare l'addestramento parallelo.
• Funzioni di Perdita:
  • Perdita di Classificazione: Entropia incrociata per la previsione del tipo di azione.
  • Perdita di Regressione: Errore quadratico medio (MSE) per la previsione del momento (normalizzato per la durata del video).
  • Perdita di Vincolo di Ordine ($L_{order}$): Garantisce che i timestamp generati siano ordinati cronologicamente ($T_p < T_q$ per $p < q$), prevenendo incoerenze logiche.

3. Contributi Chiave

1. Cambiamento di Paradigma: Il documento supera la classificazione binaria per approcciare un modello di sequenza generativa, modellando esplicitamente il momento e l'ordine delle azioni degli utenti all'interno di un video.
2. Architettura Innovativa (A2Gen): Introduce un framework unificato composto da CAM, HSE e AAG per gestire la natura complessa e multidimensionale delle interazioni utente-elemento (contesto a livello di elemento + sequenze temporali di azioni).
3. Insight sul Timing delle Azioni: Dimostra attraverso l'analisi statistica che il momento delle azioni (ad esempio, picchi nella distribuzione dei Mi piace) correla fortemente con l'interesse genuino dell'utente, e che le sequenze di azioni (ad esempio, Segui-Mi piace rispetto a Mi piace-Segui) rivelano diversi intenti utente.
4. Deploy su Scala Industriale: Implementato con successo su Kuaishou, servendo oltre 400 milioni di utenti giornalieri, validando la scalabilità del modello e la sua efficacia nel mondo reale.

4. Risultati Sperimentali

Performance Offline

• Dataset: Valutato sul dataset pubblico di Tmall (E-commerce) e su un massiccio dataset industriale di Kuaishou (Video Brevi).
• Metriche: AUC per la classificazione delle azioni e MAE per la regressione del momento.
• Risultati: A2Gen ha superato significativamente i baseline all'avanguardia (MMoE, PLE, AdaTask, HoME, ecc.).
  • Previsione delle Azioni: Ha raggiunto un miglioramento di 58 bp (punti base) nell'AUC per la previsione dei Mi piace rispetto al modello SOTA HoME.
  • Previsione del Momento: Ha ridotto il MAE del 2,60% per il momento dei Mi piace rispetto a HoME.
  • Studi di Ablazione: Hanno confermato che la rimozione di HSE, CAM o della perdita di vincolo di ordine ($L_{order}$) ha portato a un degrado costante delle prestazioni, dimostrando la necessità di ogni componente.

Test A/B Online (Kuaishou)

Il modello è stato deployato in un ambiente online su larga scala con quattro strategie di ottimizzazione:

1. Sostituzione del Modello: Sostituzione diretta del modello baseline.
2. Consapevolezza del Timing delle Azioni: Aumento dei punteggi di ranking per le azioni che si verificano più tardi nel video (indicando un coinvolgimento più profondo).
3. Consapevolezza della Sequenza delle Azioni: Priorità a sequenze come Segui-Mi piace (intento più forte) rispetto a Mi piace-Segui.
4. Consapevolezza della Distribuzione del Timing delle Azioni: Aumento dei punteggi per le azioni che si verificano vicino ai "picchi" statistici di coinvolgimento.

Miglioramenti Chiave nelle Metriche di Business:

• Tempo di Visualizzazione Utente: +0,34%
• Tasso di Interazione: +8,1%
• Fidelizzazione Utente (LifeTime-7): +0,162% (equivalente a circa 1 milione di utenti attivi giornalieri aggiuntivi).

5. Significato

Questo lavoro colma il divario tra IA generativa e sistemi di raccomandazione trattando il comportamento dell'utente come una sequenza generativa piuttosto che come un problema di classificazione statica. Sfruttando la dimensione temporale delle azioni degli utenti, A2Gen risolve il problema dell'"interesse a livello di segmento" intrinseco nel consumo di video brevi. Il deploy riuscito su una piattaforma con centinaia di milioni di utenti dimostra che la modellazione delle dinamiche temporali di gran finezza non è solo teoricamente solida, ma anche un driver critico per la crescita aziendale nelle moderne piattaforme di raccomandazione di contenuti.