Action-Aware Generative Sequence Modeling for Short Video Recommendation

1. Declaração do Problema

Os sistemas de recomendação multi-tarefa tradicionais para vídeos curtos geralmente tratam um vídeo como uma entidade holística única, dependendo de classificação binária (por exemplo, clique/não clique, like/dislike) para prever preferências do usuário. Essa abordagem enfrenta duas limitações críticas:

• Perda de Granularidade: Vídeos curtos frequentemente contêm segmentos diversos (por exemplo, um medley de músicas ou uma entrevista multi-tópico). Os usuários podem gostar de segmentos específicos enquanto não gostam de outros. Tratar o vídeo como um todo dilui esses interesses de granularidade fina, levando a embeddings imprecisos e recomendações pobres (por exemplo, recomendar um vídeo do Ronaldo para um usuário que apenas gostou do segmento do Messi).
• Ignorância das Dinâmicas Temporais: O consumo do usuário é um processo temporal. O momento de uma ação (por exemplo, curtir aos 2 segundos versus aos 16 segundos) e a sequência de ações (por exemplo, Seguir e depois Curtir versus Curtir e depois Seguir) carregam significados semânticos distintos em relação à intenção do usuário. Modelos existentes falham em capturar essas dependências temporais e sequências de ações dentro de um único item.

O desafio central é modelar o comportamento do usuário não apenas como um conjunto de eventos isolados, mas como uma sequência ordenada no tempo de ações ocorrendo em timestamps específicos dentro de um vídeo, capturando assim interesses genuínos ao nível de segmento.

2. Metodologia: Rede Generativa de Sequência Consciente de Ação (A2Gen)

Os autores propõem o A2Gen, um novo framework que encadeia ações do usuário em uma sequência unificada para previsão generativa. Em vez de prever resultados binários, o modelo gera uma sequência completa de ações $\{(A_1, T_1), \dots, (A_m, T_m)\}$, onde $A$ é o tipo de ação e $T$ é o timestamp.

A arquitetura consiste em três componentes principais:

A. Módulo de Atenção Consciente de Contexto (CAM)

Diferente da autoatenção padrão em PLN, o CAM incorpora recursos contextuais específicos do item no mecanismo de atenção.

• Mecanismo: Integra informações contextuais (recursos do item) no vetor de consulta. Isso garante que o cálculo de similaridade entre duas ações dependa do conteúdo específico dos itens associados, e não apenas dos tipos de ação.
• Portaria (Gating): Uma rede de portaria aprende a importância relativa de diferentes cabeças de atenção para tarefas específicas, permitindo otimização específica da tarefa.
• Função: Modela efetivamente a sequência de entrada (ações históricas) capturando a interação entre tipos de ação e contextos de itens.

B. Codificador de Sequência Hierárquico (HSE)

O histórico do usuário envolve duas dimensões: a sequência de ações dentro de um único item e a sequência de itens consumidos ao longo do tempo. O HSE aborda isso por meio de uma codificação de dois níveis:

1. Dimensão de Ação: Processa a sequência de ações para cada item histórico usando o CAM para extrair representações de interesse ao nível de item ($Seq_j$).
2. Dimensão de Item: Trata a sequência de itens históricos (cada um representado por sua $Seq_j$ e recursos do item) como uma nova sequência. O CAM é aplicado novamente, usando os recursos do item-alvo como contexto para calcular pesos de similaridade personalizados entre itens históricos e o candidato atual.

• Saída: Uma representação abrangente do usuário ($Vec_{hist}$) que captura tanto interesses de segmento de granularidade fina quanto preferências de itens de longo prazo.

C. Gerador Autoregressivo de Sequência de Ação (AAG)

Este módulo emprega um paradigma generativo autoregressivo para prever a sequência futura de ações para um item-alvo.

• Entrada: Recursos do usuário, recursos do item-alvo e a representação histórica ($Vec_{hist}$).
• Processo: Prevê ações passo a passo. Em cada etapa $i$, prevê o tipo de ação ($A_i$) e o momento ($T_i$) com base nas ações previamente geradas ($A_{1:i-1}, T_{1:i-1}$).
• Treinamento: Usa Forçamento do Professor (verdade fundamental de etapas anteriores) para permitir treinamento paralelo.
• Funções de Perda:
  • Perda de Classificação: Entropia cruzada para previsão do tipo de ação.
  • Perda de Regressão: Erro Quadrático Médio (MSE) para previsão de momento (normalizado pela duração do vídeo).
  • Perda de Restrição de Ordem ($L_{order}$): Garante que os timestamps gerados estejam ordenados cronologicamente ($T_p < T_q$ para $p < q$), prevenindo inconsistências lógicas.

3. Contribuições Principais

1. Mudança de Paradigma: O artigo avança além da classificação binária para uma abordagem de modelagem de sequência generativa, modelando explicitamente o momento e a ordem das ações do usuário dentro de um vídeo.
2. Arquitetura Novel (A2Gen): Introduz um framework unificado compreendendo CAM, HSE e AAG para lidar com a natureza complexa e multidimensional das interações usuário-item (contexto ao nível de item + sequências temporais de ação).
3. Insight sobre o Momento da Ação: Demonstra, por meio de análise estatística, que o momento da ação (por exemplo, picos na distribuição de Likes) correlaciona-se fortemente com o interesse genuíno do usuário, e sequências de ação (por exemplo, Seguir-Curtir versus Curtir-Seguir) revelam diferentes intenções do usuário.
4. Implantação em Escala Industrial: Implantado com sucesso no Kuaishou, atendendo mais de 400 milhões de usuários diários, validando a escalabilidade do modelo e sua eficácia no mundo real.

4. Resultados Experimentais

Desempenho Offline

• Conjuntos de Dados: Avaliado no conjunto de dados público do Tmall (Comércio Eletrônico) e em um massivo conjunto de dados industrial do Kuaishou (Vídeo Curto).
• Métricas: AUC para classificação de ação e MAE para regressão de momento.
• Resultados: O A2Gen superou significativamente as bases de comparação mais avançadas (MMoE, PLE, AdaTask, HoME, etc.).
  • Previsão de Ação: Alcançou uma melhoria de 58 bp (pontos base) no AUC para previsão de Like sobre o modelo HoME de última geração.
  • Previsão de Momento: Reduziu o MAE em 2,60% para o momento de Like em comparação com o HoME.
  • Estudos de Ablação: Confirmou que a remoção do HSE, CAM ou da perda de restrição de ordem ($L_{order}$) levou a uma degradação consistente de desempenho, provando a necessidade de cada componente.

Testes A/B Online (Kuaishou)

O modelo foi implantado em um ambiente online de grande escala com quatro estratégias de otimização:

1. Substituição de Modelo: Substituição direta do modelo de base.
2. Consciência do Momento da Ação: Aumento das pontuações de classificação para ações ocorrendo mais tarde no vídeo (indicando engajamento mais profundo).
3. Consciência da Sequência de Ação: Priorização de sequências como Seguir-Curtir (intenção mais forte) sobre Curtir-Seguir.
4. Consciência da Distribuição do Momento da Ação: Aumento das pontuações para ações ocorrendo perto de "picos" estatísticos de engajamento.

Melhoria nas Principais Métricas de Negócio:

• Tempo de Assistência do Usuário: +0,34%
• Taxa de Interação: +8,1%
• Retenção de Usuário (LifeTime-7): +0,162% (equivalente a ~1 milhão de Usuários Ativos Diários adicionais).

5. Significado

Este trabalho preenche a lacuna entre IA Generativa e sistemas de recomendação ao tratar o comportamento do usuário como uma sequência generativa em vez de um problema de classificação estática. Ao aproveitar a dimensão temporal das ações do usuário, o A2Gen resolve o problema de "interesse ao nível de segmento" inerente ao consumo de vídeos curtos. A implantação bem-sucedida em uma plataforma com centenas de milhões de usuários demonstra que modelar dinâmicas temporais de granularidade fina não é apenas teoricamente sólida, mas também um motor crítico para o crescimento de negócios em plataformas modernas de recomendação de conteúdo.