Resumo Técnico: HiGR - Estrutura de Recomendação de Slates Generativa Hierárquica em Escala Industrial

1. Declaração do Problema

A recomendação de slates (listas), que apresenta aos usuários uma lista classificada de itens em uma única exibição, é crítica para plataformas como feeds de vídeo e agregadores de notícias. Embora métodos recentes de recomendação generativa usando IDs Semânticos (SIDs) mostrem potencial, a aplicação direta deles à recomendação de slates em escala industrial enfrenta três desconexes fundamentais:

1. Espaços de SID Entrançados: Os métodos de ID semântico existentes frequentemente produzem espaços de código onde os prefixos não capturam a semântica compartilhada de forma confiável. Esse "entrançamento" confunde o planejamento de listas de alto nível e dificulta a orientação de relevância e diversidade.
2. Decodificação Autoregressiva Ineficiente: Gerar um slate de $M$ itens exige a decodificação de $M \times D$ tokens (onde $D$ é o número de tokens de SID por item). A busca por feixe (beam search) autoregressiva de sequência completa introduz latência substancial e entrança a semântica intra-item com as transições inter-itens, obscurecendo a estrutura global do slate.
3. Objetivos Desalinhados: O treinamento de verossimilhança padrão ao nível de token não otimiza diretamente a qualidade holística do slate. Plataformas do mundo real exigem a otimização simultânea de múltiplos objetivos de nível de lista: fidelidade de ranking, interesse genuíno do usuário e diversidade intra-lista.

2. Metodologia: A Estrutura HiGR

O HiGR (Recomendação Generativa Hierárquica) aborda esses desafios através de um pipeline co-projetado composto por três componentes estritamente acoplados:

A. VAE de Quantização Residual com Contraste de Prefixo (PCRQ-VAE)

Para criar um espaço discreto controlável para planejamento, o HiGR aprende SIDs estruturados usando um VAE de Quantização Residual modificado.

• Quantização Global: Ao contrário do RQ-VAE padrão, que otimiza as camadas independentemente, o PCRQ-VAE introduz um objetivo de quantização global. Isso alinha a representação quantizada agregada com o embedding latente original, preservando resíduos informativos através das camadas do codebook e evitando o desaparecimento de resíduos.
• Alinhamento Contrastivo de Nível de Prefixo: Para injetar sinais semânticos e colaborativos, o modelo aplica aprendizado contrastivo (perda InfoNCE) às primeiras $D-1$ camadas do codebook (os prefixos). Isso força itens semanticamente ou colaborativamente similares a compartilhar prefixos de SID de alto nível, enquanto reserva a última camada do codebook para a discriminação fina de itens.

B. Decodificador de Slate Hierárquico (HSD)

O HSD desloca o processo generativo da decodificação ao nível de token para uma abordagem hierárquica de grosso para fino para reduzir a latência e permitir o planejamento global.

• Planejador de Slate de Grão Grosso: Em vez de decodificar $M \times D$ tokens sequencialmente, o planejador primeiro gera $M$ "embeddings de preferência". Cada embedding representa a semântica pretendida para uma posição específica no slate. Esta etapa modela a estrutura global da lista.
• Gerador de Item de Grão Fino: Um gerador leve então decodifica a sequência de $D$ tokens de SID para cada item, condicionado ao seu respectivo embedding de preferência.
• Eficiência: Ao restringir o beam search caro à decodificação curta ao nível de item (condicionada aos embeddings planejados previamente), em vez da sequência total do slate, o HSD reduz significamente a latência de inferência enquanto mantém a estrutura global.
• Regularização de Diversidade: O planejador inclui um termo de diversidade intra-lista (ILD) para minimizar a similaridade entre pares de embeddings de preferência planejados, incentivando slates diversos sem estimativa post-hoc.

C. Alinhamento de Preferência de Lista (ORPO)

Para preencher a lacuna entre a geração de tokens e a experiência do usuário, o HiGR emprega um mecanismo de alinhamento de múltiplos objetivos de lista usando Otimização de Preferência de Razão de Odds (ORPO).

• Otimização de Triplo Objetivo: O modelo é otim mizado contra três objetivos complementares:
  1. Fidelidade de Ranking (O1): Garantir que a ordem corresponda ao engajamento do usuário.
  2. Interesse Genuíno do Usuário (O2): Filtrar o ruído de exposição, focando em itens com feedback positivo.
  3. Diversidade de Slate (O3): Prevenir recomendações repetitivas e "bolhas de informação".
• Construção de Pares de Preferência: Slates positivos são construídos a partir de sequências de engajamento de usuários reclassificadas. Slates negativos são gerados permutando a ordem, substituindo itens que receberam feedback negativo ou adicionando itens semanticamente similares para testar restrições de diversidade.
• Sem Referência: O ORPO é usado como um método sem referência para reduzir custos computacionais e mitigar o desvio de objetivo, alinhando diretamente o modelo com métricas de negócio fundamentais.

3. Principais Contribuições

1. Estrutura HiGR: Uma estrutura de recomendação de slate generativa de ponta a ponta que unifica tokenização estruturada, geração hierárquica eficiente e alinhamento de preferência de lista.
2. PCRQ-VAE: Um método de tokenização inovador que impõe o alinhamento contrastivo de nível de prefixo, criando um espaço de SID estruturado onde prefixos de alto nível codificam a semência de forma confiável, facilitando o planejamento controlável.
3. Decodificador de Slate Hierárquico (HSD): Uma arquitetura de decodificação em dois estágios que desacopla o planejamento de slate global da geração de itens, alcançando uma aceleração de 5× na inferência em comparação com as bases, enquanto preserva a qualidade.
4. ORPO de Triplo Objetivo: Um mecanismo de alinhamento de lista que otimiza conjuntamente ranking, interesse e diversidade sem a necessidade de um modelo de referência auxiliar.

4. Resultados Experimentais

Desempenho Offline

• Qualidade: Tanto no grande conjunto de dados industrial da Tencent quanto no conjunto público KuRec, o HiGR supera as bases de estado da arte (incluindo ListCVAE, SASRec, TIGER, HSTU e OneRec) em mais de 10% nas métricas de qualidade de recomendação (NDCG@5, Hit Rate, Recall).
• Estudos de Ablação:
  • Remover a restrição de contraste de nível de prefixo no PCRQ-VAE aumenta significativamente as taxas de colisão de SID (de ~2,4% para ~8,7%), confirmando a necessidade de prefixos estruturados.
  • Remover a regularização de diversidade intra-lista (ILD) reduz as métricas de diversidade, enquanto remover os embeddings de contexto causa uma queda notável no desempenho.
  • Otimizar conjuntamente todos os três objetivos (Ranking, Interesse, Diversidade) produz o melhor desempenho geral, demonstrando que precisão e diversidade são complementares.
• Leis de Escala (Scaling Laws): Experimentos em diversos tamanhos de modelo (0.05B a 2B de parâmetros) revelam uma clara relação de lei de potência entre a capacidade do modelo e o desempenho, sugerindo ganhos previsíveis através de escalonamento.

Eficiência

• Latência: O HiGR alcança uma aceleração de inferência de 5× em comparação com o OneRec (uma base generativa forte) enquanto mantém maior precisão.
• Uso de Recursos: No deploy online, o HiGR reduz a demanda de GPU em aproximadamente 60% em comparação ao OneRec, mantendo a latência P99 abaixo de 50ms.

Testes A/B Online

Implantado em múltiplas superfícies da plataforma Tencent (notícias, vídeos, web novels) atendendo centenas de milhões de usuários, o HiGR demonstrou melhorias significativas no mundo real:

• Tempo de Visualização (Watch Time): +1,22%
• Reproduções de Vídeo (Video Plays): +1,73%
• Tempo de Permanência (Stay Time): +1,03%
• Contagem de Requisições (Request Count): +1,57%

5. Significância e Alegações

O artigo alega que o HiGR consegue unir o hiato entre a geração de nível de item e a otimização de slate holística em ambientes industriais. Ao introduzir um espaço de SID estruturado e um mecanismo de decodificação hierárquica, ele resolve os gargalos de eficiência e controlabilidade dos recomendadores generativos existentes. A estrutura prova que a modelagem generativa pode ser escalada para níveis industriais, entregando tanto uma qualidade de recomendação superior quanto uma eficiência computacional significativa. O sucesso do deploy nas plataformas da Tencent valida sua aplicabilidade para servir centenas de milhões de usuários com necessidades de recomendação complexas e de múltiplos objetivos.