WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
O artigo apresenta o WHALE, uma arquitetura de recomendação unificada e escalável que integra as estruturas Wukong e HSTU por meio de um novo mecanismo de fusão para modelar conjuntamente características não sequenciais e sequenciais, alcançando ganhos significativos de desempenho offline e online em sistemas de produção industrial.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está caminhando por uma cidade digital massiva e agitada, onde milhões de pessoas estão constantemente rolando a tela, clicando e assistindo. Este é o mundo dos sistemas de recomendação online, os motores invisíveis por trás dos seus feeds de redes sociais, sugestões de vídeos e listas de compras. O trabalho deles é adivinhar o que você quer ver a seguir. Para fazer isso, eles geralmente buscam dois tipos muito diferentes de pistas. Primeiro, há os seus detalhes "estáticos": quem você é, do que você gosta, a hora do dia e o item específico que está sendo mostrado. É como um detetive olhando para o arquivo de um suspeito e para a cena do crime. Segundo, há as suas ações "dinâmicas": o rastro longo e bagunçado de tudo o que você clicou, assistiu ou comprou no passado. Isso é como um detetive assistindo à história de vida inteira de um suspeito se desenrolar em tempo real.
Por muito tempo, os sistemas de recomendação trataram esses dois tipos de pistas separadamente. Alguns modelos superinteligentes eram ótimos em misturar os detalhes estáticos (como "este usuário gosta de ficção científica" + "é uma noite de sexta-feira"), enquanto outros modelos eram especialistas em ler a longa história do seu comportamento passado (como "você assistiu a três filmes espaciais seguidos, então provavelmente quer um quarto"). A grande questão era: poderíamos construir um supermodelo que fosse igualmente brilhante em ambos, sem se tornar muito lento ou caro para operar? Se pudéssemos, isso poderia significar ver conteúdos que parecem perfeitamente adaptados exatamente a quem você é e ao que você tem feito ultimamente, tudo ao mesmo tempo.
Apresentamos o WHALE, uma nova arquitetura desenvolvida por pesquisadores da Meta que tenta resolver esse quebra-cabeça. Pense no WHALE como uma equipe de detetives gigante e de múltiplas camadas trabalhando juntas. Em vez de ter um detetive ler o arquivo e outro assistir ao vídeo, o WHALE coloca os dois na mesma sala, camada por camada. Em cada camada individual do modelo, há uma equipe "Wukong" (o especialista em misturar detalhes estáticos) e uma equipe "HSTU" (o especialista em ler o longo histórico de suas ações). Mas aqui está o truque de mágica: eles não apenas trabalham lado a lado; eles conversam constantemente. A equipe Wukong pergunta à equipe HSTU: "Ei, com base neste item específico que estou olhando, qual parte do longo histórico do usuário é mais importante agora?". A equipe HSTU então foca nessa memória específica e a entrega de volta. Isso acontece repetidamente à medida que os dados passam pelo modelo, permitindo que o sistema refine constantemente sua compreensão.
O artigo sugere que essa "troca progressiva" é um divisor de águas. Quando os pesquisadores testaram o WHALE em grandes quantidades de dados do mundo real de uma plataforma de rede social, descobriram que ele consistentemente melhorava a previsão do que os usuários clicariam à medida que tornavam o modelo maior e lhe davam um histórico mais longo para ler. Especificamente, quando aumentavam o comprimento do histórico do usuário que o modelo podia visualizar, a qualidade das recomendações melhorava. Eles também descobriram que tornar o modelo mais profundo (mais camadas) e mais largo (mais poder de processamento) continuava a gerar melhores resultados, sugerindo que o sistema escala bem.
No entanto, os pesquisadores também testaram uma maneira mais simples de combinar esses dois tipos de modelos, que eles chamam de abordagem "híbrida rasa". Nesse método mais antigo, o histórico é comprimido em um resumo minúsculo antes de ser misturado com os detalhes estáticos. O artigo argumenta que isso é um erro porque descarta os detalhes refinados. Seus experimentos mostraram que o diálogo profundo, camada por camada, do WHALE era significativamente melhor do que essa abordagem rasa, provando que manter as duas equipes em comunicação constante é crucial.
É claro que construir um sistema tão complexo é caro. A equipe teve que inventar um código de computador especial e personalizado (usando algo chamado "kernels Triton") para garantir que o WHALE pudesse rodar rápido o suficiente para ser usado por milhões de pessoas ao mesmo tempo. Em testes do mundo real, o WHALE de fato melhorou as principais métricas de engajamento do usuário, mas veio com um pequeno custo: o sistema podia lidar com cerca de 5% menos solicitações por segundo em comparação ao sistema antigo. Apesar dessa leve desaceleração, a melhoria na qualidade da recomendação foi considerada uma vitória, e o sistema já foi implantado em produção. O artigo conclui que, embora não possamos simplesmente tornar os modelos infinitamente grandes para resolver tudo, unificar essas duas formas diferentes de pensar sobre os dados — detalhes estáticos e histórico dinâmico — em uma única arquitetura interativa é um caminho poderoso e prático para o futuro das recomendações.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.