Resumo Técnico: Kunlun – Estabelecendo Leis de Escalonamento para Sistemas de Recomendação de Escala Massiva

1. Formulação do Problema

Sistemas de recomendação modernos, particularmente em publicidade de larga escala, requerem a modelagem conjunta de comportamentos sequenciais de usuários (ex: histórico de cliques) e características de contexto não sequenciais (ex: demografia do usuário, metadados de anúncios). Embora as leis de escalonamento — relações matemáticas previsíveis entre investimento computacional e desempenho do modelo — estejam bem estabelecidas para Grandes Modelos de Linguagem (LLMs), elas permanecem um desafio em aberto para sistemas de recomendação que lidam com essa mistura heterogênea de características.

Os autores identificam a baixa eficiência de escalonamento como a principal barreira para estabelecer essas leis. A eficiência de escalonamento é definida como a taxa de melhoria de desempenho por unidade de investimento computacional. O artigo argumenta que os sistemas de última geração atuais falham em alcançar um escalonamento de lei de potência previsível devido a dois gargalos críticos:

1. Módulos Ineficientes: As arquiteturas existentes sofrem de baixa Utilização de FLOPs do Modelo (MFU), frequentemente variando entre 3–15% em comparação com 40–60% em LLMs. Isso é causado por espaços de características heterogêneos que levam a dimensões de embedding pequenas, formas de tensores irregulares e operações limitadas pela memória.
2. Alocação Ineficiente de Recursos: Escalar todos os componentes de forma ingênua e igualitária leva a retornos decrescentes, uma vez que diferentes camadas e tipos de eventos (ex: cliques vs. impressões) beneficiam-se de padrões computacionais distintos.

2. Metodologia: A Arquitetura Kunlun

Para enfrentar esses desafios, os autores propõem o Kunlun, uma arquitetura unificada projetada através de um codesign de eficiência de modelo sistemático em dois níveis: otimização de módulo de baixo nível e realocação de computação de alto nível.

2.1 Visão Geral da Arquitetura

O Kunlun emprega uma arquitetura de múltiplas camadas onde cada camada processa tanto sequências quanto características não sequenciais através de dois componentes principais:

• Bloco Kunlun Transformer: Lida com a modelagem de sequência consciente do contexto usando Multi-Head Self-Attention (MSA) e uma Rede Feed-Forward Personalizada (PFFN) aprimorada por Atenção de Produto Escalar Generalizado (GDPA).
• Bloco de Interação Kunlun: Facilita a troca de informações bidirecional via Geração de Pesos, Agrupamento de Sementes Hierárquico (HSP) e um módulo de Interação Global.

2.2 Otimizações de Módulos de Baixo Nível

Estas otimizações visam a eficiência computacional para melhorar a MFU:

• Atenção de Produto Escalar Generalizado (GDPA): Os autores reformulam a PFFN como um operador de atenção multi-cabeça. Em vez de multiplicações de matrizes separadas que criam gargalos de memória, a GDPA funde a transformação em um único kernel (semelhante ao FlashAttention). Aqui, os tokens da sequência atuam como queries, enquanto os pesos derivados do contexto não sequencial atuam como keys e values. Isso permite uma utilização eficiente da GPU e permite o empilhamento estável da PFFN.
• Agrupamento de Sementes Hierárquico (HSP): Para resumir sequências longas ($T > 1000$) de forma eficiente, o HSP substitui as consultas aprendíveis aleatórias (usadas no Pooling por Multihead Attention padrão) por um processo hierárquico. Ele primeiro aprende representações de nível de semente e depois as comprime usando uma camada SumKronLinear, baseada no produto de Kronecker. Isso alcança eficiência de parâmetros (reduzindo os parâmetros em ~14× em configurações típicas) enquanto mantém a expressividade transdimensional.
• Atenção de Janela Deslizante (Sliding Window Attention): Reconhecendo o forte viés de localidade em sequências de recomendação (interações recentes são mais preditivas), o modelo restringe a autoatenção a janelas locais. Isso reduz a complexidade de $O(T^2)$ para $O(Tw)$, melhorando significativamente o throughput.

2.3 Realocação de Computação de Alto Nível

Estas estratégias otimizam a distribuição de recursos através do modelo:

• Salto de Computação (CompSkip): Inspirado na redundância de camadas em LLMs, o Kunlun implementa um padrão de "camada alternada". Camadas pares pulam a autoatenção para computar novos resumos HSP, enquanto camadas ímpares pulam o HSP e a PFFN para computar a autoatenção. Isso reduz os FLOPs em ~43% mantendo a qualidade do modelo.
• Personalização por Nível de Evento: Diferentes tipos de eventos (ex: cliques vs. impressões) recebem hiperparâmetros distintos (dimensão do modelo, número de cabeças, tokens de sumarização, profundidade de camada e tamanho de janela). Eventos de alto valor recebem configurações maiores, enquanto eventos de menor valor utilizam configurações menores, garantindo que os recursos sejam alocados proporcionalmente à importância do sinal.
• Mistura de Especialistas Wukong: O módulo de Interação Global emprega uma abordagem de Mistura de Especialistas (MoE) onde múltiplos módulos "Wukong" (modelos de interação de características) operam em paralelo. Isso permite o escalonamento horizontal ao distribuir a computação entre especialistas dentro de uma única camada.

3. Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Formulação do Problema: Formalizar o desafio da eficiência de escalonamento em sistemas de recomendação de escala massiva, identificando módulos ineficientes e alocação de recursos como as causas raízes de um escalonamento imprevisível.
2. Design de Arquitetura: Introduzir o Kunlun, que integra otimizações de baixo nível (GDPA, HSP, Janela Deslizante) e inovações de alto nível (CompSkip, Personalização por Nível de Evento) para unificar a modelagem de sequência e não-sequência.
3. Leis de Escalonamento: Demonstrar o primeiro comportamento de escalonamento de lei de potência previsível para a modelagem conjunta de sequência-não-sequência, alcançando uma melhoria de 2× na eficiência de escalonamento sobre os métodos de última geração.
4. Impacto de Implantação: Implementação bem-sucedida em modelos de Meta Ads, resultando em melhorias mensuráveis de produção.

4. Resultados Experimentais

Os autores avaliaram o Kunlun em conjuntos de dados internos da Meta Ads de grande escala (mais de 70 bilhões de amostras) usando GPUs NVIDIA B200.

• Eficiência de Escalonamento: O Kunlun alcançou um aumento da MFU de 17% para 37%. Em termos de eficiência de escalonamento (a inclinação da melhoria de desempenho vs. computação), o Kunlun demonstrou uma melhoria de 2× sobre o estado da arte atual (InterFormer).
• Ganhos de Desempenho: Em todas as escalas computacionais (6 a 180 GFLOPs), o Kunlun superou consistentemente os baselines. Na maior escala (180 GFLOPs), o Kunlun alcançou um ganho de 0,79% de NE (Entropia Normalizada) sobre o baseline, comparado a 0,50% do InterFormer.
• Estudos de Ablação:
  • Remover o GDPA reduziu a MFU para 34% e degradou o NE em 0,04%.
  • Remover o HSP (revertendo para PMA) melhorou o QPS em 8,8%, mas degradou o NE em 0,08%.
  • Remover o CompSkip aumentou os FLOPs em 43,1% sem ganho de NE, validando a eficiência da estratégia de salto.
• Impacto na Produção: Ao ser implantado nos modelos de Meta Ads, o Kunlun entregou uma melhoria de 1,2% nas métricas de topo (topline metrics), demonstrando impacto online significativo e ROI superior em escala.

5. Significância e Alegações

O artigo afirma que o Kunlun estabelece um framework principiado para escalar sistemas de recomendação para escalas sem precedentes, mantendo a eficiência computacional. Ao abordar sistematicamente tanto a eficácia algorítmica quanto a utilização de hardware, os autores demonstram que leis de escalonamento previsíveis são alcançáveis para tarefas de recomendação complexas e heterogêneas.

O trabalho afirma que a combinação da eficiência de módulo de baixo nível (via GDPA e HSP) e a alocação adaptativa de recursos de alto nível (via CompSkip e Personalização por Nível de Evento) é necessária para desbloquear todo o potencial de modelos de escala massiva. Isso permite a extrapolação confiável para planejamento de recursos e decisões arquitetônicas, movendo os sistemas de recomendação de um escalonamento heurístico para um crescimento previsível e regido por leis. A implementação bem-sucedida na Meta valida que esses ganhos teóricos se traduzem diretamente em valor de produção.