Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale

1. Declaração do Problema: O Gargalo da "Linha Gorda"

Os Modelos de Recomendação de Aprendizado Profundo (DLRMs) modernos seguem leis de escala onde a qualidade do modelo melhora monotonicamente com sequências mais longas de Histórico de Interação do Usuário (UIH) (avançando de $10^4$ para $10^5+$ eventos). No entanto, a abordagem padrão da indústria para lidar com esses dados cria um gargalo crítico de infraestrutura conhecido como o problema da "Linha Gorda".

• Redundância de Pré-Materialização: Sistemas atuais duplicam fisicamente (pré-materializam) toda a sequência de UIH em cada exemplo de treinamento individual para garantir consistência Online-para-Offline (O2O).
• Amplificação K-Fold: Se um usuário possui $N$ dias de histórico e gera $K$ solicitações de classificação dentro de uma janela de retrocesso, os mesmos dados históricos são armazenados $K$ vezes. Isso leva a uma redundância massiva de armazenamento e I/O.
• O Muro de Recursos: À medida que os comprimentos das sequências aumentam, o consumo de recursos dos serviços de suporte de dados (armazenamento, ingestão, pré-processamento) excede a capacidade dos clusters de treinamento de GPU. Isso cria uma armadilha de "rendimentos decrescentes" onde os custos de infraestrutura limitam a capacidade de escalar os comprimentos das sequências, impedindo efetivamente a adoção de arquiteturas de próxima geração como HSTU e ULTRA-HSTU.
• Penalidade Multi-Tenancy: Em conjuntos de dados unidos compartilhados que atendem a múltiplos inquilinos de modelos (por exemplo, modelos de recuperação versus modelos de classificação com necessidades de comprimento de sequência diferentes), o paradigma de "Linha Gorda" força todos os modelos a lerem o comprimento máximo de sequência, causando amplificação de I/O desnecessária para modelos de sequência mais curta.

2. Metodologia: Materialização Tardia Versionada

Os autores propõem uma mudança de paradigma da pré-materialização pesada em armazenamento para uma abordagem de materialização tardia centrada em computação. A ideia central é que o UIH é uma sequência imutável, apenas de anexação e ordenada temporalmente. Portanto, o estado exato do histórico de um usuário em qualquer momento de inferência $t$ pode ser reconstruído de forma determinística sem armazenar snapshots físicos.

A. O Protocolo

O sistema emprega um protocolo bifurcado para garantir consistência O2O e prevenir vazamento futuro:

1. Snapshotting no Momento da Inferência:
   • Em vez de registrar o UIH completo, o sistema registra apenas metadados de versão leves (limites temporais start_ts, end_ts, comprimento da sequência e uma soma de verificação) ao lado da parte mutável (recente) do UIH.
   • Isso desacopla a amplificação de escrita do registro do comprimento total da sequência (metadados $O(1)$ versus dados $O(seq\_length)$).
2. Reconstrução no Momento do Treinamento:
   • Durante o pré-processamento dos dados de treinamento, o sistema realiza uma reconstrução de "Viagem no Tempo".
   • Ele recupera o UIH mutável recente do exemplo de treinamento e emite uma varredura de intervalo delimitada contra um armazenamento de UIH imutável e normalizado, usando os limites temporais registrados.
   • Os dois componentes são concatenados para recriar o estado exato do momento da inferência.

B. Arquitetura de Armazenamento

• Armazenamento Híbrido:
  • UIH Mutável: Um armazenamento em tempo real para eventos recentes (atualização em nível de segundos), acessado apenas durante a inferência.
  • UIH Imutável: Um armazenamento otimizado para leitura, normalizado, para histórico de longo prazo. Usa um layout de nível único com arquivos pré-classificados e ordenados cronologicamente para garantir I/O puramente sequencial durante varreduras de intervalo.
• Projeção Multidimensional: O armazenamento imutável organiza os dados por user_id, feature_group e subsequence_timestamp. Isso permite que o sistema empurre projeções para baixo na camada de armazenamento:
  • Projeção de Comprimento de Sequência: Modelos mais curtos varrem apenas o número necessário de faixas temporais.
  • Projeção de Grupo de Recursos: Modelos leem apenas as colunas de recursos relevantes.
• Codificação Consciente de Traços: Usa codificação em coluna (codificação delta, mapas de bits, compressão de dicionário) para lidar com recursos esparsos versus densos, permitindo decodificação seletiva ao nível de byte.

C. Otimização do Pipeline de Treinamento

Para evitar que o processo de reconstrução interrompa o treinamento de GPU (fome de GPU), o sistema implementa:

• Pré-processamento de Dados Desagregado (DPP): Transferência de I/O pesado e decodificação para um cluster separado e elasticamente escalável de trabalhadores de pré-processamento.
• Pré-busca de I/O em Pipeline: Sobreposição da leitura do próximo lote de treinamento com a pesquisa de sequência do lote atual para mascarar a latência.
• Fragmentação com Afinidade de Dados: Garante que os exemplos de treinamento e seus dados de UIH correspondentes residam no mesmo fragmento de armazenamento (via particionamento por hash idêntico), minimizando a dispersão de rede e maximizando as taxas de acerto de cache para trabalhos em lote.

3. Contribuições Principais

1. Formalização do Problema da Linha Gorda: Análise quantitativa demonstrando que a redundância de UIH pré-materializada impulsiona o uso de infraestrutura de dados além da capacidade de treinamento de GPU, limitando a escalabilidade do modelo.
2. Protocolo de Materialização Tardia Versionada: Uma solução unificada para treinamento em streaming e em lote que garante consistência O2O e previne vazamento futuro usando metadados de versão leves e predicados temporais.
3. Arquitetura de Nível de Produção: Um sistema combinando armazenamento imutável otimizado para leitura, empurrão de projeção multi-inquilino e pré-processamento desagregado para mascarar a latência de reconstrução, mantendo a vazão de treinamento limitada pela GPU.
4. Implantação em Escala: Implantação bem-sucedida nos DLRMs de produção do Meta, permitindo escalonamento agressivo do comprimento da sequência (até $10^5$ eventos) enquanto reduz o uso de recursos de infraestrutura.

4. Resultados

O sistema foi avaliado em três inquilinos de modelos compartilhando um conjunto de dados unido e duas plataformas de recomendação de produção.

• Eficiência do Sistema:

  • Largura de Banda de Escrita: Redução da largura de banda de escrita primária em 46,2% ao eliminar a redundância K-Fold.
  • Largura de Banda de Leitura: Redução da largura de banda de leitura por trabalho em 47–70%. Modelos de sequência mais curta (B e C) viram ganhos adicionais (até 70% de redução) devido ao empurrão de projeção.
  • Latência: Apesar da adição de pesquisas de sequência, o sistema manteve baixa latência. O Modelo A (sequência longa) viu apenas um aumento de 9,7% na latência de carregamento de dados, absorvido pela escalabilidade elástica do DPP. Os Modelos B e C viram melhorias de latência de 26–36% devido ao empurrão de projeção.
  • Vazão: O armazenamento imutável entregou 3,4× maior vazão de leitura por unidade de recurso de host em comparação com o armazenamento apenas de anexação da linha de base.

• Desempenho do Modelo:

  • Avanço na Escala: O sistema rompeu o "Muro da Linha Gorda" (onde os custos de dados excedem os custos de GPU em ~4K de comprimento de sequência).
  • Ganhos de Qualidade:
    • Plataforma A: Alcançou um ganho adicional de 1,2% na Entropia Normalizada (NE) cumulativa ao escalar de 4K para 64K eventos (ganho total >5%).
    • Plataforma B: Alcançou ganho de 0,65% NE ao escalar de 4K para 10K eventos.
  • Impacto Online: Testes A/B confirmaram melhorias significativas em métricas de engajamento (Topline, Consumo, Engajamento Explícito) ao escalar os comprimentos das sequências, ganhos que eram anteriormente impossíveis sob o paradigma da Linha Gorda.

5. Significado

Este artigo estabelece que a infraestrutura de dados é uma alavanca de escalabilidade de primeira classe para sistemas de recomendação, complementar aos avanços na arquitetura do modelo. Ao tratar o UIH como uma sequência versionada e imutável, em vez de um snapshot estático, os autores eliminaram os muros de armazenamento e I/O que anteriormente impediam a indústria de treinar em sequências ultra-longas. Este paradigma permite a implantação prática de frameworks de recomendação generativa e transdutores sequenciais de trilhões de parâmetros, desbloqueando melhorias significativas na qualidade do modelo que anteriormente eram proibitivas em termos de custo.