Resumo Técnico: Rumo a uma Lei de Densificação para Aprendizado de Representação de Usuários em Capacidade de Bilhão de Escala

1. Definição do Problema

No aprendizado de representação de usuários em escala industrial, o desempenho tem sido tradicionalmente escalado pelo aumento da população de usuários, extensão dos comprimentos das sequências comportamentais e ampliação da capacidade do modelo. No entanto, este artigo identifica um fenômeno crítico denominado "Parede de Escalonamento Comportamental Bruto" (Raw Behavioral Scaling Wall).

A análise empírica em dados de escala de bilhões do Alipay revela que simplesmente aumentar o volume de dados brutos ou o tamanho do modelo gera retornos decrescentes rápidos assim que certos limiares são atingidos (ex: >0,03B usuários, >60 dias de histórico, >0,2B parâmetros). Além desses pontos:

• Dominância de Redundância: Dados adicionais introduzem primariamente eventos repetitivos e de baixa informação (ex: pagamentos habituais) em vez de sinais novos e relevantes para a tarefa.
• Dissociação Perda-Qualidade: Modelos maiores alcançam perdas de pré-treinamento menores ao ajustar detalhes redundantes, mas falham em melhorar a precisão em tarefas downstream (ex: predição de CTR, recuperação/retrieval).
• Mudança de Gargalo: O fator limitante não é mais a capacidade do modelo, mas a densidade de informação da entrada. Sequências comportamentais brutas contêm ruído e redundância excessivos para que os codificadores extraiam valor adicional de forma eficiente.

O desafio central é determinar como escalar representações de usuários de forma eficaz quando o escalonamento de dados brutos satura, especificamente caracterizando a relação quantitativa entre a escala de dados e a capacidade mínima de tokenização suficiente.

2. Metodologia

O artigo propõe uma mudança do escalonamento orientado ao volume para o escalonamento orientado à densidade, operacionalizada através de três componentes principais:

A. Densificação Comportamental via Quantização Residual

Para abordar a parede de escalonamento, os autores utilizam Autoencoders Variacionais de Quantização Residual (RQ-VAE) como um tokenizador comportamental.

• Processo: Logs comportamentais brutos, longos e de múltiplas fontes (PayBill, SPM, MiniProgram), são mapeados para embeddings contínuos e, então, comprimidos em tokens semânticos discretos e compactos via quantização residual em múltiplos estágios.
• Mecanismo: Isso transforma sequências brutas repetitivas em uma sequência de comprimento fixo de códigos discretos. Os primeiros codebooks capturam semânticas de nível macro (ex: categorias de consumo), enquanto os estágios posteriores refinam variações residuais (ex: preferências de lojistas).
• Objetivo: Suprimir a redundância e aumentar a densidade de informação de cada unidade de entrada sem alterar a arquitetura do codificador downstream.

B. A Lei de Densificação Comportamental

Os autores formulam uma lei quantitativa que rege a relação entre a escala de dados e a capacidade de tokenização ideal.

• Definição: A lei define a Capacidade Mínima Suficiente ($C^*$) necessária para alcançar o desempenho Pareto-ótimo para uma determinada escala comportamental ($s$).
• Formulação Teórica: Derivada de um problema de otimização de Pareto que equilibra a utilidade downstream ($U$) e o custo de representação ($C$), a lei postula que a capacidade ideal cresce como uma lei de potência da complexidade comportamental.
• Fórmula Empírica:
  $$\ln C^*(s) = \beta + \alpha \ln(s/s_0)$$
  Onde $s$ representa a escala de dados (contagem de usuários ou horizonte temporal), e $\alpha$ é um coeficiente dependente da diversidade de dados e da eficiência do espaço de representação do método de tokenização.
• Validação: Experimentos em diferentes fontes de dados (PayBill, SPM, MiniProgram) e métodos de tokenização (RQ-VAE, VQ-VAE, SARQ) confirmam que a capacidade mínima suficiente segue essa trajetória de escalonamento logarítmico.

C. Rede de Portão de Comprimento Adaptativo (ALGN)

Passando da seleção de capacidade em nível de escala para a alocação em nível de instância, o artigo propõe a ALGN, um novo método de tokenização inspirado na Lei de Densificação.

• Motivação: A tokenização de comprimento fixo é subótima porque a heterogeneidade do comportamento do usuário varia; alguns períodos são ricos em informação enquanto outros são rotineiros.
• Mecanismo: A ALGN decide dinamicamente o comprimento do ID semântico para cada amostra de usuário. Em cada nível de quantização, uma rede de portão (gating network) avalia:
  1. Norma Residual: A quantidade de informação não explicada.
     osa Incerteza Acumulada: A ambiguidade do caminho semântico atual.
  2. Custo Marginal: O custo de adicionar outro nível de código.
• Regra de Decisão: O tokenizador continua para o próximo nível apenas se a utilidade marginal esperada (alta residual/incerteza) exceder o custo marginal. Isso resulta em tokens de comprimento variável, alocando mais capacidade para comportamentos complexos e menos para os redundantes.

3. Principais Contribuições

1. Diagnóstico de Escalonamento: O artigo identifica empiricamente a "Parede de Escalonamento Comportamental Bruto", demonstrando que o aprendizado de representação de usuário industrial sofre de uma severa saturação de redundância. Mostra que aumentar os parâmetros do modelo além de um certo ponto sob dados fixos leva à dissociação qualidade-perda.
2. Lei de Densificação Comportamental: Formula uma "receita" preditiva para a configuração de tokenização. A lei quantifica como a capacidade de tokenização mínima suficiente escala com o volume de dados, fornecendo um guia principista para a seleção de configuração em ambientes de escala de bilhões.
3. Tokenização Adaptativa (ALGN): Introduz uma estratégia de tokenização de comprimento variável que aloca capacidade de forma adaptativa baseada na complexidade comportamental. A ALGN supera os baselines de comprimento fixo e os métodos adaptativos existentes tanto em desempenho quanto em eficiência.

4. Resultados Experimentais

Os métodos propostos foram avaliados em um conjunto de dados de bilhões de usuários do Alipay em três tarefas downstream: Classificação (Linear Probing), Recuperação Baseada em Texto (Text-based Retrieval) e Recuperação Usuário-para-Usuário (U2U Retrieval).

• Quebrando a Parede de Escalonamento: As representações tokenizadas (RQ-VAE) superaram consistentemente a modelagem de sequência bruta, particularmente no regime de saturação (históricos mais longos, populações de usuários maiores). Enquanto o desempenho dos dados brutos estabilizou, os dados tokenizados mostraram ganhos sustentados.
• Ganhos de Eficiência:
  • ALGN vs. Baselines: A ALGN alcançou desempenho de estado da arte (ex: +1,07% de AUC sobre o melhor baseline SARQ) enquanto reduzia o uso de capacidade em 13,23%.
  • Inclinação de Escalonamento: A aplicação da ALGN reduziu a inclinação de escalonamento da Lei de Densificação de 0,77 (RQ-VAE) para **0,59**, indicando uma utilização mais eficiente do espaço de representação.
• Generalizabilidade: A Lei de Densificação manteve-se verdadeira através de diferentes fontes de dados (PayBill, SPM, MiniProgram) e arquiteturas de tokenização (RQ-VAE, VQ-VAE, SARQ), com os coeficientes de escalonamento correlacionando-se com a singularidade intra-fonte de dados.

5. Significância e Alegações

O artigo afirma fornecer o primeiro teste empírico sistemático e em larga escala da suposição de que "mais dados e modelos maiores sempre geram melhores representações". Sua significância reside em:

• Mudança de Paradigma: Argumenta por uma transição da coleta de mais dados brutos para a otimização da densidade de informação dos dados existentes. Isso oferece uma alternativa principista à prática computacional e ambientalmente custosa do escalonamento indiscriminado de dados.
• Diretrizes Práticas: Os limiares de saturação identificados (ex: 0,03B usuários, 60 dias) oferecem orientação concreta para profissionais industriais em relação a políticas de retenção de dados e alocação de orçamento de treinamento.
• Fundação Teórica: Ao estabelecer a Lei de Densificação Comportamental, o artigo fornece um framework teórico para prever a capacidade de tokenização mínima necessária para escalas de dados específicas, movendo o aprendizado de representação de usuário do ajuste heurístico para a estimativa quantitativa.
• Fronteira Custo-Desempenho: O trabalho demonstra que codificadores menores operando em entradas densificadas e tokenizadas podem superar modelos maiores treinados em históricos brutos mais longos, efetivamente deslocando a fronteira de desempenho-custo.

Os autores observam modestamente que o estudo atual foca em uma única modalidade de dados (logs comportamentais textuais) e que a generalizabilidade da Lei de Densificação para outras modalidades (ex: consumo de vídeo) requer validação adicional.