Resumo Técnico: Leis de Escalonamento para Modelos de Fundação Comportamentais sobre Sequências de Eventos de Usuário

Declaração do Problema

Modelos de fundação estão sendo cada vez mais aplicados a sequências de ações de usuários em domínios como recomendação, pagamentos, detecção de fraude e comércio. No entanto, ao contrário dos Grandes Modelos de Linguagem (LLMs), esses modelos comportamentais carecem de leis de escalonamento estabelecidas para guiar a alocação de computação. Existe uma distinção arquitetural crítica: enquanto os tokens de LLMs são tipicamente IDs de vocabulário opacos, os eventos comportamentais são ricos em recursos (contendo texto, metadados, recursos visuais, carimbos de data/hora, etc.). Consequentemente, sistemas modernos empregam uma arquitetura de duas partes: um codificador de eventos baseado em recursos que mapeia recursos brutos de itens para vetores densos, e um contextualizador transformer decoder-only que modela sequências desses embeddings.

Esta arquitetura introduz desafios de escalonamento únicos, não presentes em LMs de texto padrão. O codificador deve ser recomputado para cada item candidato durante a inferência, o que é proibitivamente caro para catálogos grandes. A prática padrão envolve uma receita de treinamento de duas etapas: treinamento conjunto com in-batch sampled softmax, seguido pelo congelamento do codificador e cache de embeddings para treinar o contextualizador com um pool maior de negativos amostrados. Esta configuração cria quatro hiperparâmetros acoplados (botões) que requerem calibração:

1. Participação do Codificador (Embedder Share): A proporção de parâmetros alocados ao codificador versus ao contextualizador.
2. Tamanho de Lote Crítico (Critical Batch Size): O tamanho de lote que maximiza a eficiência de dados.
3. Alocação de Modelo/Dados: A divisão ideal do orçamento de computação entre o tamanho do modelo ($N$) e os tokens de dados ($D$).
4. Amostragem de Negativos (Negative Sampling): O número de negativos amostrados ($K$) usados após o congelamento do codificador.

Metodologia

O estudo conduz uma investigação empírica abrangente através de aproximadamente 600 execuções de treinamento em um corpus de interação de varejo do mundo real (combinando buscas, visualizações, cliques e compras). Os experimentos abrangem uma faixa de orçamento de computação de $C \in [10^{15}, 10^{19}]$ FLOPs.

O design experimental isola quatro eixos enquanto mantém outros constantes ou os varre sistematicamente:

• Arquitetura: Variando a participação de parâmetros do codificador ($s = p_e/N$) de 0% a 50% e a profundidade do contextualizador.
• Tamanho de Lote: Varrendo tamanhos de lote globais ($B$) de 64 a 2048 para identificar tamanhos de lote críticos ($B_{crit}$) para diferentes métricas.
• Alocação de Modelo/Dados: Treinando em fronteiras de iso-FLOPs para determinar o $N$ e $D$ ideais para vários orçamentos, comparando com a heurística "Chinchilla" ($D/N \approx 20$).
• Amostragem de Negativos: Variando o número de negativos extras amostrados ($K$) de 0 a 2 milhões na segunda etapa de treinamento.

Protocolo de Avaliação: O estudo distingue dois regimes de avaliação:

1. Estágio 1 (In-batch): Avaliação contra alvos únicos dentro do lote, correspondendo à distribuição de treinamento.
2. Estágio 2 (Full-Catalogue): Avaliação contra o catálogo completo de produtos em cache, simulando o cenário de implantação de recuperação (retrieval).
   As métricas incluem perda de entropia cruzada, perplexidade, recall@k, NDCG@k, MRR@10 e cobertura.

Contribuições Principais e Resultados

1. O Codificador Computacionalmente Ótimo é Pequeno

Ao contrário da intuição de que entradas ricas em recursos exigem codificadores grandes, o estudo descobre que a participação ideal do codificador é notavelmente pequena e estável através de quatro décadas de computação.

• Descoberta: A participação de parâmetros ideal é $s^\star \approx 2\%$ (especificamente $1,1\% - 3,7\%$ dependendo da métrica e do orçamento).
• Mecanismo: Isso é impulsionado por duas assimetrias:
  1. Assimetria de Computação: Os parâmetros do codificador são tocados $\approx 24$ vezes mais frequentemente por item do que os parâmetros do contextualizador devido ao curto comprimento de contexto do codificador versus o comprimento da sequência do transformer.
  2. Assimetria de Distribuição de Dados: Itens populares no catálogo são repetidos centenas ou milhares de vezes, expondo o codificador à memorização de alta frequência, enquanto o contextualizador raramente vê a mesma janela de evento duas vezes.
• Implicação: Um codificador pequeno é computacionalmente ótimo porque seus parâmetros são mais caros por passo e veem uma distribuição de dados mais repetitiva.

2. O Escalonamento é Inicialmente Pesado em Dados, Convergindo para Chinchilla

Modelos comportamentais exibem dinâmicas de escalonamento diferentes de LMs de texto, particularmente em orçamentos de computação mais baixos.

• Descoberta: A razão ideal de dados para parâmetros ($D/N$) é inicialmente muito alta, começando em $\approx 344$ em $10^{15}$ FLOPs e diminuindo para $\approx 36$ em $10^{19}$ FLOPs.
• Tendência: À medida que a computação aumenta, a razão se aproxima da heurística Chinchilla de LMs de texto ($D/N \approx 20$).
• Expoentes: O modelo de tamanho de modelo ajustado é $N^\star \propto C^{0,617 \pm 0,025}$, consistente em várias métricas de ranking (Recall, NDCG).

3. Métricas de Avaliação Definem a Lei de Escalonamento

Uma descoberta central é que a escolha da métrica de avaliação altera fundamentalmente a "receita computacionalmente ótima".

• Tamanho de Lote Crítico ($B_{crit}$): As métricas discordam sobre o tamanho de lote ideal. Perda (loss) e Recall@10 compartilham um $B_{crit} \approx 570$, enquanto métricas ponderadas por posição (NDCG@10, MRR@10) saturam mais cedo em $B_{crit} \approx 200\text{--}275$.
• Amostragem de Negativos ($K$): O número ideal de negativos é dependente da métrica. Métricas do tipo perda preferem um $K$ maior (frequentemente $>10^6$), enquanto métricas de ranking preferem um $K$ menor (frequentemente $10^5$).
• Discordância entre Loss e Ranking: A perda de treinamento do sampled-softmax nem sempre é um proxy confiável para a qualidade de ranking do catálogo completo. No Estágio 2, a correlação entre a perda de treinamento e as métricas de ranking pode inverter o sinal dependendo do orçamento de computação e da métrica específica utilizada.

4. A Amostragem de Negativos Muda de Restrições de Computação para Restrições de Memória

• Pequenos Orçamentos: O $K$ ideal está na casa das centenas de milhares e é dependente da métrica.
• Grandes Orçamentos ($10^{19}$ FLOPs): Na maior escala, cada métrica principal continua a melhorar conforme $K$ aumenta até o máximo testado ($2M$). A restrição ativa muda de FLOPs para memória do eixo de candidatos (a pegada de memória dos logits do softmax).
• Implicação: Em escala, a amostragem de negativos torna-se um problema de engenharia de memória em vez de um puro problema de alocação de computação.

Significância e Alegações

O artigo afirma que, para modelos de fundação comportamentais, a métrica de avaliação é parte da lei de escalonamento. Ao contrário dos LMs de texto, onde uma única função de perda costuma ser suficiente para guiar arquiteturas e receitas de treinamento, os modelos comportamentais exigem que os praticantes selecionem sua métrica alvo antes de ajustar as leis de escalonamento. Mudar a métrica pode mudar a participação ideal do codificador, o tamanho do lote e a estratégia de amostragem de negativos.

O estudo fornece uma "receita" calibrada para praticantes treinando pilhas de embedder de evento $\to$ transformer:

1. Arquitetura: Use um codificador pequeno ($\approx 2\%$ dos parâmetros).
2. Dados: Use uma alocação pesada de dados ($D/N$) em baixa computação, convergindo para Chinchilla em alta computação.
3. Tamanho de Lote: Ajuste com base na métrica alvo específica (menor para ranking, maior para perda).
4. Amostragem de Negativos: Trate a amostragem de negativos em grande escala como um problema de memória; use $K$ nas centenas de milhares para implantações padrão, mas reconheça que em $10^{19}$ FLOPs, as restrições de memória, não de computação, limitam novos ganhos.

Os autores enfatizam que, embora os expoentes de escalonamento (como $N$ e $D$ crescem com $C$) sejam relativamente robustos entre as métricas, a receita acionável (a célula específica a ser implantada) é altamente sensível à métrica de avaliação escolhida.