Resumen Técnico: Leyes de Escalamiento para Modelos Fundacionales de Comportamiento sobre Secuencias de Eventos de Usuario

Declaración del Problema

Los modelos fundacionales se están aplicando cada vez más a secuencias de acciones de usuario en dominios como recomendaciones, pagos, detección de fraude y comercio. Sin embargo, a diferencia de los Grandes Modelos de Lenguaje (LLMs), estos modelos de comportamiento carecen de leyes de escalamiento establecidas que guíen la asignación de cómputo. Existe una distinción arquitectónica crítica: mientras que los tokens de un LLM son típicamente IDs de vocabulario opacos, los eventos de comportamiento son ricos en características (contienen texto, metadatos, características visuales, marcas de tiempo, etc.). En consecuencia, los sistemas modernos emplean una arquitectura de dos partes: un codificador de eventos basado en características que mapea las características de los elementos brutos a vectores densos, y un contextualizador de transformador de solo decodificador que modela las secuencias de estos embeddings.

Esta arquitectura introduce desafíos de escalamiento únicos que no están presentes en los LMs de texto estándar. Específicamente, el codificador debe recomputarse para cada elemento candidato durante la inferencia, lo cual es prohibitivamente costoso para catálogos grandes. La práctica estándar implica una receta de entrenamiento de dos etapas: entrenamiento conjunto con softmax muestreado en el lote (in-batch), seguido de la congelación del codificador y el almacenamiento en caché de los embeddings para entrenar el contextualizador con un grupo más grande de negativos muestreados. Esta configuración crea cuatro hiperparámetros acoplados (perillas) que requieren calibración:

1. Participación del Codificador (Embedder Share): La proporción de parámetros asignados al codificador frente al contextualizador.
2. Tamaño de Lote Crítico: El tamaño de lote que maximiza la eficiencia de los datos.
3. Asignación de Modelo/Datos: La división óptima del presupuesto de cómputo entre el tamaño del modelo ($N$) y los tokens de datos ($D$).
4. Muestreo de Negativos: El número de negativos muestreados ($K$) utilizados después de que el codificador es congelado.

Metodología

El estudio realiza una investigación empírica exhaustiva a través de aproximadamente 600 ejecuciones de entrenamiento en un corpus de interacciones minoristas del mundo real (combinando búsquedas, vistas, clics y compras). Los experimentos abarcan un rango de presupuesto de cómputo de $C \in [10^{15}, 10^{19}]$ FLOPs.

El diseño experimental aísla cuatro ejes mientras mantiene otros constantes o los recorre sistemáticamente:

• Arquitectura: Variando la participación de parámetros del codificador ($s = p_e/N$) del 0% al 50% y la profundidad del contextualizador.
• Tamaño de Lote: Recorriendo tamaños de lote globales ($B$) de 64 a 2048 para identificar tamaños de lote críticos ($B_{crit}$) para diferentes métricas.
• Asignación de Modelo/Datos: Entrenando en fronteras de iso-FLOPs para determinar el $N$ y $D$ óptimos para varios presupuestos, comparándolos con la heurística "Chinchilla" ($D/N \approx 20$).
• Muestreo de Negativos: Variando el número de negativos adicionales muestreados ($K$) de 0 a 2 millones en la segunda etapa de entrenamiento.

Protocolo de Evaluación: El estudio distingue entre dos regímenes de evaluación:

1. Etapa 1 (In-batch): Evaluación contra objetivos únicos dentro del lote, coincidiendo con la distribución de entrenamiento.
2. Etapa 2 (Catálogo Completo): Evaluación contra el catálogo completo de productos almacenado en caché, simulando el entorno de despliegue de recuperación.
   Las métricas incluyen pérdida de entropía cruzada, perplejidad, recall@k, NDCG@k, MRR@10 y cobertura.

Contribuciones Clave y Resultados

1. El Codificador Óptimo de Cómputo es Pequeño

Contrario a la intuición de que las entradas ricas en características requieren codificadores grandes, el estudio encuentra que la participación óptima del codificador es notablemente pequeña y estable a través de cuatro décadas de cómputo.

• Hallazgo: La participación de parámetros óptima es $s^\star \approx 2\%$ (específicamente $1.1\% - 3.7\%$ dependiendo de la métrica y el presupuesto).
• Mecanismo: Esto es impulsado por dos asimetrías:
  1. Asimetría de Cómputo: Los parámetros del codificador son tocados $\approx 24$ veces más a menudo por ítem que los parámetros del contextualizador debido a la longitud de contexto corta del codificador frente a la longitud de secuencia del transformador.
  2. Asimetría de Distribución de Datos: Los ítems populares en el catálogo se repiten cientos o miles de veces, exponiendo al codificador a una memorización de alta frecuencia, mientras que el contextualizador rara vez ve la misma ventana de eventos dos veces.
• Implicación: Un codificador pequeño es óptimo en términos de cómputo porque sus parámetros son más costosos por paso y ven una distribución de datos más repetitiva.

2. El Escalamiento es Inicialmente Pesado en Datos, Convergiendo a Chinchilla

Los modelos de comportamiento exhiben dinámicas de escalamiento diferentes a los LMs de texto, particularmente a presupuestos de cómputo más bajos.

• Hallazgo: La relación óptima de datos a parámetros ($D/N$) es inicialmente muy alta, comenzando en $\approx 344$ a $10^{15}$ FLOPs y disminuyendo a $\approx 36$ a $10^{19}$ FLOPs.
• Tendencia: A medida que el cómputo aumenta, la relación se acerca a la heurística Chinchilla de los LMs de texto ($D/N \approx 20$).
• Exponentes: El modelo de exponente de tamaño de modelo ajustado es $N^\star \propto C^{0.617 \pm 0.025}$, consistente en varias métricas de ranking (Recall, NDCG).

3. Las Métricas de Evaluación Definen la Ley de Escalamiento

Un hallazgo central es que la elección de la métrica de evaluación altera fundamentalmente la "receta óptima de cómputo".

• Tamaño de Lote Crítico ($B_{crit}$): Las métricas discrepan sobre el tamaño de lote óptimo. La pérdida (loss) y el Recall@10 comparten un $B_{crit} \approx 570$, mientras que las métricas ponderadas por posición (NDCG@10, MRR@10) se saturan antes en $B_{crit} \approx 200\text{--}275$.
• Muestreo de Negativos ($K$): El número óptimo de negativos depende de la métrica. Las métricas tipo pérdida prefieren un $K$ mayor (a menudo $>10^6$), mientras que las métricas de ranking prefieren un $K$ menor (a menudo $10^5$).
• Desacuerdo entre Pérdida y Ranking: La pérdida de entrenamiento de softmax muestreado no siempre es un proxy confiable para la calidad de ranking del catálogo completo. En la Etapa 2, la correlación entre la pérdida de entrenamiento y las métricas de ranking puede cambiar de signo dependiendo del presupuesto de cómputo y la métrica específica utilizada.

4. El Muestreo de Negativos Cambia de Restricciones de Cómputo a Memoria

• Presupuestos Pequeños: El $K$ óptimo está en los cientos de miles y depende de la métrica.
• Presupuestos Grandes ($10^{19}$ FLOPs): En la mayor escala, cada métrica principal continúa mejorando a medida que $K$ aumenta hasta el máximo probado ($2M$). La restricción activa cambia de FLOPs a memoria del eje de candidatos (la huella de memoria de los logits de softmax).
• Implicación: A escala, el muestreo de negativos se convierte en un problema de ingeniería de memoria más que en un problema puro de asignación de cómputo.

Significancia y Reivindicaciones

El artículo afirma que, para los modelos fundacionales de comportamiento, la métrica de evaluación es parte de la ley de escalamiento. A diferencia de los LMs de texto donde una única función de pérdida suele ser suficiente para guiar la arquitectura y las recetas de entrenamiento, los modelos de comportamiento requieren que los profesionales seleccionen su métrica objetivo antes de ajustar las leyes de escalamiento. Cambiar la métrica puede cambiar la participación óptima del codificador, el tamaño del lote y la estrategia de muestreo de negativos.

El estudio proporciona una "receta" calibrada para los profesionales que entrenan pilas de codificador de eventos $\to$ transformador:

1. Arquitectura: Usar un codificador pequeño ($\approx 2\%$ de los parámetros).
2. Datos: Usar una asignación pesada en datos ($D/N$) a bajo cómputo, convergiendo hacia Chinchilla a alto cómputo.
3. Tamaño de Lote: Ajustar según la métrica objetivo específica (menor para ranking, mayor para pérdida).
4. Muestreo de Negativos: Tratar el muestreo de negativos a gran escala como un problema de memoria; usar $K$ en los cientos de miles para despliegues estándar, pero reconocer que a $10^{19}$ FLOPs, las restricciones de memoria, no de cómputo, limitan las ganancias adicionales.

Los autores enfatizan que, si bien los exponentes de escalamiento (cómo $N$ y $D$ crecen con $C$) son relativamente robustos entre métricas, la receta accionable (la celda específica a desplegar) es altamente sensible a la métrica de evaluación elegida.