Résumé Technique : Lois d'Échelle pour les Modèles de Fondation Comportementaux sur les Séquences d'Événements Utilisateurs

Énoncé du Problème

Les modèles de fondation sont de plus en plus appliqués aux séquences d'actions des utilisateurs dans des domaines tels que la recommandation, les paiements, la détection de fraude et le commerce. Cependant, contrairement aux grands modèles de langage (LLM), ces modèles comportementaux manquent de lois d'échelle établies pour guider l'allocation de calcul. Une distinction architecturale critique existe : alors que les tokens des LLM sont généralement des identifiants de vocabulaire opaques, les événements comportementaux sont riches en caractéristiques (contenant du texte, des métadonnées, des caractéristiques visuelles, des horodatages, etc.). Par conséquent, les systèmes modernes emploient une architecture en deux parties : un encodeur d'événements basé sur les caractéristiques qui mappe les caractéristiques brutes des articles vers des vecteurs denses, et un contextualiseur transformer de type decoder-only qui modélise les séquences de ces plongements (embeddings).

Cette architecture introduit des défis d'échelle uniques, absents des modèles de langage textuels standards. L'encodeur doit être recalculé pour chaque article candidat lors de l'inférence, ce qui est prohibitif pour de vastes catalogues. La pratique standard implique une recette d'entraînement en deux étapes : un entraînement conjoint avec un softmax échantillonné au sein du batch (in-batch sampled softmax), suivi du gel de l'encodeur et de la mise en cache des plongements pour entraîner le contextualiseur avec un pool plus large de négatifs échantillonnés. Cette configuration crée quatre hyperparamètres couplés (boutons de réglage) qui nécessitent un étalonnage :

1. Part de l'Encodeur (Embedder Share) : La proportion de paramètres allouée à l'encodeur par rapport au contextualiseur.
2. Taille de Batch Critique : La taille de batch qui maximise l'efficacité des données.
3. Allocation Modèle/Données : La répartition optimale du budget de calcul entre la taille du modèle ($N$) et les tokens de données ($D$).
4. Échantillonnage de Négatifs : Le nombre de négatifs échantillonnés ($K$) utilisés après le gel de l'encodeur.

Méthodologie

L'étude mène une investigation empirique exhaustive sur environ 600 sessions d'entraînement sur un corpus d'interactions de vente au détail réel (combinant recherches, vues, clics et achats). Les expériences couvrent une plage de budget de calcul de $C \in [10^{15}, 10^{19}]$ FLOPs.

Le design expérimental isole quatre axes tout en maintenant les autres constants ou en les balayant systématiquement :

• Architecture : Variation de la part de paramètres de l'encodeur ($s = p_e/N$) de 0 % à 50 % et de la profondeur du contextualiseur.
• Taille de Batch : Balayage des tailles de batch globales ($B$) de 64 à 2048 pour identifier les tailles de batch critiques ($B_{crit}$) pour différentes métriques.
• Allocation Modèle/Données : Entraînement sur des frontières d'iso-FLOP pour déterminer le $N$ et le $D$ optimaux pour divers budgets, en comparant avec l'heuristique « Chinchilla » ($D/N \approx 20$).
• Échantillonnage de Négatifs : Variation du nombre de négatifs supplémentaires échantillonnés ($K$) de 0 à 2 millions lors de la seconde étape d'entraînement.

Protocole d'Évaluation : L'étude distingue deux régimes d'évaluation :

1. Étape 1 (In-batch) : Évaluation contre des cibles uniques au sein du batch, correspondant à la distribution d'entraînement.
2. Étape 2 (Full-Catalogue) : Évaluation contre l'intégralité du catalogue de produits mis en cache, simulant le cadre de déploiement de la recherche (retrieval).
   Les métriques incluent la perte de cross-entropie, la perplexité, le Recall@k, l'NDCG@k, le MRR@10 et la couverture.

Contributions Clés et Résultats

1. L'Encodeur Optimal en Calcul est Petit

Contrairement à l'intuition selon laquelle des entrées riches en caractéristiques nécessitent des encodeurs volumineux, l'étude révèle que la part optimale de l'encodeur est remarquablement petite et stable sur quatre décennies de calcul.

• Résultat : La part de paramètres optimale est $s^\star \approx 2\%$ (spécifiquement $1,1\% - 3,7\%$ selon la métrique et le budget).
• Mécanisme : Cela est piloté par deux asymétries :
  1. Asymétrie de Calcul : Les paramètres de l'encodeur sont touchés $\approx 24$ fois plus souvent par article que les paramètres du contextualiseur en raison de la courte longueur de contexte de l'encodeur par rapport à la longueur de séquence du transformer.
  2. Asymétrie de Distribution de Données : Les articles populaires du catalogue sont répétés des centaines à des milliers de fois, exposant l'encodeur à une mémorisation à haute fréquence, tandis que le contextualiseur voit rarement la même fenêtre d'événements deux fois.
• Implication : Un petit encodeur est optimal en termes de calcul car ses paramètres sont plus coûteux par étape et voient une distribution de données plus répétitive.

2. Le Passage à l'Échelle est Initialement Gourmand en Données, puis Converge vers Chinchilla

Les modèles comportementaux présentent des dynamiques de mise à l'échelle différentes de celles des LLM textuels, particulièrement à de faibles budgets de calcul.

• Résultat : Le ratio optimal données-paramètres ($D/N$) est initialement très élevé, commençant à $\approx 344$ à $10^{15}$ FLOPs et diminuant à $\approx 36$ à $10^{19}$ FLOPs.
• Tendance : À mesure que le calcul augmente, le ratio se rapproche de l'heuristique Chinchilla du texte ($D/N \approx 20$).
• Exposants : Le modèle d'exposant de la taille du modèle ajusté est $N^\star \propto C^{0,617 \pm 0,025}$, cohérent avec diverses métriques de classement (Recall, NDCG).

3. Les Métriques d'Évaluation Définissent la Loi d'Échelle

Une conclusion centrale est que le choix de la métrique d'évaluation modifie fondamentalement la « recette optimale de calcul ».

• Taille de Batch Critique ($B_{crit}$) : Les métriques divergent sur la taille de batch optimale. La perte (loss) et le Recall@10 partagent un $B_{crit} \approx 570$, tandis que les métriques pondérées par la position (NDCG@10, MRR@10) saturent plus tôt à $B_{crit} \approx 200\text{--}275$.
• Échantillonnage de Négatifs ($K$) : Le nombre optimal de négatifs dépend de la métrique. Les métriques de type perte préfèrent un $K$ plus grand (souvent $>10^6$), tandis que les métriques de classement préfèrent un $K$ plus petit (souvent $10^5$).
• Désaccord entre Perte et Classement : La perte d'entraînement du softmax échantillonné n'est pas toujours un indicateur fiable de la qualité du classement sur le catalogue complet. Dans l'étape 2, la corrélation entre la perte d'entraînement et les métriques de classement peut changer de signe selon le budget de calcul et la métrique utilisée.

4. L'Échantillonnage de Négatifs Passe des Contraintes de Calcul aux Contraintes de Mémoire

• Petits Budgets : Le $K$ optimal se situe dans les centaines de milliers et dépend de la métrique.
• Grands Budgets ($10^{19}$ FLOPs) : À la plus grande échelle, chaque métrique de premier plan continue de s'améliorer à mesure que $K$ augmente jusqu'au maximum testé ($2M$). La contrainte active passe des FLOPs à la mémoire de l'axe des candidats (l'empreinte mémoire des logits du softmax).
• Implication : À grande échelle, l'échantillonnage de négatifs devient un problème d'ingénierie de la mémoire plutôt qu'un pur problème d'allocation de calcul.

Signification et Revendications

L'article affirme que pour les modèles de fondation comportementaux, la métrique d'évaluation fait partie de la loi d'échelle. Contrairement aux LLM où une fonction de perte unique suffit souvent à guider l'architecture et les recettes d'entraînement, les modèles comportementaux exigent que les praticiens sélectionnent leur métrique cible avant d'ajuster les lois d'échelle. Changer la métrique peut changer la part optimale de l'encodeur, la taille de batch et la stratégie d'échantillonnage des négatifs.

L'étude fournit une « recette » calibrée pour les praticiens entraînant des piles standard encodeur d'événements $\to$ transformer :

1. Architecture : Utiliser un encodeur petit ($\approx 2\%$ des paramètres).
2. Données : Utiliser une allocation riche en données ($D/N$) à faible calcul, convergeant vers Chinchilla à haut calcul.
3. Taille de Batch : Ajuster en fonction de la métrique cible spécifique (plus faible pour le classement, plus élevée pour la perte).
4. Échantillonnage de Négatifs : Traiter l'échantillonnage de négatifs à grande échelle comme un problème de mémoire ; utiliser un $K$ dans les centaines de milliers pour les déploiements standards, tout en reconnaissant qu'à $10^{19}$ FLOPs, les contraintes de mémoire, et non de calcul, limitent les gains supplémentaires.

Les auteurs soulignent que si les exposants d'échelle (comment $N$ et $D$ croissent avec $C$) sont relativement robustes à travers les métriques, la recette actionnable (la cellule spécifique à déployer) est hautement sensible à la métrique d'évaluation choisie.