🤖 AI

Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design

Le document présente Kunlun, une architecture unifiée pour les systèmes de recommandation à grande échelle qui établit des lois d'échelle prévisibles en traitant la faible efficacité de mise à l'échelle grâce à des optimisations de bas niveau telles que l'Attention par Produit Scalaire Généralisée et le Regroupement Hiérarchique de Graines (Hierarchical Seed Pooling), parallèlement à des innovations de haut niveau comme le Saut de Calcul (Computation Skip), doublant ainsi l'efficacité de mise à l'échelle et réalisant un impact significatif en production dans Meta Ads.

Auteurs originaux : Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Y

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Yuzhen Huang, Chao Chen, Yue Dong, Yi Yang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Darren Liu, Jade Nie, Chunzhi Yang, Ellie Wen, Jiyan Yang, Huayu Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigiez une place de marché numérique massive et à haute vitesse (comme celle utilisée par Meta pour ses publicités). Chaque seconde, des millions de personnes font défiler leur écran, et le système doit deviner quelle publicité chaque personne cliquera. Pour faire ces suppositions, le système utilise un « cerveau » (un modèle d'apprentissage automatique) qui examine deux types d'indices :

L'Histoire (Séquence) : Ce que l'utilisateur a fait récemment (par exemple : « J'ai cliqué sur une chaussure, puis un chapeau, puis un sac à dos »).
Le Instantané (Contexte) : Qui est l'utilisateur en ce moment (par exemple : « Il pleut », « Ils sont à New York », « Ils ont 25 ans »).

Pendant longtemps, construire un « cerveau » capable de gérer à la fois l'histoire et l'instantané de manière efficace revenait à essayer de conduire une voiture de course avec des roues carrées. Cela fonctionnait, mais c'était incroyablement lent et consommait énormément de carburant (puissance de calcul). Les chercheurs appellent ce problème une « faible efficacité de mise à l'échelle » (poor scaling efficiency). En gros, lorsque les chercheurs essayaient de rendre le cerveau plus grand pour le rendre plus intelligent, il ne devenait pas assez intelligent assez vite pour justifier le coût supplémentaire.

Voici venu Kunlun. Nommé d'après une chaîne de montagnes qui unifie des sommets divers, Kunlun est une nouvelle architecture conçue pour réparer ces roues carrées. L'article affirme qu'il résout le problème en optimisant le système à deux niveaux : les « rouages » (bas niveau) et la « gestion du trafic » (haut niveau).

Voici comment fonctionne Kunlun, en utilisant des analogies de la vie quotidienne :

1. Les corrections de bas niveau : Réparer le moteur

Les anciens systèmes possédaient des pièces inefficaces, ce qui faisait que le « moteur » de l'ordinateur (le GPU) restait inactif en attendant les données. Kunlun remplace celles-ci par des pièces haute performance :

GDPA (Le Traducteur Personnalisé) :
- Le Problème : L'ancien système essayait de traduire l'« Histoire » en se basant sur l'« Instantané » en utilisant un processus maladroit, étape par étape, ce qui gaspillait du temps.
- La Solution : Kunlun utilise la GDPA (Generalized Dot-Product Attention). Voyez cela comme un traducteur qui ne se contente pas de traduire mot à mot, mais qui comprend instantanément le contexte de la phrase entière. Il fusionne les étapes pour que l'ordinateur n'ait pas à s'arrêter et repartir, rendant le moteur beaucoup plus fluide.
HSP (Le Résumeur) :
- Le Problème : Les utilisateurs ont des historiques longs (des milliers de clics). L'ancien système essayait de lire chaque clic individuellement, ce qui était accablant.
- La Solution : Le HSP (Hierarchical Seed Pooling) est comme un éditeur intelligent. Au lieu de lire une biographie de 500 pages, il lit le livre, écrit un résumé de 10 pages, puis un abstract d'une page. Il condense l'historique long en un résumé compact et puissant que le système peut réellement utiliser sans s'enliser.
Sliding Window Attention (Le Focus Local) :
- Le Problème : L'ancien système essayait de comparer la toute première chose qu'un utilisateur a faite avec ce qu'il fait en ce moment même. Mais généralement, ce que vous avez fait la semaine dernière importe bien plus que ce que vous avez fait l'année dernière.
- La Solution : La Sliding Window Attention dit au système : « Ne regarde pas tout l'historique ; regarde juste les dernières pages. » Elle se concentre sur les interactions récentes, ce qui économise une quantité massive de puissance de calcul tout en maintenant la précision des prédictions.

2. Les corrections de haut niveau : Gestion intelligente du trafic

Même avec un excellent moteur, vous pouvez gaspiller du carburant si vous roulez dans la mauvaise direction ou si vous vous arrêtez à chaque feu rouge. Kunlun change la façon dont les ressources sont distribuées :

CompSkip (La Voie Express) :
- Le Problème : L'ancien système forçait le cerveau à effectuer exactement le même travail lourd à chaque étape, même quand ce n'était pas nécessaire.
- La Solution : CompSkip est comme un système de feux de signalisation intelligents. Il réalise que certaines étapes n'ont pas besoin d'un « auto-contrôle » complet (Self-Attention) et que certaines n'ont pas besoin d'un « résumé » complet (HSP). Il saute les étapes inutiles sur des couches alternées. Si la voiture va tout droit, elle n'a pas besoin de vérifier le rétroviseur chaque seconde. Cela économise énormément d'énergie.
Événement de Personnalisation au Niveau de l'Événement (Le Traitement VIP) :
- Le Problème : L'ancien système traitait un « clic » (un signal fort) de la même manière qu'une « impression » (le simple fait de voir une publicité). Il gaspillait des ressources sur des événements de faible valeur.
- La Solution : Kunlun accorde un traitement VIP aux événements importants. Si un utilisateur est sur le point d'acheter quelque chose (un événement à haute valeur), le système alloue plus de puissance de calcul et une analyse plus profonde. S'il s'agit d'une simple navigation occasionnelle, il utilise une approche plus légère et plus rapide. C'est comme un restaurant qui offre un menu de dégustation complet à un client VIP et un café rapide à quelqu'un de passage.

Le Résultat : La « Loi d'Échelle » (Scaling Law)

L'article affirme qu'en combinant ces correctifs, Kunlun atteint quelque chose que l'industrie peinait à accomplir : des Lois d'Échelle Prévisibles.

Dans le passé, doubler la puissance de calcul ne signifiait pas toujours doubler l'intelligence. Avec Kunlun, la relation est prévisible et efficace.

Boost d'Efficacité : Sur les derniers supercalculateurs (GPU NVIDIA B200), Kunlun utilise le matériel deux fois plus efficacement que les méthodes précédentes (passant d'une utilisation de 17 % à 37 %).
Impact Réel : Ce n'est pas seulement une expérience de laboratoire. Meta a déployé Kunlun dans ses principaux modèles publicitaires. Le résultat ? Une amélioration de 1,2 % des indicateurs commerciaux clés. Dans le monde de la publicité, où des milliards de décisions sont prises quotidiennement, ce petit pourcentage est une victoire massive.

En résumé : Kunlun est une façon plus intelligente, plus svelte et plus organisée de construire des systèmes de recommandation. Il arrête de gaspiller du carburant avec des roues carrées, saute les arrêts inutiles et donne un traitement VIP aux indices les plus importants, permettant au système de devenir nettement plus intelligent à mesure qu'il grandit.

Résumé technique : Kunlun – Établir des lois de mise à l'échelle pour les systèmes de recommandation à très grande échelle

1. Formulation du problème

Les systèmes de recommandation modernes, particulièrement dans la publicité à grande échelle, nécessitent la modélisation conjointe des comportements séquentiels des utilisateurs (ex. : historique de clics) et des caractéristiques de contexte non séquentielles (ex. : démographie de l'utilisateur, métadonnées de la publicité). Bien que les lois de mise à l'échelle (scaling laws) — des relations mathématiques prévisibles entre l'investissement computationnel et la performance du modèle — soient bien établies pour les grands modèles de langage (LLM), elles restent un défi ouvert pour les systèmes de recommandation qui gèrent ce mélange de caractéristiques hétérogènes.

Les auteurs identifient une mauvaise efficacité de mise à l'échelle comme le principal obstacle à l'établissement de ces lois. L'efficacité de mise à l'échelle est définie comme le taux d'amélioration de la performance par unité d'investissement computationnel. L'article soutient que les systèmes de pointe actuels ne parviennent pas à atteindre une mise à l'échelle en loi de puissance prévisible en raison de deux goulots d'étranglement critiques :

Modules inefficaces : Les architectures existantes souffrent d'une faible utilisation des FLOPs du modèle (MFU), variant souvent entre 3 et 15 % contre 40 à 60 % pour les LLM. Cela est dû à des espaces de caractéristiques hétérogènes entraînant de petites dimensions d'embedding, des formes de tenseurs irrégulières et des opérations limitées par la mémoire.
Allocation inefficace des ressources : Une mise à l'échelle naïve de tous les composants de manière égale conduit à des rendements décroissants, car différentes couches et types d'événements (ex. : clics vs impressions) bénéficient de schémas computationnels distincts.

2. Méthodologie : L'architecture Kunlun

Pour relever ces défis, les auteurs proposent Kunlun, une architecture unifiée conçue via une codétermination systématique de l'efficacité du modèle (model-efficiency codesign) à deux niveaux : l'optimisation des modules de bas niveau et la réallocation de la computation de haut niveau.

2.1 Aperçu de l'architecture

Kunlun emploie une architecture multicouche où chaque couche traite à la fois les séquences et les caractéristiques non séquentielles via deux composants principaux :

Bloc Transformer Kunlun : Gère la modélisation de séquence sensible au contexte en utilisant l'attention multi-têtes (MHA) et un réseau de propagation vers l'avant personnalisé (PFFN) amélioré par une attention par produit scalaire généralisée (GDPA).
Bloc d'interaction Kunlun : Facilite l'échange d'informations bidirectionnel via la génération de poids, le regroupement de graines hiérarchique (HSP) et un module d'interaction globale.

2.2 Optimisations des modules de bas niveau

Ces optimisations visent l'efficacité computationnelle pour améliorer la MFU :

Attention par produit scalaire généralisée (GDPA) : Les auteurs reformulent le PFFN en un opérateur d'attention multi-têtes. Au lieu de multiplications matricielles séparées qui créent des goulots d'étranglement mémoire, la GDPA fusionne la transformation en un noyau unique (similaire à FlashAttention). Ici, les jetons de séquence agissent comme des requêtes (queries), tandis que les poids dérivés du contexte non séquentiel agissent comme des clés (keys) et des valeurs (values). Cela permet une utilisation efficace du GPU et permet un empilement stable du PFFN.
Regroupement de graines hiérarchique (HSP) : Pour résumer efficacement les séquences longues ( $T > 1000$ ), le HSP remplace les requêtes apprenables aléatoires (utilisées dans le Pooling by Multihead Attention standard) par un processus hiérarchique. Il apprend d'abord des représentations au niveau des graines, puis les compresse en utilisant une couche SumKronLinear, basée sur le produit de Kronecker. Cela permet une efficacité des paramètres (réduisant les paramètres d'environ 14× dans les configurations typiques) tout en maintenant l'expressivité trans-dimensionnelle.
Attention par fenêtre glissante : Reconnaissant le fort biais de localité dans les séquences de recommandation (les interactions récentes sont plus prédictives), le modèle restreint l'auto-attention à des fenêtres locales. Cela réduit la complexité de $O(T^2)$ à $O(Tw)$, améliorant considérablement le débit.

2.3 Réallocation de la computation de haut niveau

Ces stratégies optimisent la distribution des ressources à travers le modèle :

Saut de computation (CompSkip) : Inspiré par la redondance des couches dans les LLM, Kunlun implémente un motif « une couche sur deux ». Les couches paires sautent l'auto-attention pour calculer de nouveaux résumés HSP, tandis que les couches impaires sautent le HSP et le PFFN pour calculer l'auto-attention. Cela réduit les FLOPs d'environ 43 % tout en maintenant la qualité du modèle.
Personnalisation par niveau d'événement : Différents types d'événements (ex. : clics vs impressions) se voient assigner des hyperparamètres distincts (dimension du modèle, nombre de têtes, jetons de résumé, profondeur de couche et taille de fenêtre). Les événements à haute valeur reçoivent des configurations plus larges, tandis que les événements de moindre valeur utilisent des configurations plus petites, garantissant que les ressources sont allouées proportionnellement à l'importance du signal.
Mélange d'experts Wukong : Le module d'interaction globale emploie une approche de mélange d'experts (MoE) où plusieurs modules « Wukong » (modèles d'interaction de caractéristiques) opèrent en parallèle. Cela permet une mise à l'échelle horizontale en distribuant la computation entre les experts au sein d'une même couche.

3. Principales contributions

L'article présente quatre contributions majeures :

Formulation du problème : Formalisation du défi de l'efficacité de mise à l'échelle dans les systèmes de recommandation à très grande échelle, identifiant l'inefficacité des modules et l'allocation des ressources comme les causes racines d'une mise à l'échelle imprévisible.
Conception de l'architecture : Introduction de Kunlun, qui intègre des optimisations de bas niveau (GDPA, HSP, Fenêtre glissante) et des innovations de haut niveau (CompSkip, Personnalisation par niveau d'événement) pour unifier la modélisation séquentielle et non séquentielle.
Lois de mise à l'échelle : Démonstration de la première mise à l'échelle en loi de puissance prévisible pour la modélisation conjointe séquence-non-séquence, atteignant une amélioration de 2× de l'efficacité de mise à l'échelle par rapport aux méthodes de pointe.
Impact sur le déploiement : Déploiement réussi dans les modèles majeurs de Meta Ads, entraînant des améliorations mesurables en production.

4. Résultats expérimentaux

Les auteurs ont évalué Kunlun sur des jeux de données internes de Meta Ads à grande échelle (plus de 70 milliards d'échantillons) en utilisant des GPU NVIDIA B200.

Efficacité de mise à l'échelle : Kunlun a permis de faire passer la MFU de 17 % à 37 %. En termes d'efficacité de mise à l'échelle (la pente d'amélioration de la performance par rapport au calcul), Kunlun a démontré une amélioration de 2× par rapport à l'état de l'art actuel (InterFormer).
Gains de performance : À travers différentes échelles de calcul (de 6 à 180 GFLOPs), Kunlun a systématiquement surpassé les bases de référence. À la plus grande échelle (180 GFLOPs), Kunlun a obtenu un gain de 0,79 % de NE (Entropie Normalisée) par rapport à la base de référence, contre 0,50 % pour InterFormer.
Études d'ablation :
- Le retrait de la GDPA a réduit la MFU à 34 % et dégradé la NE de 0,04 %.
- Le retrait du HSP (retour au PMA) a amélioré le QPS de 8,8 % mais a dégradé la NE de 0,08 %.
- Le retrait de CompSkip a augmenté les FLOPs de 43,1 % sans gain de NE, validant l'efficacité de la stratégie de saut.
Impact sur la production : Lors du déploiement dans les modèles Meta Ads, Kunlun a délivré une amélioration de 1,2 % des métriques de haut niveau (topline metrics), démontant un impact en ligne significatif et un ROI supérieur à grande échelle.

5. Signification et affirmations

L'article affirme que Kunlun établit un cadre fondé sur des principes pour mettre à l'échelle les systèmes de recommandation vers des échelles sans précédent tout en maintenant l'efficacité computationnelle. En traitant systématiquement à la fois l'efficacité algorithmique et l'utilisation du matériel, les auteurs démontent que des lois de mise à l'échelle prévisibles sont réalisables pour des tâches de recommandation complexes et hétérogènes.

Le travail soutient que la combinaison de l'efficacité des modules de bas niveau (via GDPA et HSP) et de l'allocation adaptative des ressources de haut niveau (via CompSkip et la Personnalisation par niveau d'événement) est nécessaire pour libérer le plein potentiel des modèles à très grande échelle. Cela permet une extrapolation fiable pour la planification des ressources et les décisions architecturales, faisant passer les systèmes de recommandation d'une mise à l'échelle heuristique à une croissance prévisible régie par des lois. Le déploiement réussi chez Meta valide que ces gains théoriques se traduisent directement par une valeur de production.