🤖 AI

WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture

L'article présente WHALE, une architecture de recommandation unifiée et évolutive qui intègre les noyaux Wukong et HSTU via un nouveau mécanisme de fusion pour modéliser conjointement les caractéristiques non séquentielles et séquentielles, réalisant ainsi des gains de performance significatifs en mode hors ligne et en ligne dans les systèmes de production industriels.

Auteurs originaux : Renqin Cai, Dawei Sun, Yuanjun Yao, Zhiyong Wang, Velvin Fu, Maggie Zhuang, Yu Shi, Zhongnan Fang, Xuan Cao, Jing Qian, Rui Li

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Renqin Cai, Dawei Sun, Yuanjun Yao, Zhiyong Wang, Velvin Fu, Maggie Zhuang, Yu Shi, Zhongnan Fang, Xuan Cao, Jing Qian, Rui Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous déambulez dans une immense et trépidante cité numérique où des millions de personnes font défiler, cliquent et regardent sans cesse. C'est le monde des systèmes de recommandation en ligne, ces moteurs invisibles derrière vos flux de réseaux sociaux, vos suggestions de vidéos et vos listes de courses. Leur travail consiste à deviner ce que vous voulez voir ensuite. Pour ce faire, ils s'appuient généralement sur deux types de indices très différents. Premièrement, il y a vos détails « statiques » : qui vous êtes, ce que vous aimez, l'heure de la journée et l'article spécifique qui est présenté. C'est comme un détective examinant le dossier d'un suspect et la scène du crime. Deuxièmement, il y a vos actions « dynamiques » : la longue et désordonnée trace de tout ce que vous avez cliqué, regardé ou acheté par le passé. C'est comme un détective observant toute l'histoire de la vie d'un suspect en temps réel.

Pendant longtemps, les systèmes de recommandation ont traité ces deux indices séparément. Certains modèles très intelligents étaient excellents pour mélanger les détails statiques (comme « cet utilisateur aime la science-fiction » + « c'est vendredi soir »), tandis que d'autres modèles étaient experts pour lire la longue histoire de votre comportement passé (comme « vous avez regardé trois films spatiaux à la suite, donc vous en voulez probablement un quatrième »). La grande question était : pourrions-nous construire un super-modèle capable d'être aussi brillant dans les deux domaines, sans pour autant devenir trop lent ou trop coûteux à exploiter ? Si nous y parvenions, cela pourrait signifier voir un contenu qui semble parfaitement adapté à qui vous êtes et à ce que vous faites actuellement, tout cela en même temps.

Voici venu WHALE, une nouvelle architecture développée par des chercheurs de Meta qui tente de résoudre ce casse-tête. Voyez WHALE comme une gigantesque équipe de détectives multicouches travaillant ensemble. Au lieu d'avoir un détective qui lit le dossier et un autre qui regarde la vidéo, WHALE les place dans la même pièce, couche par couche. Dans chaque couche du modèle, il y a une équipe « Wukong » (l'expert du mélange des détails statiques) et une équipe « HSTU » (l'expert de la lecture de la longue histoire de vos actions). Mais voici le tour de magie : elles ne se contentent pas de travailler côte à côte ; elles discutent constamment. L'équipe Wukong demande à l'équipe HSTU : « Hé, sur la base de cet article spécifique que je regarde, quelle partie de l'histoire longue de l'utilisateur est la plus importante en ce moment ? » L'équipe HSTU se concentre alors sur ce souvenir spécifique et le lui transmet. Cela se produit encore et encore au fur et à mesure que les données traversent le modèle, permettant au système d'affiner constamment sa compréhension.

L'article suggère que cet « échange progressif » change la donne. Lorsque les chercheurs ont testé WHALE sur de vastes quantités de données réelles provenant d'une plateforme de médias sociaux, ils ont constaté qu'il devenait systématiquement meilleur pour prédire ce que les utilisateurs allaient cliquer à mesure qu'ils agrandissaient le modèle et lui donnaient un historique plus long à lire. Plus précisément, lorsqu'ils augmentaient la longueur de l'historique de l'utilisateur que le modèle pouvait voir, la qualité des recommandations s'améliorait. Ils ont également constaté que rendre le modèle plus profond (plus de couches) et plus large (plus de puissance de traitement) continuait de donner de meilleurs résultats, suggérant que le système passe bien à l'échelle.

Cependant, les chercheurs ont également testé une méthode plus simple pour combiner ces deux types de modèles, qu'ils appellent approche « hybride superficielle » (shallow-hybrid). Dans cette ancienne méthode, l'historique est compressé en un bref résumé avant d'être mélangé aux détails statiques. L'article soutient que c'est une erreur car cela jette aux oubliettes les détails précis. Leurs expériences ont montré que le dialogue profond, couche par couche, de WHALE était nettement supérieur à cette approche superficielle, prouvant que maintenir une communication constante entre les deux équipes est crucial.

Bien entendu, construire un système aussi complexe est coûteux. L'équipe a dû inventer un code informatique spécial et personnalisé (utilisant ce qu'on appelle des « noyaux Triton ») pour s'assurer que WHALE puisse fonctionner assez rapidement pour être utilisé par des millions de personnes simultanément. Dans les tests en conditions réelles, WHALE a effectivement amélioré les indicateurs principaux de l'engagement des utilisateurs, mais cela s'est accompagné d'un léger coût : le système peut traiter environ 5 % de requêtes par seconde en moins par rapport à l'ancien système. Malgré ce léger ralentissement, l'amélioration de la qualité des recommandations a été considérée comme une victoire, et le système est déjà déployé en production. L'article conclut que, bien que nous ne puissions pas simplement rendre les modèles infiniment grands pour tout résoudre, l'unification de ces deux manières différentes de penser les données — les détails statiques et l'historique dynamique — au sein d'une architecture unique et interactive est une voie puissante et pratique pour l'avenir des recommandations.

Résumé Technique : WHALE - Un modèle unifié et scalable pour la recommandation avec l'architecture Wukong-HSTU

1. Énoncé du Problème

Les systèmes de recommandation à grande échelle doivent modéliser deux sources de signaux de classement distinctes mais complémentaires : les caractéristiques non séquentielles (attributs utilisateur/article, contexte et croisements explicites) et les caractéristiques séquentielles (historiques de comportement de l'utilisateur).

Limites Actuelles : Les architectures existantes traitent généralement ces signaux séparément. Les architectures Wukong excellent dans le passage à l'échelle des interactions d'ordre élevé parmi les caractéristiques non séquentielles, mais manquent de mécanismes pour modéliser l'évolution temporelle des séquences de comportement. À l'inverse, les architectures HSTU (Unité de Transduction Séquentielle Hiérarchique) modélisent efficacement les séquences de comportements longues et hétérogènes, mais ne parviennent pas à passer à l'échelle explicitement les croisements statiques et contextuels d'ordre élevé entre les caractéristiques de l'utilisateur, de l'article et de la requête.
La Lacune : Les approches hybrides superficielles, qui compressent les historiques de comportement en résumés fixes avant de les injecter dans des modèles d'interaction de caractéristiques, créent un goulot d'étranglement. Une fois compressées, les interactions de caractéristiques d'ordre élevé ne peuvent plus récupérer de manière sélective des preuves fines provenant d'événements spécifiques dans l'historique de l'utilisateur. Cela limite l'« échange progressif » entre les interactions de caractéristiques statiques et les motifs séquentiels dynamiques, ce qui est crucial pour la pertinence dans des scénarios où différents candidats nécessitent différentes parties du même historique.

2. Méthodologie : L'Architecture WHALE

Les auteurs proposent WHALE (Wukong-HSTU-based scALable unified modEl), une architecture récursive qui unifie Wukong et HSTU au sein d'un seul modèle, en maintenant les deux backbones actifs tout au long du réseau.

2.1 Architecture Centrale

WHALE se compose d'une couche d'entrée suivie d'une pile de couches WHALE récursives. Chaque couche contient trois modules distincts :

Module Wukong : Opère sur la branche non séquentielle (utilisateur, article, contexte et caractéristiques de croisement). Il utilise des blocs de factorisation machine empilés (FMB) et des blocs de compression linéaire (LCB) pour construire des représentations d'interaction d'ordre élevé ( $H_w$ ).
Module HSTU : Opère sur la branche séquentielle (historique de comportement de l'utilisateur). Il utilise des mécanismes basés sur l'attention avec un biais d'attention relative pour encoder des preuves temporelles fines et des dépendances, produisant des représentations de comportement sensibles à la séquence ( $H_s$ ) qui conservent la longueur de séquence complète ( $L$ ).
Module de Fusion Basé sur l'Attention : C'est l'innovation centrale permettant l'échange progressif.
- Mécanisme : Il traite les représentations d'interaction Wukong ( $H_w$ ) comme des requêtes (queries) et les représentations de comportement HSTU ( $H_s$ ) comme des clés (keys) et des valeurs (values).
- Fonction : Cela permet aux croisements de caractéristiques dépendants du candidat et du contexte de récupérer sélectivement les preuves comportementales les plus pertinentes de l'historique de l'utilisateur.
- Raffinement : La sortie de l'attention est concaténée avec la représentation Wukong originale, projetée via un MLP de fusion, et transmise à un FFN SwiGLU (réseau de neurones à porte à propagation directe) avec pré-normalisation pour produire une représentation fusionnée ( $H_f$ ).
- Propagation : La représentation fusionnée ( $H_f$ ) devient l'entrée non séquentielle pour la couche suivante, tandis que la sortie HSTU ( $H_s$ ) se propage indépendamment vers le module de séquence de la couche suivante. Cette conception garantit que les interactions statiques et les motifs dynamiques se conditionnent mutuellement de manière répétée à travers les couches.

2.2 Optimisations d'Efficacité

Pour rendre WHALE viable pour un déploiement industriel, les auteurs ont implémenté plusieurs optimisations au niveau du système :

Noyaux Triton Customisés :
- Clé-Valeur Partagée : Puisque l'attention entre les branches de croisement est limitée par la mémoire, les auteurs partagent les tenseurs Clé et Valeur ( $K=V$ ), réduisant de moitié le trafic mémoire GPU côté KV.
- Variantes de Rétropropagation Asymétriques : Reconnaissant la forme asymétrique (peu de requêtes vs historique long), le système sélectionne dynamiquement entre un ordonnancement de rétropropagation parallèle au KV ou parallèle à la Q pour minimiser les coûts de réduction de gradient.
FFN SwiGLU à Porte Partagée : Les matrices de porte et de projection ascendante dans le FFN SwiGLU sont liées ( $W_{gate} = W_{up}$ ), réduisant les multiplications de matrices de trois à deux sans dégrader la qualité.
Optimisation de Précision Mixte et du Compilateur : Le backbone dense fonctionne en BF16, tandis que les composants sensibles (perte, architecture de tâche) restent en FP32. torch.compile est utilisé pour fusionner les opérateurs et optimiser l'utilisation de la mémoire.
Optimisations d'Inférence : Comprend AOTInductor pour la fusion d'opérateurs et des « tenseurs d'indice de forme » (shape hint tensors) pour éliminer les goulots d'étranglement de synchronisation GPU-CPU lors des calculs de formes dynamiques, réduisant la latence de 1 à 5 ms.

3. Contributions Clés

Architecture Unifiée : WHALE est présenté comme la première architecture de recommandation scalable unifiant Wukong (interaction de caractéristiques non séquentielles) et HSTU (modélisation de comportement séquentiel) au sein d'un seul modèle, utilisant un échange progressif par couche plutôt qu'un couplage superficiel.
Co-conception Système-Modèle : Le développement de noyaux customisés et d'optimisations d'entraînement/inférence qui permettent le déploiement en ligne d'un modèle unifié aussi complexe sous des contraintes strictes de latence et de débit.
Validation Empirique : Démonstration que WHALE passe à l'échelle efficacement avec la longueur de la séquence, la profondeur du modèle et la largeur du modèle, surpassant les bases de référence à paradigme unique dans les environnements offline et online.

4. Résultats Expérimentaux

Les expériences ont été menées sur une plateforme sociale de vidéos courtes à grande échelle (80 milliards d'échantillons d'entraînement, 4 milliards d'échantillons d'évaluation).

Performance Offline (Scaling) :
- Comparaison d'Architecture : WHALE a systématiquement surpassé les bases de référence Wukong-seul et HSTU-seul à travers diverses complexités de modèle (8, 14 et 32 GFLOPs).
- Lois d'Échelle (Scaling Laws) : WHALE a montré des gains constants à mesure que la longueur de séquence augmentait (jusqu'à 15k), la profondeur du modèle augmentait (jusqu'à 8 couches) et la largeur du modèle augmentait (jusqu'à 512 dimensions).
- Études d'Ablation : Supprimer le mécanisme d'attention (remplacement par un pooling moyen) ou supprimer le MLP de fusion/FFN SwiGLU a entraîné des chutes de qualité significatives, confirmant la nécessité du design de fusion spécifique.
Performance Online (Test A/B) :
- Déployé en production pendant 14 jours.
- Métrique Primaire : A obtenu un gain de +0,113 % par rapport à la base de référence en ligne.
- Métriques Secondaires : Gains de +0,824 % et +1,820 % sur les métriques de support.
- Compromis : Le modèle a subi une régression de -5 % du QPS d'inférence (débit), ce que les auteurs considèrent comme acceptable dans le budget de service.

5. Signification et Revendications

L'article affirme que WHALE fournit un exemple pratique de la manière dont deux sources distinctes d'information — les interactions de caractéristiques statiques et les comportements séquentiels dynamiques — peuvent être unifiées de manière scalable dans un environnement industriel.

Les auteurs soutiennent que la prochaine étape de mise à l'échelle des systèmes de recommandation industriels ne viendra pas uniquement de l'agrandissement des backbones individuels, mais de l'unification progressive d'architectures complémentaires à chaque couche. En permettant aux croisements de caractéristiques d'ordre élevé de récupérer de manière répétée des preuves fines à partir de longs historiques d'utilisateurs, WHALE remédie aux limites de l'hybridation superficielle et démontre que l'interaction profonde entre les branches est un principe de conception viable et efficace pour les systèmes de classement à grande échelle.