Résumé Technique : Classement Hétérogène dans les Systèmes de Recommandation à Échelle Industrielle

1. Énoncé du Problème

Le document traite du défi du classement unifié dans Google Discover, un système qui agrège des contenus hautement hétérogènes provenant du web ouvert décentralisé (par exemple, articles web, vidéos de format long/court, contenu généré par l'utilisateur, cartes de sport et résumés par IA) dans un flux personnalisé unique. Contrairement aux plateformes à écosystème fermé (par exemple, les applications dédiées à la musique ou à la vidéo uniquement) où les modalités de contenu et les schémas d'interaction sont uniformes, Google Discover fait face à deux dimensions principales d'hétérogénéité :

• Hétérogénéité des Données : Le contenu manque de caractéristiques uniformes, ce qui entraîne des variations dans la densité des caractéristiques, les structures de métadonnées et la disponibilité asymétrique des signaux.
• Hétérogénéité des Interactions : Les schémas d'engagement des utilisateurs et les intentions varient considérablement selon le type de contenu. Par exemple, alors que les « likes » et les « dismissals » (rejets) sont universels, les articles entraînent principalement des clics, tandis que l'UGC (contenu généré par l'utilisateur) et les cartes de sport entraînent de longs temps de rétention (dwell times).

Défis Clés :

1. Décalage de Distribution : Un modèle optimisé pour des métriques globales (par exemple, le CTR global) peut favoriser de manière disproportionnée des types de contenus dominants et de faible qualité (par exemple, les articles "click-bait"), au détriment de types minoritaires à haute valeur ajoutée (par exemple, les vidéos), dégradant ainsi l'expérience utilisateur.
2. Transfert Négatif (Phénomène de Seesaw) : L'optimisation conjointe d'objectifs conflictuels (par exemple, maximiser les clics vs minimiser les rejets) dans une représentation partagée provoque souvent l'amélioration d'une tâche au détriment des autres.
3. Effondrement des Types Minoritaires : Les architectures partagées ont tendance à favoriser les types de contenus dominants possédant des caractéristiques plus riches ou un trafic plus élevé, provoquant l'étouffement des types de contenus sous-représentés.

La ligne de base de production actuelle utilise un fond de base (backbone) de Perceptron Multicouche (MLP) partagé avec 11 têtes spécifiques à chaque tâche, ce qui force une seule représentation latente à servir tous les types de contenus, échouant ainsi à traiter de manière adéquate ces hétérogénéités.

2. Méthodologie

Les auteurs proposent un flux de travail de bout en bout comprenant une nouvelle architecture de modèle (HA-MoE), un cadre d'observabilité (LENS) et une métrique d'évaluation spécialisée (DL-AUC).

2.1 HA-MoE : Multi-gated Mixture-of-Experts Adaptatif à l'Hétérogénéité

Pour répondre aux défis sans violer les contraintes industrielles strictes (taille du modèle, vitesse d'entraînement et latence de service), les auteurs introduisent le HA-MoE. Cette architecture intègre des signaux d'hétérogénéité explicites ($h$) dans les réseaux de porte (gating) et les représentations d'experts.

• Architecture : Il utilise un cadre d'apprentissage multi-tâche dense basé sur des experts (réseaux de neurones de type feed-forward).
• Gating Sensible à l'Hétérogénéité (HA-Gating) : Le mécanisme de porte incorpore explicitement des signaux d'hétérogénéité ($h$) aux côtés des caractéristiques denses ($x$) pour déterminer l'utilisation des experts pour chaque tâche. Cela permet au modèle d'orienter des experts spécifiques vers des segments de contenu spécifiques, protégeant ainsi les segments minoritaires de l'ombre.
  $$g_t(x, h) = \text{Softmax}(W_t \Phi(x, h) + b_t)$$
• Modulation Linéaire Pilotée par l'Hétérogénéité (HDLM) : Pour découpler la capacité de l'expert des biais spécifiques à la distribution, la sortie de chaque expert est dynamiquement adaptée à l'aide de vecteurs d'échelle ($\gamma$) et de décalage ($\beta$) dérivés de $h$. Cela permet au réseau de « changer de contexte » (par exemple, passer d'un focus sur les motifs visuels pour les vidéos à l'affinité avec un créateur suivi) sans expansion massive des paramètres.
  $$\tilde{E}_n(x, h) = \gamma_n(h) \odot E_n(x) + \beta_n(h)$$
• Optimisation : Le modèle utilise une fonction de perte combinée équilibrant le Binary Cross-Entropy (BCE) ponctuel et la perte RankNet par paire pour calibrer les probabilités absolues tout en préservant l'ordre relatif.

2.2 LENS : Spécialisation du Réseau d'Experts Latents

Pour atténuer la nature de "boîte noire" des modèles unifiés, les auteurs introduisent LENS, un cadre d'observabilité léger :

• Découpage d'Activation (Activation Slicing) : Visualise la division du travail interne du modèle en découpant les activations de porte en matrices contenu-par-expert, révélant comment différents experts se spécialisent dans différents types de contenu.
• Appariement d'Experts Invariant par Permutation (PIEM) : Étant donné que les experts MoE sont invariants par permutation, la comparaison directe des paramètres est impossible. PIEM caractérise chaque expert par un vecteur de profil comportemental (contribution relative à travers les tâches) et utilise l'algorithme hongrois pour trouver l'appariement optimal 1-à-1 entre les instantanés (snapshots) du modèle. Il calcule un score basé sur la divergence de Jensen-Shannon (JSD) pour suivre la stabilité fonctionnelle et détecter l'« effondrement fonctionnel » (perte de spécialisation) lors de l'entraînement continu.

2.3 DL-AUC : AUC à Double Niveau

L'AUC globale standard peut masquer des échements structurels où un modèle gonfle les scores pour les segments majoritaires tout en supprimant les minoritaires. Les auteurs proposent la DL-AUC pour équilibrer l'utilité globale avec la justesse inter-segments :
$$\text{DL-AUC} = \lambda \cdot \text{Micro-AUC} + (1 - \lambda) \cdot \text{Macro-xAUC}$$

• Micro-AUC : Mesure la qualité du classement global sous la distribution de trafic empirique.
• Macro-xAUC : La moyenne non pondérée de l'xAUC à travers toutes les paires de segments de contenu. Cela garantit qu'un élément positif d'un segment minoritaire (ex: Vidéo) est correctement classé plus haut qu'un élément négatif d'un segment majoritaire (ex: Article Web), empêchant la domination de la classe majoritaire.

3. Contributions Clés

1. Architecture HA-MoE : Une conception MoE prête pour la production, adaptative à l'hétérogénéité, qui injecte explicitement le contexte du contenu dans les couches de porte et d'expert, permettant une spécialisation efficace sans surcharge opérationnelle significative (augmentation de la taille du modèle < 5 %, augmentation de la latence < 0,5 %).
2. Cadre LENS : Un nouvel outil d'observabilité qui « ouvre » la dynamique interne du modèle, permettant aux ingénieurs d'interpréter la spécialisation des experts et de suivre quantitativement la stabilité fonctionnelle de l'hétérogénéité à travers les cycles d'entraînement via PIEM.
3. Métrique DL-AUC : Une métrique d'évaluation sensible à l'hétérogénéité qui empêche le déploiement de modèles qui obtiennent des gains globaux au détriment de la santé de l'écosystème (justesse inter-segments).

4. Résultats

Évaluation Hors-ligne

• Performance : Sur un ensemble de données industrielles à grande échelle (10 millions d'exemples), HA-MoE a obtenu le DL-AUC agrégé le plus élevé (0,691 pour pInterest, 0,949 pour pDisinterest), surpassant à la fois la ligne de base Shared MLP et le MMoE standard.
• Ablation : Les composants HA-Gating et HDLM ont tous deux contribué aux gains. Le modèle complet a réussi à inverser le transfert négatif observé dans les lignes de base, améliorant les prédictions d'engagement négatif (pDisinterest) tout en maintenant les gains positifs.
• Correction de Type Croisé : HA-MoE a considérablement réduit l'écart de classement entre les articles web et les vidéos. L'écart dans l'xAUC de type croisé (Vid+ vs Web−) est passé de 0,141 (Shared MLP) à 0,060 (HA-MoE), démontrant la capacité du modèle à empêcher les articles de faible qualité de supprimer les vidéos de haute qualité.

Tests A/B en Ligne

Déployé sur 1 % du trafic réel de Google Discover (des centaines de millions de DAU), le modèle HA-MoE a montré des hausses statistiquement significatives :

• Activité du Flux : +0,22 % de DAU et +0,48 % de vues d'impressions (Viewed Impressions).
• Exploration : +0,34 % de profondeur de défilement (Scroll Depth), +0,36 % de taux de diversité du flux et +0,54 % de taux d'engagement diversifié.
• Stabilité : Aucune régression n'a été observée sur les métriques opérationnelles clés. Ces résultats ont validé que l'amélioration du classement hétérogène se traduit par des bénéfices tangibles pour la santé de l'écosystème.

5. Signification et Revendications

L'article prétend présenter une étude de cas de production qui valide l'efficacité de la modélisation explicite de l'hétérogénéité dans les systèmes de classement unifiés. Sa signification réside dans :

• Échelle Industrielle : Démontrer qu'une adaptation complexe à l'hétérogénéité peut être réalisée dans des contraintes de production strictes (latence, stockage, vitesse d'entraînement), dépassant les propositions théoriques pour atteindre la réalité du déploiement.
• Santé de l'Écosystème : Prouver qu'équilibrer l'utilité globale avec la justesse inter-segments (via DL-AUC et HA-MoE) empêche le « biais de majorité » qui dégrade typiquement l'expérience utilisateur dans les flux du web ouvert.
• Transparence Opérationnelle : Établir LENS comme un outil critique pour maintenir la stabilité structurelle dans les pipelines d'entraînement continu, garantissant que les mises à jour du modèle ne provoquent pas par inadvertance l'effondrement de la spécialisation fonctionnelle.

Les auteurs concluent que, bien que la gestion de l'hétérogénéité à grande échelle reste un défi évolutif, leur approche fournit un modèle de conception robuste pour les systèmes de recommandation industriels, comblant le fossé entre la modélisation unifiée et les réalités diverses du web ouvert. Les travaux futurs se concentreront sur des portes plus expressives, un routage parcimonieux (sparse routing) et l'extension de la modélisation de l'hétérogénéité au contexte de l'utilisateur et à l'optimisation de liste (listwise optimization).