Résumé Technique : BACH (Bayesian Admixture of Contrastive Heads)

1. Énoncé du Problème

Les récupérateurs à deux tours (two-tower retrievers) sont la norme pour la génération de candidats à grande échelle dans les systèmes de recommandation, projetant les utilisateurs et les articles dans un espace d'embedding partagé dont le score est calculé par produit scalaire. Cependant, les modèles standards à vecteur unique peinent à représenter les utilisateurs ayant des intérêts divers et faiblement liés, forçant souvent tous les intérêts à s'effondrer en un point unique de l'espace d'embedding. Cela conduit à des listes de récupération qui surreprésentent les intérêts dominants tout en sous-servant les autres.

Les modèles multi-intérêts tentent de résoudre ce problème en émettant $k$ embeddings d'utilisateur (têtes) et en scorant les articles par le produit scalaire maximal à travers ces têtes. Cependant, les approches existantes souffrent de deux limitations critiques :

1. Effondrement du Routage (Routing Collapse) : L'entraînement via un « routage dur » (où seule la tête ayant le score le plus élevé avec l'élément positif reçoit des gradients) crée une dynamique de type « le gagnant rafle tout ». Les têtes initialement moins performantes sont sélectionnées moins fréquemment, reçoivent moins de mises à jour et finissent par s'effondrer progressivement en copies de la tête dominante, laissant la capacité effective bien en dessous de $k$.
2. Absence de Pondération des Intérêts par Utilisateur : Les méthodes existantes traitent les $k$ têtes de manière symétrique, sans fournir d'estimation par utilisateur de la probabilité que chaque tête explique l'élément suivant. Par conséquent, les règles de service choisissent soit la tête ayant le score maximal, soit prennent une union de listes de tête sous un a priori uniforme implicite, échouant ainsi à refléter l'importance hétérogène des intérêts pour des utilisateurs spécifiques.

2. Méthodologie : BACH

Les auteurs proposent BACH (Bayesian Admixture of Contrastive Heads), qui reformule la récupération multi-intérêt à deux tours comme un mélange de softmaxes par utilisateur, ajusté via l'inférence variationnelle.

Modèle Génératif

BACH traite les $k$ têtes d'utilisateur comme des composantes d'un modèle de mélange fini. Pour un utilisateur $u$ et un article $i$ :

• Un indicateur de composante latente $z_n \in \{1, \dots, k\}$ est introduit avec un a priori par utilisateur $\pi_u$ (un vecteur de poids de mélange).
• Conditionnellement à $z_n = r$, l'article est généré à partir d'une distribution de softmax échantillonnée définie par le $r$-ième embedding d'utilisateur $u^{(r)}$.
• La log-vraisemblance des données observées est la marge sur les têtes latentes : $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$.

Inférence Variationnelle et Postérieur de Reconnaissance

L'optimisation directe de la log-vraisemblance est difficile en raison du terme log-de-somme. BACH utilise l'inférence variationnelle pour maximiser la borne inférieure de l'évidence (ELBO).

• Postérieur de Reconnaissance : Au lieu d'utiliser le propre postérieur du modèle dépendant des négatifs (qui est intraitable au moment du service), BACH introduit un postérieur de reconnaissance sphérique $\gamma_n$ sur les têtes.
• Choix du Noyau : Le postérieur est modélisé à l'aide d'une densité sphérique (par défaut Power-Spherical, avec von Mises-Fisher comme alternative). La densité est paramétrée par la direction de la tête $u^{(r)}$ et un paramètre de concentration $\kappa_r$.
• Responsabilités : La distribution variationnelle (responsabilité) $\gamma_n^{(r)}$ est calculée comme suit :
  $$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$$
  où $\sigma_r(n)$ est la valeur de la densité sphérique basée sur l'alignement entre la tête et l'article positif.

Optimisation

Le modèle maximise l'ELBO conjointement sur :

1. Les Embeddings ($\theta, \phi$) : Les têtes d'utilisateur et la tour d'article sont entraînées via une perte contrastive pondérée par la responsabilité. Contrairement au routage dur, les gradients circulent à travers toutes les $k$ têtes, pondérés par leur responsabilité $\gamma_n^{(r)}$, ce qui atténue l'effondrement du routage.
2. Les Poids de Mélange ($\pi_u$) : Une tour de porte (gating tower) $\pi_\xi(x_u)$ produit des poids par utilisateur. Ces poids agissent comme un a priori dans l'ELBO et sont réutilisés au moment du service pour pondérer la récupération par tête.
3. Les Concentrations ($\psi$) : Les paramètres de concentration $\kappa_r$ sont appris pour ajuster la netteté du postérieur contrastif. Crucialement, parce que $\kappa_r$ n'entre dans l'ELBO qu'à travers le terme de divergence KL, ils sont auto-régularisés et ne nécessitent ni a priori explicite ni écrêtage.

Service (Serving)

Au moment du service, BACH classe les articles par la densité de mélange auto-normalisée :
$$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$$
Cela permet une récupération efficace :

• Classement Doux (Soft Ranking) : Les articles sont classés par un mélange doux plutôt que par un max dur, permettant aux têtes effondrées ou à faible masse de contribuer de manière minimale.
• Variante de Codebook Global : BACH supporte un mode « global » où les têtes sont partagées entre tous les utilisateurs (un codebook de sujets fixe), tandis que $\pi_u$ reste personnalisé. Cela permet une récupération précalculable, où les listes de candidats par tête sont calculées hors ligne et repondérées par $\pi_u$ lors du service, éliminant les requêtes de plus proches voisins par utilisateur.

3. Contributions Clés

• Formulation Variationnelle : Transformer la récupération multi-intérêt en un mélange de softmaxes par utilisateur ajusté par inférence variationnelle, remplaçant le routage par arg-max dur par des responsabilités douces.
• Atténuation de l'Effondrement du Routage : En distribuant les gradients sur toutes les têtes en fonction des responsabilités douces, BACH empêche la dynamique de « gagnant rafle tout » commune aux méthodes de routage dur.
• Pondération des Intérêts par Utilisateur : Le modèle apprend des poids de mélange explicites par utilisateur ($\pi_u$) qui quantifient l'importance de chaque tête, lesquels sont réutilisés au service pour pondérer la récupération, répondant ainsi au manque d'hétérogénéité des intérêts.
• Concentrations Auto-Régularisées : Les paramètres de concentration $\kappa_r$ sont ajustés aux données via le terme KL de l'ELBO, ne nécessitant aucun a priori externe et restant naturellement bornés.
• Score Cohérent avec le Service : L'article démontre qu'un entraînement avec un objectif « cohérent avec le service » (scorant chaque candidat par sa meilleure tête, plutôt que seulement le positif) surpasse l'entraînement par routage cible traditionnel.

4. Résultats Expérimentaux

Les auteurs ont évalué BACH sur trois benchmarks à grande échelle : MovieLens-20M, Taobao et Netflix.

• Performance : BACH a surpassé toutes les bases de référence (vecteur unique, multi-intérêt à routage dur comme MIND/ComiRec, et variantes de max-routing) sur toutes les métriques (Recall@K, NDCG@K, AUPRC) et pour chaque nombre de têtes ($k \in \{8, 16, 32\}$).
• Gains en Haut de Classement : Les améliorations sont les plus significatives en haut du classement (AUPRC, R@10), indiquant un meilleur alignement avec l'intention de l'utilisateur.
• Ablation du Routage : L'étude a montré que l'approche « all-multihead » (scorant chaque candidat par sa meilleure tête) surpasse significativement « pos-multihead » (routage cible), avec des écarts qui s'accentuent à mesure que $k$ augmente. BACH améliore davantage cette base de référence « all-multihead ».
• Variantes de Noyaux : Les variantes Power-Spherical (p-BACH) et von Mises-Fisher (v-BACH) affichent des performances comparables, les gains étant attribués à la structure de mélange variationnelle plutôt qu'au noyau sphérique spécifique.
• Codebook Global : La variante du codebook global (têtes partagées, poids personnalisés) a obtenu de solides performances (battant les bases de référence de popularité de 2 à 5 fois) tout en offrant un service précalculable, à faible latence et une robustesse au démarrage à froid (cold-start), bien qu'elle sacrifie une partie de la précision par rapport aux têtes entièrement personnalisées.

5. Signification et Revendications

L'article affirme que BACH fournit un cadre probabiliste rigoureux pour la récupération multi-intérêt qui répond directement aux défauts structurels des méthodes de routage dur. En traitant le problème comme un mélange variationnel, il atteint :

1. Robustesse : Élimination de l'effondrement des têtes sans heuristiques de régularisation complexes.
2. Calibration : Production de poids d'intérêt par utilisateur calibrés qui améliorent la cohérence du service.
3. Flexibilité : Un spectre d'options de déploiement allant des têtes entièrement personnalisées au codebook global précalculable, permettant des compromis entre précision et efficacité de service.

Les auteurs soulignent que la méthode améliore la qualité de la récupération sur des jeux de données réels et à grande échelle tout en maintenant une architecture de service tractable, ce qui en fait une avancée pratique par rapport aux bases de référence multi-intérêt existantes.