Technische Samenvatting: BACH (Bayesian Admixture of Contrastive Heads)

1. Probleemstelling

Two-tower retrievers zijn de standaard voor grootschalige kandidaatgeneratie in aanbevelingssystemen, waarbij gebruikers en items worden toegewezen aan een gedeelde embedding-ruimte die wordt gescoord door het inwendig product. Echter, standaard single-vector modellen worstelen met het representeren van gebruikers met diverse, zwak gerelateerde interesses, wat er vaak toe leidt dat alle interesses samenvallen in één enkel punt in de embedding-ruimte. Dit leidt tot retrieval-slates die dominante interesses oververtegenwoordigen terwijl andere onderbediend blijven.

Multi-interest modellen proberen dit op te lossen door $k$ gebruikers-embeddings (heads) uit te zenden en items te scoren op basis van het maximale inwendige product over deze heads. Echter, bestaande benaderingen lijden onder twee kritieke beperkingen:

1. Routing Collapse: Training via "hard-routing" (waarbij alleen de head met de hoogste score voor het positieve item gradiënten ontvangt) creëert een winner-take-all dynamiek. Heads die iets slechter geïnitialiseerd zijn, worden minder frequent geselecteerd, ontvangen minder updates en vallen progressief samen tot kopieën van de dominante head, waardoor de effectieve capaciteit onder $k$ daalt.
2. Gebrek aan Per-User Interest Weighting: Bestaande methoden behandelen alle $k$ heads symmetrisch en bieden geen per-gebruiker schatting van hoe waarschijnlijk een specifieke head de volgende item zal verklaren. Gevolgen daarvan reflecteren serving-regels ofwel de maximum-score head, of nemen een unie van top-lijsten aan onder een impliciete uniforme prior, wat faalt om de heterogene belangrijkheid van interesses voor specifiek gebruikers te weerspiegelen.

2. Methodologie: BACH

De auteurs stellen BACH (Bayesian Admixture of Contrastive Heads) voor, die multi-interest two-tower retrieval herformuleert als een per-gebruiker mengsel van softmaxes, gefit via variational inference.

Generatief Model

BACH behandelt de $k$ gebruikers-heads als componenten van een eindig mengmodel. Voor een gebruiker $u$ en item $i$:

• Een latente component-indicator $z_n \in \{1, \dots, k\}$ wordt geïntroduceerd met een per-gebruiker prior $\pi_u$ (een menggewicht-vector).
• Conditioneel op $z_n = r$, wordt het item gegenereerd uit een gesamplede-softmax distributie gedefinieerd door de $r$-de gebruikers-embedding $u^{(r)}$.
• De geobserveerde data log-likelihood is de marginale verdeling over de latente heads: $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$.

Variational Inference en Recognition Posterior

Directe optimalisatie van de log-likelihood is uitdagend vanwege de log-van-som term. BACH gebruikt variational inference om de Evidence Lower Bound (ELBO) te maximaliseren.

• Recognition Posterior: In plaats van de eigen negatief-afhankelijke posterior van het model te gebruiken (die bij serving onhandelbaar is), introduceert BACH een sferische recognition posterior $\gamma_n$ over de heads.
• Kernel Keuze: De posterior wordt gemodelleerd met een sferische dichtheid (standaard Power-Spherical, met von Mises-Fisher als alternatief). De dichtheid wordt geparametriseerd door de head-richting $u^{(r)}$ en een concentratieparameter $\kappa_r$.
• Responsibilities: De variational distributie (responsibility) $\gamma_n^{(r)}$ wordt berekend als:
  $$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$$
  waarbij $\sigma_r(n)$ de sferische dichtheidswaarde is gebaseerd op de uitlijning tussen de head en het positieve item.

Optimalisatie

Het model maximaliseert de ELBO gezamenlijk over:

1. Embeddings ($\theta, \phi$): De gebruikers-heads en de item-tower worden getraind via een responsibility-weighted contrastive loss. In tegenstelling tot hard-routing stromen gradiënten door alle $k$ heads, gewogen door hun responsibility $\gamma_n^{(r)}$, wat routing collapse tegengaat.
2. Menggewichten ($\pi_u$): Een gating tower $\pi_\xi(x_u)$ produceert per-gebruiker gewichten. Deze gewichten fungeren als een prior in de ELBO en worden bij serving hergebruikt om de per-head retrieval te wegen.
3. Concentraties ($\psi$): De concentratieparameters $\kappa_r$ worden geleerd om de scherpte van de contrastieve posterior te fitten. Cruciaal is dat omdat $\kappa_r$ alleen via de KL-divergentie term in de ELBO ingaat, ze zelf-geregulariseerd zijn en geen expliciete prior of clipping vereisen.

Serving

Bij serving rankt BACH items door de zelf-genormaliseerde mengverdeling:
$$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$$
Dit maakt efficiënte retrieval mogelijk:

• Soft Ranking: Items worden gerankt door een soft mixture in plaats van een hard max, waardoor geëscaleerde of laag-massa heads minimaal kunnen bijdragen.
• Global Codebook Variant: BACH ondersteunt een "globale" modus waarbij heads worden gedeeld over alle gebruikers (een vaste codebook van onderwerpen), terwijl $\pi_u$ gepersonaliseerd blijft. Dit maakt precomputable retrieval mogelijk, waarbij per-head kandidaat-lijsten offline worden berekend en bij serving worden hergewogen door $\pi_u$, wat per-gebruiker nearest-neighbor queries elimineert.

3. Belangrijkste Bijdragen

• Variational Formulering: Het formuleren van multi-interest retrieval als een per-gebruiker mengsel van softmaxes gefit via variational inference, wat hard arg-max routing vervangt door soft responsibilities.
• Mitigatie van Routing Collapse: Door gradiënten te verdelen over alle heads op basis van soft responsibilities, voorkomt BACH de "winner-take-all" dynamiek die gebruikelijk is bij hard-routing multi-interest modellen.
• Per-User Interest Weighting: Het model leert expliciete per-gebruiker menggewichten ($\pi_u$) die de belangrijkheid van heads kwantificeren, die bij serving worden hergebruikt om de kwaliteit van de retrieval te wegen, wat het gebrek aan interesse-heterogeniteit in bestaande methoden aanpakt.
• Zelf-Geregulariseerde Concentraties: De concentratieparameters $\kappa_r$ worden gefit op de data via de KL-term van de ELBO, waardoor ze geen externe priors nodig hebben en natuurlijk begrensd blijven.
• Serving-Consistent Scoring: Het artikel toont aan dat trainen met een "serving-consistent" objectief (elke kandidaat scoren door zijn beste head, in plaats van alleen de positieve) beter presteert dan traditionele target-routed training.

4. Experimentele Resultaten

De auteurs evalueerden BACH op drie grootschalige benchmarks: MovieLens-20M, Taobao en Netflix.

• Prestaties: BACH presteerde beter dan alle baselines (single-vector, hard-routing multi-interest zoals MIND/ComiCom, en max-routing varianten) over alle metrieken (Recall@K, NDCG@K, AUPRC) en bij elk aantal heads ($k \in \{8, 16, 32\}$).
• Winst aan de Top van de Ranking: De verbeteringen waren het meest significant aan de top van de ranking (AUPRC, R@10), wat duidt op een betere afstemming met de gebruikersintentie.
• Routing Ablatie: Het artikel vond dat "all-multihead" (elke kandidaat scoren door zijn beste head) significant beter presteerde dan "pos-multihead" (target routing), waarbij de kloof groter werd naarmate $k$ toenam. BACH verbeterde hierop verder boven de all-multihead baseline.
• Kernel Varianten: De Power-Spherical (p-BACH) en von Mises-Fisher (v-BACH) varianten presteerden vergelijkbaar, waarbij de winst werd toegeschreven aan de variational mixture structuur in plaats van de specifieke sferische kernel.
• Global Codebook: De global-codebook variant (gedeelde heads, gepersonaliseerde gewichten) behaalde sterke prestaties (2–5x beter dan populariteit-baselines) terwijl het precomputable, low-latency serving en cold-start robuustheid bood, hoewel het enige nauwkeurigheid inruilde ten opzichte van volledig gepersonaliseerde heads.

5. Betekenis en Claims

Het artikel claimt dat BACH een principieel probabilistisch kader biedt voor multi-interest retrieval dat direct de structurele gebreken van hard-routing methoden aanpakt. Door het probleem als een variational mixture te behandelen, bereikt het:

1. Robuustheid: Eliminatie van head collapse zonder complexe regularisatie-heuristieken.
2. Kalibratie: Productie van gekalibreerde per-gebruiker interessegewichten die de consistentie tijdens serving verbeteren.
3. Flexibiliteit: Een spectrum aan deployment opties variërend van volledig gepersonaliseerde heads tot een precomputable globale codebook, wat afwegingen maakt tussen nauwkeurigheid en serving-efficiëntie.

De auteurs benadrukken dat de methode de kwaliteit van de retrieval verbetert op real-world, grootschalige datasets, terwijl een hanteerbare serving architectuur behouden blijft, wat het een praktische vooruitgang maakt ten opzien van bestaande multi-interest baselines.