🤖 machine learning

BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval

BACH führt ein Framework namens „Bayesian Admixture of Contrastive Heads“ für das Multi-Interest Two-Tower-Retrieval ein, das Variational Inference nutzt, um Nutzerinteressen als eine weiche Mischung zu modellieren, wodurch das Routing-Collapse effektiv gemildert wird, während gleichzeitig pro Nutzer Interessen-Gewichtungen bereitgestellt und die Retrieval-Leistung über groß angelegte Benchmarks hinweg verbessert wird.

Ursprüngliche Autoren: Quoc Phong Nguyen, Paul Albert, Long Vuong, Vuong Le, Julien Monteil

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Quoc Phong Nguyen, Paul Albert, Long Vuong, Vuong Le, Julien Monteil

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spazieren durch eine riesige, endlose Bibliothek mit Millionen von Büchern. Sie haben einen sehr spezifischen Geschmack: Sie lieben Science-Fiction der 1980er Jahre, aber im Geheimen lieben Sie auch Backanleitungen und antike Geschichte.

Alte klassische Empfehlungssysteme sind wie ein Bibliothekar, der versucht, all Ihre Interessen in eine einzige Persönlichkeit zu pressen. Er versucht, ein einziges „Sie“ in seinem Gehirn zu finden. Das Problem ist: Wenn Sie Science-Fiction am meisten lieben, nimmt der Bibliothekar an, dass Sie nur Science-Fiction wollen. Er schiebt die Back- und Geschichtsbücher in den hinteren Teil des Schranks, weil sie nicht in das einzelne „Science-Fiction“-Etikett passen. Dies ist das, was das Paper als „Single-Vector“-Ansatz bezeichnet, und es lässt viele Ihrer Interessen im Regal zurück.

Dann versuchten einige klügere Bibliothekare einen neuen Trick: Multi-Interest. Anstatt einer einzigen Persönlichkeit gaben sie Ihnen $k$ verschiedene „Köpfe“ (oder Avatare). Einer ist der Science-Fiction-Fan, einer der Bäcker, einer der Historiker. Wenn Sie nach einem Buch fragen, prüft der Bibliothekar alle $k$ Köpfe und wählt denjenigen aus, der am besten passt.

Aber hier ist der Fehler, den das Paper fand:
Die alte Art, diese Bibliothekare zu trainieren, war wie ein „Winner-Take-All“-Spiel (Gewinner zieht alles). Wenn Sie ein Science-Fiction-Buch auswählten, gab der Bibliothekar dem Science-Fiction-Kopf nur ein High-Five. Die Bäcker- und Historiker-Köpfe wurden ignoriert. Mit der Zeit wurde der Science-Fiction-Kopf super stark, während die anderen Köpfe faul wurden, aufhörten zu lernen und schließlich anfingen, den Science-Fiction-Kopf einfach zu kopieren. Dies nennt man „Routing Collapse“. Der Bibliothekar endet mit $k$ Köpfen, aber sie alle agieren wie dieselbe Person. Zudem hatte der Bibliothekar keine Ahnung, wie viel Sie tatsächlich an Backen im Vergleich zu Geschichte interessiert waren; er hat es nur geraten.

Die Lösung: BACH (Bayesian Admixture of Contrastive Heads)

Die Autoren, ein Team von Amazon, entwickelten ein neues System namens BACH. Denken Sie an BACH als einen Bibliothekar, der nicht nur einen Kopf auswählt, um mit Ihnen zu sprechen, sondern für jede einzelne Anfrage einen maßgeschneiderten Cocktail Ihrer Interessen erstellt.

So funktioniert BACH, unter Verwendung der tatsächlichen Mechanismen des Papers:

1. Die Soft Mixture (Kein mehr „Winner-Take-All“)
Anstatt nur einen Kopf die Arbeit machen zu lassen, fragt BACH: „Welche Rolle spielte der Science-Fiction-Kopf? Wie viel spielte der Bäcker-Kopf?“

Der alte Weg: „Science-Fiction-Kopf gewinnt! Alle anderen bekommen null Punkte.“
BACHs Weg: „Der Science-Fiction-Kopf erhält 70 % der Anerkennung, der Bäcker-Kopf 20 % und der Historiker-Kopf 10 %.“
Dies wird als Soft Mixture bezeichnet. Da jeder Kopf bei jeder Interaktion mit irgendeinem Artikel ein wenig Anerkennung (einen „Gradienten“) erhält, wird kein Kopf jemals faul oder kollabiert. Sie alle lernen weiter und bleiben wachsam.

2. Das personalisierte Gewicht (Die „Admixture“)
BACH rät Ihre Interessen nicht nur; es berechnet ein spezifisches Gewicht ( $\pi_u$ ) für Sie.

Für Sie könnte das Gewicht sein: 70 % Science-Fiction, 20 % Backen, 10 % Geschichte.
Für Ihren Freund könnte es sein: 10 % Science-Fiction, 80 % Backen, 10 % Geschichte.
Das Paper zeigt, dass diese Gewichte mithilfe einer Methode namens Variational Inference gelernt werden. Es ist, als ob der Bibliothekar ständig einen Regler für jeden Nutzer justiert, um genau herauszufinden, wie viel Masse er jedem Interesse geben muss. Dieses Gewicht wird dann sowohl während des Trainings als auch bei der eigentlichen Empfehlung verwendet, sodass das System konsistent bleibt.

3. Die „Global Codebook“-Option
Das Paper fand auch einen coolen Trick. Man kann die „Science-Fiction“- und „Backen“-Köpfe gemeinsam nutzen (eine globale Liste von Themen), während nur die Gewichte für jeden Menschen variieren.

Warum das cool ist: Der Bibliothekar kann die „Science-Fiction-Buchliste“ und die „Backen-Buchliste“ einmal berechnen und speichern. Wenn Sie reinkommen, mischt er einfach diese vorgefertigten Listen basierend auf Ihren persönlichen Gewichten zusammen. Das geht super schnell und funktioniert auch hervorragend bei neuen Nutzern, die noch nichts gelesen haben (das „Cold-Start“-Problem).

Was das Paper tatsächlich bewiesen hat (und was nicht)

Die Autoren haben nicht nur geraten; sie haben das System auf drei riesigen realen Datensätzen getestet: MovieLens-20M (20 Millionen Filmbewertungen), Taobao (eine massive chinesische Shopping-Seite) und Netflix.

Die Ergebnisse: Auf allen drei Datensätzen schlug BACH die alten „Winner-Take-All“-Multi-Interest-Modelle und die Single-Personality-Modelle.
- Auf MovieLens-20M erreichte die beste Version von BACH (mit 32 Köpfen) einen AUPRC von 0,069 und schlug damit das nächstbeste Modell (0,067).
- Auf Taobao verbesserte BACH die Top-Listen-Ergebnisse um etwa 3 % bis 5 % im Vergleich zur besten bisherigen Methode.
- Auf Netflix war die Verbesserung mit BACH noch deutlicher, wobei BACH den Wettbewerb bei 32 Köpfen um 12,7 % im AUPRC schlug.
Die „Routing“-Entdeckung: Das Paper schloss die alte Trainingsmethode explizit aus, bei der das System nur den „Gewinner“-Kopf aktualisiert (genannt „pos-multihead“). Sie fanden heraus, dass das Training mit der „Nur-der-Gewinner“-Regel tatsächlich schlechter ist als das Training, bei dem jeder Kandidat von seinem besten Kopf bewertet wird. Tatsächlich zeigte das Paper, dass das alte „Winner-Take-All“-Training zu einem massiven Leistungsabfall (bis zu 41 % schlechter bei den Top-Rankings) im Vergleich zum neuen „All-Candidate“-Scoring führte.
Die „Konzentrations“-Überraschung: Das Paper argumentierte gegen die Notwendigkeit komplexer „Priors“ (vorgegebene Regeln), um das System stabil zu halten. Sie fanden heraus, dass sich das System selbst reguliert. Die „Konzentration“ (wie scharf oder diffus ein Interesse ist) bleibt natürlich in einem gesunden Bereich (um 17 bis 30 für ihre spezifische Mathematik), ohne dass zusätzliche Regeln nötig sind, um dies zu erzwingen.

Das Fazit

Das Paper legt nahe, dass wir, indem wir die Interessen eines Nutzers als eine flexible, gewichtete Mischung behandeln anstatt als eine einzige Wahl oder ein starres Set von Gewinnern, Empfehlungssysteme bauen können, die genauer, weniger anfällig für „Kollaps“ und schneller im Betrieb sind.

Sie testeten dies mit 32 Köpfen (Interessen) und fanden heraus, dass dies am besten funktionierte, zeigten aber auch, dass es mit 8, 16, 128 und 256 Köpfen funktioniert. Das System ist robust, und die zwei verschiedenen mathematischen Versionen, die sie ausprobierten (genannt p-BACH und v-BACH), performten nahezu identisch, was darauf hindeutet, dass die Idee der Mischung entscheidend ist, nicht die spezifische mathematische Ausprägung.

Wenn Sie also ein neugieriger Teenager mit einer Million verschiedener Hobbys sind, dann ist BACH der Bibliothekar, der endlich aufhört, Sie in eine einzige Schublade zu stecken, und stattdessen ein maßgeschneidertes, perfektes Regal nur für Sie baut.

Technisches Resümee: BACH (Bayesian Admixture of Contrastive Heads)

1. Problemstellung

Two-Tower-Retriever sind der Standard für die groß angelegte Kandidatengenerierung in Empfehlungssystemen, indem sie Nutzer und Artikel in einen gemeinsamen Embedding-Raum abbilden, der durch das Skalarprodukt bewertet wird. Herkömmliche Single-Vector-Modelle haben jedoch Schwierigkeiten, Nutzer mit vielfältigen, schwach verwandten Interessen darzustellen, da sie oft dazu gezwungen werden, alle Interessen in einem einzigen Punkt im Embedding-Raum kollabieren zu lassen. Dies führt zu Retrieval-Slates, die dominante Interessen überrepräsentieren und andere unterversorgen.

Multi-Interest-Modelle versuchen dies zu lösen, indem sie $k$ Nutzer-Embeddings (Heads) emittieren und Artikel durch das maximale Skalarprodukt über diese Heads bewerten. Bestehende Ansätze leiden jedoch unter zwei kritischen Einschränkungen:

Routing-Kollaps: Das Training mittels „Hard-Routing“ (bei dem nur der Head mit dem höchsten Score zum positiven Artikel Gradienten erhält) erzeugt eine Winner-take-all-Dynamik. Heads, die initial etwas schlechter sind, werden seltener ausgewählt, erhalten weniger Updates und kollabieren progressiv zu Kopien des dominanten Heads, wodurch die effektive Kapazität unter $k$ sinkt.
Fehlende Gewichtung der Nutzerinteressen: Bestehende Methoden behandeln alle $k$ Heads symmetrisch und bieten keine pro-Nutzer-Schätzung darüber, wie wahrscheinlich ein Head das nächste Item erklären kann. Infolgedessen können Serving-Regeln entweder den maximal skorierenden Head wählen oder eine Vereinigung von Top-Listen unter einer impliziten Gleichverteilung bilden, was die Heterogenität der Interessen für spezifische Nutzer nicht widerspiegelt.

2. Methodik: BACH

Die Autoren schlagen BACH (Bayesian Admixture of Contrastive Heads) vor, welches Multi-Interest-Two-Tower-Retrieval als ein pro-Nutzer-Gemisch von Softmaxes umformuliert, das mittels variabler Inferenz angepasst wird.

Generatives Modell

BACH behandelt die $k$ Nutzer-Heads als Komponenten eines endlichen Mischmodells. Für einen Nutzer $u$ und ein Item $i$ :

Ein latenter Komponentenindikator $z_n \in \{1, \dots, k\}$ wird mit einem pro-Nutzer-Prior $\pi_u$ (einem Mischgewicht-Vektor) eingeführt.
Bedingt auf $z_n = r$ wird das Item aus einer gesampelten-Softmax-Verteilung generiert, die durch den $r$ -ten Nutzer-Embedding $u^{(r)}$ definiert ist.
Die beobachtete Daten-Log-Likelihood ist die Marginalisierung über die latenten Heads: $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$ .

Variational Inference und Recognition Posterior

Die direkte Optimierung der Log-Likelihood ist aufgrund des Log-von-Summe-Terms schwierig. BACH verwendet die variable Inferenz, um die Evidence Lower Bound (ELBO) zu maximieren.

Recognition Posterior: Anstatt den eigenen negativ-abhängigen Posterior des Modells zu verwenden (der zum Zeitpunkt des Servings intransitabel ist), führt BACH einen sphärischen Recognition Posterior $\gamma_n$ über die Heads ein.
Kernel-Wahl: Der Posterior wird durch eine sphärische Dichte modelliert (standardmäßig Power-Spherical, mit von Mises-Fisher als Alternative). Die Dichte wird durch die Head-Richtung $u^{(r)}$ und einen Konzentrationsparameter $\kappa_r$ parametrisiert.
Responsibilities: Die variable Verteilung (Responsibility) $\gamma_n^{(r)}$ wird berechnet als:
$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$
wobei $\sigma_r(n)$ der Wert der sphärischen Dichte basierend auf der Ausrichtung zwischen dem Head und dem positiven Item ist.

Optimierung

Das Modell maximiert die ELBO gemeinsam über:

Embeddings ( $\theta, \phi$ ): Die Nutzer-Heads und der Item-Tower werden über einen responsibility-gewichteten kontrastiven Verlust trainiert. Im Gegensatz zu Hard-Routing fließen Gradienten durch alle $k$ Heads, gewichtet durch ihre Responsibility $\gamma_n^{(r)}$ , was den Routing-Kollaps mildert.
Mischgewichte ( $\pi_u$ ): Ein Gating-Tower $\pi_\xi(x_u)$ erzeugt pro-Nutzer-Gewichte. Diese Gewichte fungieren als Prior in der ELBO und werden zum Zeitpunkt des Servings zur Gewichtung des Head-Retrievals wiederverwendet.
Konzentrationen ( $\psi$ ): Die Konzentrationsparameter $\kappa_r$ werden gelernt, um die Schärfe des kontrastiven Posteriors anzupassen. Da $\kappa_r$ nur durch den KL-Divergenz-Term in die ELBO eingeht, sind sie selbstreguliert und benötigen keinen expliziten Prior oder Clipping.

Serving

Zum Zeitpunkt des Servings rankt BACH Items nach der selbst-normalisierten Mischungsdichte:
$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$
Dies ermöglicht effizientes Retrieval:

Soft Ranking: Items werden durch ein weiches Gemisch statt durch ein hartes Max gerankt, was es kollabierten oder massearmen Heads ermöglicht, minimal beizutragen.
Global Codebook Variante: BACH unterstützt einen „globalen“ Modus, bei dem Heads über alle Nutzer hinweg geteilt werden (ein fester Codebook von Themen), während $\pi_u$ personalisiert bleibt. Dies ermöglicht vorberechenbares Retrieval, bei dem pro-Head-Kandidatenlisten offline berechnet und zum Zeitpunkt des Servings durch $\pi_u$ umgewichtet werden, was per-Nutzer-Nearest-Neighbor-Abfragen eliminiert.

3. Zentrale Beiträge

Variationaler Formulierung: Die Umwandlung von Multi-Interest-Retrieval in ein pro-Nutzer-Gemisch von Softmaxes, das mittels variabler Inferenz angepasst wird, wodurch das Hard-Argmax-Routing durch weiche Responsibilities ersetzt wird.
Milderung des Routing-Kollapses: Durch die Verteilung von Gradienten über alle Heads basierend auf weichen Responsibilities verhindert BACH die „Winner-take-all“-Dynamik, die bei Hard-Routing-Multi-Interest-Modellen üblich ist.
Pro-Nutzer-Interessengewichtung: Das Modell lernt explizite pro-Nutzer-Mischgewichte ( $\pi_u$ ), welche die Wichtigkeit der Heads quantifizieren und zum Zeitpunkt des Servings zur Gewichtung des Retrievals wiederverwendet werden, wodurch die mangelnde Heterogenität der Interessen adressiert wird.
Selbstregulierte Konzentrationen: Die Konzentrationsparameter $\kappa_r$ werden über den KL-Term der ELBO an die Daten angepasst, benötigen keine externen Priors und bleiben natürlich beschränkt.
Serving-Konsistente Scoring: Die Arbeit zeigt, dass ein „Serving-konsistentes“ Ziel (das jeden Kandidaten durch seinen besten Head zu bewerten, statt nur den positiven) herkömmliches Target-Routing-Training übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten BACH auf drei groß angelegten Benchmarks: MovieLens-20M, Taobao und Netflix.

Performance: BACH übertraf alle Baselines (Single-Vector, Hard-Routing Multi-Interest wie MIND/ComiRec sowie Max-Routing-Varianten) über alle Metriken (Recall@K, NDCG@K, AUPRC) und bei jeder Head-Anzahl ( $k \in \{8, 16, 32\}$ ).
Gewinne an der Spitze des Rankings: Die Verbesserungen waren am signifikantesten an der Spitze des Rankings (AUPRC, R@10), was auf eine bessere Abstimmung mit der Nutzerintention hindeutet.
Routing-Ablation: Die Arbeit fand, dass „All-Multihead“ (Bewertung jedes Kandidaten durch seinen besten Head) die „Pos-Multihead“ (Target-Routing) Methode deutlich übertraf, wobei sich die Lücke mit steigendem $k$ vergrößerte. BACH verbesserte sich zudem gegenüber der All-Multihead-Baseline.
Kernel-Varianten: Die Power-Spherical (p-BACH) und von Mises-Fisher (v-BACH) Varianten schnitten vergleichbar ab, wobei die Gewinne der variablen Mischstruktur und nicht dem spezifischen sphärischen Kernel zugeschrieben wurden.
Global Codebook: Die Global-Codebook-Variante (geteilte Heads, personalisierte Gewichte) erreichte eine starke Performance (übertraf Popularitäts-Baselines um das 2- bis 5-fache), bot aber gleichzeitig berechenbares, latenzarmes Serving und Robustheit gegenüber Cold-Starts, tauschte jedoch etwas Genauigkeit gegen die voll personalisierten Heads ein.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass BACH einen prinzipiellen probabilistischen Rahmen für Multi-Interest-Retrieval bietet, der die strukturellen Mängel von Hard-Routing-Methoden direkt adressiert. Durch die Behandlung des Problems als variable Mischung erreicht es:

Robustheit: Eliminierung des Head-Kollapses ohne komplexe Regularisierungs-Heuristiken.
Kalibrierung: Erzeugung kalibrierter pro-Nutzer-Interessengewichte, die die Serving-Konsistenz verbessern.
Flexibilität: Ein Spektrum von Deployment-Optionen, das von voll personalisierten Heads bis hin zu einem vorberechenbaren globalen Codebook reicht, was Abwägungen zwischen Genauigkeit und Serving-Effizienz ermöglicht.

Die Autoren betonen, dass die Methode die Retrieval-Qualität auf realen, groß angelegten Datensätzen verbessert und dabei eine handhabbare Serving-Architektur beibehält, was sie zu einer praktischen Weiterentwicklung gegenüber bestehenden Multi-Interest-Baselines macht.