🤖 machine learning

BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval

BACH, जो मल्टी-इंटरेस्ट टू-टावर रिट्रीवल के लिए एक 'बेयसियन एडमिक्चर ऑफ कॉन्ट्रास्टिव हेड्स' फ्रेमवर्क पेश करता है, वेरिएशनल इन्फरेंस का उपयोग करके उपयोगकर्ता हितों को एक सॉफ्ट मिक्सचर के रूप में मॉडल करता है, जो प्रभावी रूप से रूटिंग कोलैप्स को कम करता है और प्रति-उपयोगकर्ता हित भार (per-user interest weights) प्रदान करते हुए बड़े पैमाने के बेंचमार्क पर रिट्रीवल प्रदर्शन में सुधार करता है।

मूल लेखक: Quoc Phong Nguyen, Paul Albert, Long Vuong, Vuong Le, Julien Monteil

प्रकाशित 2026-07-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Quoc Phong Nguyen, Paul Albert, Long Vuong, Vuong Le, Julien Monteil

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लाखों किताबों वाली एक विशाल, अनंत लाइब्रेरी में घूम रहे हैं। आपकी एक बहुत ही विशिष्ट पसंद है: आपको 1980 के दशक की साइंस-फिक्शन (sci-fi) पसंद है, लेकिन आप गुप्त रूप से बेकिंग ट्यूटोरियल और प्राचीन इतिहास को भी बहुत पसंद करते हैं।

पुराने ज़माने के रिकमेंडेशन सिस्टम एक ऐसे लाइब्रेरियन की तरह हैं जो आपकी सभी रुचियों को एक ही व्यक्तित्व (single personality) में दबाने की कोशिश करते हैं। वे अपने दिमाग में आपके लिए एक ही "आप" खोजने की कोशिश करते हैं। समस्या यह है कि अगर आपको साइंस-फिक्शन सबसे ज्यादा पसंद है, तो लाइब्रेरियन मान लेता है कि आप केवल साइंस-फिक्शन ही चाहते हैं। वे बेकिंग और इतिहास की किताबों को अलमारी के पीछे धकेल देते हैं क्योंकि वे उस एकल "साइंस-फिक्शन" लेबल में फिट नहीं बैठतीं। यह वह "सिंगल-वेक्टर" दृष्टिकोण है जिसे पेपर में बताया गया है, और यह आपकी कई रुचियों को शेल्फ पर ही छोड़ देता है।

फिर, कुछ स्मार्ट लाइब्रेरियनों ने एक नया तरीका आजमाया: मल्टी-इंटरेस्ट (Multi-Interest)। एक व्यक्तित्व के बजाय, उन्होंने आपके दिमाग में $k$ अलग-अलग "हेड्स" (या अवतार) दिए। एक हेड साइंस-फिक्शन प्रेमी है, एक बेकर है, और एक इतिहासकार है। जब आप एक किताब मांगते हैं, तो लाइब्रेरियन सभी $k$ हेड्स की जांच करता है और उस हेड को चुनता है जो सबसे बेहतर मेल खाता है।

लेकिन यहाँ वह गड़बड़ी है जो पेपर ने खोजी:
इन स्मार्ट लाइब्रेरियनों को प्रशिक्षित करने का पुराना तरीका एक "विजेता-ही-सब-कुछ" (winner-take-all) खेल की तरह था। जब आपने साइंस-फिक्शन बुक चुनी, तो लाइब्रेरियन ने केवल साइंस-फिक्शन हेड को ही 'हाई-फाइव' दिया। बेकर और इतिहासकार हेड्स को अनदेखा कर दिया गया। समय के साथ, साइंस-फिक्शन हेड बहुत मजबूत हो गया, जबकि अन्य हेड आलसी हो गए, उन्होंने सीखना बंद कर दिया, और अंततः वे साइंस-फिक्शन हेड की नकल करने लगे। इसे "रूटिंग कोलैप्स" (routing collapse) कहा जाता है। लाइब्रेरियन के पास $k$ हेड्स तो होते हैं, लेकिन वे सभी एक ही व्यक्ति की तरह व्यवहार करते हैं। इसके अलावा, लाइब्रेरियन को यह पता ही नहीं था कि आप बेकिंग या इतिहास के प्रति वास्तव में कितना ध्यान देते हैं; उन्होंने बस अंदाजा लगाया।

समाधान: BACH (Bayesian Admixture of Contrastive Heads)

लेखकों ने, जो अमेज़न की एक टीम है, BACH नामक एक नया सिस्टम बनाया है। BACH को एक ऐसे लाइब्रेरियन के रूप में सोचें जो न केवल आपसे बात करने के लिए एक हेड चुनता है, बल्कि आपकी रुचियों का एक कस्टम कॉकटेल (custom cocktail) बनाता है।

BACH कैसे काम करता है, यहाँ इसके वास्तविक मैकेनिक्स दिए गए हैं:

1. सॉफ्ट मिक्सचर (अब कोई "विजेता-ही-सब-कुछ" नहीं)
सिर्फ एक हेड को काम करने के लिए चुनने के बजाय, BACH पूछता है: "साइंस-फिक्शन हेड ने कितनी भूमिका निभाई? बेकर हेड ने कितनी भूमिका निभाई?"

पुराना तरीका: "साइंस-फिक्शन हेड जीत गया! बाकी सबको जीरो पॉइंट्स मिलते हैं।"
BACH का तरीका: "साइंस-फिक्शन हेड को 70% क्रेडिट मिलता है, बेकर को 20%, और इतिहासकार को 10%।"
इसे सॉफ्ट मिक्सचर (soft mixture) कहा जाता है। क्योंकि हर हेड को आपके किसी भी इंटरैक्शन के साथ थोड़ा सा क्रेडिट (एक "ग्रेडिएंट") मिलता है, इसलिए कोई भी हेड कभी आलसी नहीं होता या ढलता नहीं है। वे सभी सीखते रहते हैं और तेज बने रहते हैं।

2. पर्सनलाइज्ड वेट (The "Admixture")
BACH आपकी रुचियों का केवल अंदाजा नहीं लगाता; यह आपके लिए एक विशिष्ट वेट (weight) ( $\pi_u$ ) की गणना करता है।

आपके लिए, वेट हो सकता है: 70% साइंस-फिक्शन, 20% बेकिंग, 10% इतिहास।
आपके दोस्त के लिए, वेट हो सकता है: 10% साइंस-फिक्शन, 80% बेकिंग, 10% इतिहास।
पेपर में दिखाया गया है कि ये वेट्स वैरिएशनल इन्फरेंस (variational inference) नामक विधि का उपयोग करके सीखे जाते हैं। यह ऐसा है जैसे लाइब्रेरियन प्रत्येक उपयोगकर्ता के लिए एक विशेष डायल को एडजस्ट कर रहा है ताकि यह पता चल सके कि प्रत्येक रुचि को कितना द्रव्यमान (mass) देना है। इस वेट का उपयोग प्रशिक्षण के दौरान और वास्तव में सिफारिशें देते समय, दोनों के लिए किया जाता है, ताकि सिस्टम सुसंगत बना रहे।

3. "ग्लोबल कोडबुक" विकल्प
पेपर में एक और कूल ट्रिक भी मिली। आप "साइंस-फिक्शन" और "बेकिंग" हेड्स को सभी के लिए साझा (shared) रख सकते हैं (विषयों की एक वैश्विक सूची), जबकि केवल वेट्स प्रत्येक व्यक्ति के लिए बदलते हैं।

यह क्यों शानदार है: लाइब्रेरियन एक बार "साइंस-फिक्शन बुक लिस्ट" और "बेकिंग बुक लिस्ट" की पूर्व-गणना कर सकता है और उन्हें स्टोर कर सकता है। जब आप आते हैं, तो वे बस आपके व्यक्तिगत वेट्स के आधार पर उन पूर्व-निर्मित सूचियों को मिला देते हैं। यह बहुत तेज़ है और नए उपयोगकर्ताओं (कोल्ड स्टार्ट समस्या) के लिए भी बहुत अच्छा काम करता है।

इस पेपर ने वास्तव में क्या साबित किया (और क्या नहीं)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने तीन बड़े वास्तविक दुनिया के डेटासेट्स पर परीक्षण किया: MovieLens-20M (2 करोड़ मूवी रेटिंग), Taobao (एक विशाल चीनी शॉपिंग साइट), और Netflix।

परिणाम: तीनों डेटासेट्स पर, BACH ने पुराने "विजेता-ही-सब-कुछ" वाले मल्टी-इंटरेस्ट मॉडल्स और सिंगल-पर्सनैलिटी मॉडल्स को पछाड़ दिया।
- MovieLens-20M पर, BACH का सबसे अच्छा संस्करण (32 हेड्स के साथ) 0.069 का AUPRC तक पहुँचा, जिसने अगले सबसे अच्छे मॉडल (0.067) को पीछे छोड़ दिया।
- Taobao पर, BACH ने पिछले सर्वश्रेष्ठ तरीके की तुलना में शीर्ष-सूची के परिणामों में लगभग 3% से 5% का सुधार किया।
- Netflix पर, सुधार और भी अधिक स्पष्ट था, जहाँ BACH ने 32 हेड्स के साथ AUPRC में प्रतिस्पर्धा को 12.7% से पछाड़ दिया।
"रूटिंग" की खोज: पेपर स्पष्ट रूप से पुराने प्रशिक्षण तरीके को खारिज करता है जहाँ सिस्टम केवल "जीतने वाले" हेड को अपडेट करता है (जिसे "pos-multihead" कहा जाता है)। उन्होंने पाया कि "केवल विजेता" नियम के साथ प्रशिक्षण करना, जहाँ हर कैंडिडेट को उसके सबसे अच्छे हेड द्वारा स्कोर किया जाता है, उससे भी बदतर है। वास्तव में, पेपर ने दिखाया कि पुराने "विजेता-ही-सब-कुछ" प्रशिक्षण ने शीर्ष रैंकिंग में (41% तक खराब) भारी गिरावट पैदा की।
"कंसंट्रेशन" का आश्चर्य: पेपर ने तर्क दिया कि सिस्टम को स्थिर रखने के लिए जटिल "प्रायर्स" (पहले से निर्धारित नियम) की आवश्यकता नहीं है। उन्होंने पाया कि सिस्टम स्वयं-नियमित (self-regulates) होता है। "कंसंट्रेशन" (एक रुचि कितनी तीखी या धुंधली है) स्वाभाविक रूप से एक स्वस्थ सीमा (उनके विशिष्ट गणित के लिए लगभग 17 से 30) के भीतर रहती है, बिना किसी अतिरिक्त नियमों के।

निचोड़ (The Bottom Line)

पेपर सुझाव देता है कि उपयोगकर्ता की रुचियों को एक एकल विकल्प या कठोर विजेताओं के सेट के बजाय एक लचीले, भारित मिश्रण (flexible, weighted mixture) के रूप में मानकर, हम अधिक सटीक, "कोलैप्स" के प्रति कम संवेदनशील और तेजी से चलने वाले रिकमेंडेशन सिस्टम बना सकते हैं।

उन्होंने 32 हेड्स (रुचियों) के साथ परीक्षण किया और पाया कि यह सबसे अच्छा काम करता है, लेकिन उन्होंने यह भी दिखाया कि यह 8, 16, 128, और 256 हेड्स के साथ भी काम करता है। सिस्टम मजबूत है, और उनके द्वारा आजमाए गए दो अलग-अलग गणित संस्करणों (जिन्हें p-BACH और v-BACH कहा जाता है) ने लगभग समान प्रदर्शन किया, जिससे पता चलता है कि मिश्रण का विचार महत्वपूर्ण है, न कि विशिष्ट गणितीय स्वाद।

इसलिए, यदि आप लाखों अलग-अलग शौक रखने वाले एक जिज्ञासु किशोर हैं, तो BACH वह लाइब्रेरियन है जो अंततः आपको एक बॉक्स में फिट करने की कोशिश करना बंद कर देता है और इसके बजाय आपके लिए एक कस्टम, परफेक्ट शेल्फ बनाता है।

तकनीकी सारांश: BACH (Bayesian Admixture of Contrastive Heads)

1. समस्या विवरण (Problem Statement)

दो-टावर रिट्रीवर्स (Two-tower retrievers) बड़े पैमाने पर कैंडिडेट जनरेशन के लिए मानक हैं, जो उपयोगकर्ताओं और वस्तुओं को एक साझा एम्बेडिंग स्पेस में मैप करते हैं जिसे इनर प्रोडक्ट द्वारा स्कोर किया जाता है। हालांकि, मानक सिंगल-वेक्टर मॉडल विविध, कमजोर रूप से संबंधित रुचियों वाले उपयोगकर्ताओं का प्रतिनिधित्व करने के लिए संघर्ष करते हैं, जिससे अक्सर उनकी सभी रुचियों को एम्बेडिंग स्पेस में एक ही बिंदु में सिमटने (collapse) के लिए मजबूर होना पड़ता है। इससे रिट्रीवल स्लेट्स (retrieval slates) में प्रमुख रुचियों का अत्यधिक प्रतिनिधित्व होता है जबकि अन्य रुचियों की सेवा कम हो जाती है।

मल्टी-इंटरेस्ट मॉडल $k$ यूजर एम्बेडिंग्स (हेड्स) उत्सर्जित करके और इन हेड्स के माध्यम से अधिकतम इनर प्रोडक्ट द्वारा वस्तुओं को स्कोर करके इस समस्या को हल करने का प्रयास करते हैं। हालांकि, मौजूदा दृष्टिकोण दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

रूटिंग कोलैप्स (Routing Collapse): "हार्ड-रूटिंग" (जहाँ केवल वह हेड जिसका पॉजिटिव आइटम के साथ उच्चतम स्कोर होता है, ग्रेडिएंट प्राप्त करता है) के माध्यम से प्रशिक्षण एक 'विजेता-ले-जाता-है' (winner-take-all) वाली गतिशीलता बनाता है। जो हेड्स थोड़े खराब तरीके से इनिशियलाइज होते हैं, वे कम बार चुने जाते हैं, उन्हें कम अपडेट मिलते हैं, और धीरे-धीरे प्रभावी क्षमता $k$ से नीचे गिरकर डोमिनेंट हेड की कॉपी में बदल जाते हैं।
प्रति-उपयोगकर्ता रुचि वेटिंग का अभाव (Lack of Per-User Interest Weighting): मौजूदा विधियाँ सभी $k$ हेड्स को सममित (symmetrically) मानती हैं, जिससे यह कोई अनुमान नहीं मिलता कि प्रत्येक हेड अगले आइटम की व्याख्या करने के लिए कितना संभावित है। नतीजतन, सर्विंग नियम या तो अधिकतम-स्कोरिंग हेड को चुनते हैं या एक निहित यूनिफॉर्म प्रायर के तहत टॉप लिस्टों का यूनियन लेते हैं, जो विशिष्ट उपयोगकर्ताओं के लिए रुचियों के विषम महत्व को दर्शाने में विफल रहते हैं।

2. कार्यप्रणाली: BACH

लेखक BACH (Bayesian Admixture of Contrastive Heads) का प्रस्ताव करते हैं, जो मल्टी-इंटरेस्ट टू-टावर रिट्रीवल को वेरिएशनल इन्फरेंस (variational inference) के माध्यम से फिट किए गए प्रति-उपयोगकर्ता मिक्सचर ऑफ सॉफ्टमैक्स (per-user mixture of softmaxes) के रूप में पुनर्गठित करता है।

जेनेरेटिव मॉडल (Generative Model)

BACH $k$ यूजर हेड्स को एक परिमित मिश्रण मॉडल (finite mixture model) के घटकों के रूप में मानता है। एक उपयोगकर्ता $u$ और वस्तु $i$ के लिए:

एक लेटेंट कंपोनेंट इंडिकेटर $z_n \in \{1, \dots, k\}$ को एक प्रति-उपयोगकर्ता प्रायर $\pi_u$ (एक मिश्रण भार वेक्टर) के साथ पेश किया जाता है।
$z_n = r$ होने की स्थिति में, वस्तु को $r$ -वें यूजर एम्बेडिंग $u^{(r)}$ द्वारा परिभाषित एक सैंपल्ड-सॉफ्टमैक्स वितरण से उत्पन्न किया जाता है।
देखा गया डेटा लॉग-लाइक्लीहुड (log-likelihood) लेटेंट हेड्स पर मार्जिनल है: $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$ ।

वेरिएशनल इन्फरेंस और रिकग्निशन पोस्टीरियर (Variational Inference and Recognition Posterior)

लॉग-ऑफ-सम (log-of-sum) टर्म के कारण डायरेक्ट ऑप्टिमाइजेशन चुनौतीपूर्ण है। BACH ELBO को मैक्सिमाइज करने के लिए वेरिएशनल इन्फरेंस का उपयोग करता है।

रिकग्निशन पोस्टीरियर: हेड्स पर एक स्फेरिकल रिकग्निशन पोस्टीरियर $\gamma_n$ का उपयोग करते हुए, BACH सीधे नेगेटिव-डिपेंडेंट पोस्टीरियर का उपयोग नहीं करता है (जो सर्विंग के समय अव्यवहार्य है)।
कर्नेल चॉइस: पोस्टीरियर को एक स्फेरिकल डेंसिटी का उपयोग करके मॉडल किया जाता है (डिफ़ॉल्ट रूप से पावर-स्फेरिकल, वॉन मिसेस-फिशर के विकल्प के साथ)। डेंसिटी को हेड दिशा $u^{(r)}$ और कंसंट्रेशन पैरामीटर $\kappa_r$ द्वारा पैरामीटराइज किया जाता है।
रिस्पॉन्सिबिलिटीज़ (Responsibilities): वेरिएशनल डिस्ट्रीब्यूशन (रिस्पॉन्सिबिलिटी) $\gamma_n^{(r)}$ को निम्नानुसार कंप्यूट किया जाता है:
$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$
जहाँ $\sigma_r(n)$ हेड और पॉजिटिव आइटम के बीच संरेखण (alignment) पर आधारित स्फेरिकल डेंसिटी वैल्यू है।

ऑप्टिमाइजेशन (Optimization)

मॉडल निम्नलिखित पर संयुक्त रूप से ELBO को मैक्सिमाइज करता है:

एम्बेडिंग्स ( $\theta, \phi$ ): यूजर हेड्स और आइटम टावर को रिस्पॉन्सिबिलिटी-वेटेड कॉन्ट्रास्टिव लॉस के माध्यम से प्रशिक्षित किया जाता है। हार्ड-रूटिंग के विपरीत, ग्रेडिएंट्स सभी $k$ हेड्स के माध्यम से प्रवाहित होते हैं, जो उनकी रिस्पॉन्सिबिलिटी $\gamma_n^{(r)}$ द्वारा भारित (weighted) होते हैं, जिससे रूटिंग कोलैप्स कम होता है।
मिक्सचर वेट्स ( $\pi_u$ ): एक गेटिंग टावर $\pi_\xi(x_u)$ प्रति-उपयोगकर्ता वेट्स उत्पन्न करता है। ये वेट्स ELBO में एक प्रायर के रूप में कार्य करते हैं और सर्विंग के समय हेड्स को वेट करने के लिए पुन: उपयोग किए जाते हैं।
कंसंट्रेशंस ( $\psi$ ): कंसंट्रेशन पैरामीटर्स $\kappa_r$ को कॉन्ट्रास्टिव पोस्टीरियर की शार्पनेस को फिट करने के लिए सीखा जाता है। महत्वपूर्ण बात यह है कि क्योंकि $\kappa_r$ केवल KL-डाइवर्जेंस टर्म के माध्यम से ELBO में प्रवेश करता है, वे सेल्फ-रेग्युलेटेड हैं और उन्हें किसी स्पष्ट प्रायर या क्लिपिंग की आवश्यकता नहीं होती है।

सर्विंग (Serving)

सर्विंग के समय, BACH आइटम्स को सेल्फ-नॉर्मलाइज्ड मिक्सचर डेंसिटी द्वारा रैंक करता है:
$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$
यह कुशल रिट्रीवल की अनुमति देता है:

सॉफ्ट रैंकिंग (Soft Ranking): आइटम्स को हार्ड मैक्स के बजाय एक सॉफ्ट मिक्सचर द्वारा रैंक किया जाता है, जिससे कोलैप्स्ड या लो-मास हेड्स का योगदान न्यूनतम रहता है।
ग्लोबल कोडबुक वेरिएंट (Global Codebook Variant): BACH एक "ग्लोबल" मोड का समर्थन करता है जहाँ हेड्स सभी उपयोगकर्ताओं के बीच साझा किए जाते हैं (विषयों का एक फिक्स्ड कोडबुक), जबकि $\pi_u$ पर्सनलाइज्ड रहता है। यह प्री-कंप्यूटेबल रिट्रीवल को सक्षम बनाता है, जहाँ प्रति-हेड कैंडिडेट लिस्ट ऑफलाइन कंप्यूट की जाती है और सर्विंग के समय $\pi_u$ द्वारा पुन: भारित (reweighted) की जाती है, जिससे प्रति-उपयोगकर्ता नियरएस्ट-नेबर क्वेरीज़ समाप्त हो जाती हैं।

3. मुख्य योगदान (Key Contributions)

वेरिएशनल फॉर्मूलेशन: मल्टी-इंटरेस्ट रिट्रीवल को प्रति-उपयोगकर्ता मिक्सचर ऑफ सॉफ्टमैक्स के रूप में प्रस्तुत करना, जो हार्ड-आर्गमैक्स रूटिंग के बजाय सॉफ्ट रिस्पॉन्सिबिलिटीज़ का उपयोग करता है।
रूटिंग कोलैप्स का शमन: सभी हेड्स में सॉफ्ट रिस्पॉन्सिबिलिटीज़ के आधार पर ग्रेडिएंट्स वितरित करके, BACH "विजेता-ले-जाता-है" डायनेमिक्स को रोकता है जो हार्ड-रूटिंग मल्टी-इंटरेस्ट मॉडल्स में आम है।
प्रति-उपयोगकर्ता रुचि वेटिंग: मॉडल स्पष्ट प्रति-उपयोगकर्ता मिक्सचर वेट्स ( $\pi_u$ ) सीखता है जो हेड इम्पोर्टेंस को क्वांटिफाई करते हैं, जिनका उपयोग सर्विंग के दौरान रिट्रीवल को वेट करने के लिए किया जाता है, जो मौजूदा विधियों में रुचि विषमता (interest heterogeneity) की कमी को दूर करता है।
सेल्फ-रेग्युलेटेड कंसंट्रेशंस: कंसंट्रेशन पैरामीटर्स $\kappa_r$ को ELBO के KL टर्म के माध्यम से डेटा को फिट करने के लिए उपयोग किया जाता है, जिससे उन्हें किसी बाहरी प्रायर की आवश्यकता नहीं होती और वे स्वाभाविक रूप से बाउंड रहते हैं।
सर्विंग-कंसिस्टेंट स्कोरिंग: पेपर यह प्रदर्शित करता है कि "सर्विंग-कंसिस्टेंट" ऑब्जेक्टिव (प्रत्येक कैंडिडेट को उसके बेस्ट हेड द्वारा स्कोर करना, न कि केवल पॉजिटिव द्वारा) के साथ प्रशिक्षण पारंपरिक टारगेट-रूटेड ट्रेनिंग की तुलना में बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बड़े पैमाने के बेंचमार्क: MovieLens-20M, Taobao, और Netflix पर BACH का मूल्यांकन किया।

प्रदर्शन: BACH ने सभी मेट्रिक्स (Recall@K, NDCG@K, AUPRC) और हर हेड काउंट ( $k \in \{8, 16, 32\}$ ) पर सभी बेसलाइन (सिंगल-वेक्टर, हार्ड-रूटिंग मल्टी-इंटरेस्ट जैसे MIND/Comi уве, और मैक्स-रूटिंग वेरिएंट) को पछाड़ दिया।
टॉप-ऑफ-रैंकिंग गेन्स: सुधार सबसे अधिक रैंकिंग के शीर्ष (AUPC, R@10) पर देखे गए, जो बेहतर यूजर इंटेंट अलाइनमेंट का संकेत देते हैं।
रूटिंग एब्लेशन: पेपर ने पाया कि "ऑल-मल्टीहेड" (प्रत्येक कैंडिडेट को उसके बेस्ट हेड द्वारा स्कोर करना) "पॉजिटिव-मल्टीहेड" (टारगेट रूटिंग) की तुलना में काफी बेहतर था, और जैसे-जैसे $k$ बढ़ता है, अंतर भी बढ़ता जाता है। BACH ने ऑल-मल्टीहेड बेसलाइन में भी सुधार किया।
कर्नेल वेरिएंट्स: पावर-स्फेरिकल (p-BACH) और वॉन मिसेस-फिशर (v-BACH) वेरिएंट्स तुलनीय प्रदर्शन करते हैं, जहाँ लाभ वेरिएशनल मिक्सचर स्ट्रक्चर के कारण हैं, न कि विशिष्ट स्फेरिकल कर्नेल के।
ग्लोबल कोडबुक: ग्लोबल-कोडबुक वेरिएंट (साझा हेड्स, पर्सनलाइज्ड वेट्स) ने मजबूत प्रदर्शन (पॉपुलैरिटी बेसलाइन से 2-5 गुना बेहतर) हासिल किया, जो प्री-कंप्यूटेबल, लो-लेटेंसी सर्विंग और कोल्ड-स्टार्ट मजबूती प्रदान करता है, हालांकि इसने पूरी तरह से पर्सनलाइज्ड हेड्स की तुलना में कुछ सटीकता का त्याग किया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि BACH मल्टी-इंटरेस्ट रिट्रीवल के लिए एक सिद्धांतपूर्ण संभाव्य ढांचा (principled probabilistic framework) प्रदान करता है जो सीधे हार्ड-रूटिंग विधियों की संरचनात्मक खामियों को संबोधित करता है। एक वेरिएशनल मिक्सचर के रूप में इसे मानकर, यह प्राप्त करता है:

मजबूती (Robustness): जटिल रेगुलाइजेशन ह्यूरिस्टिक्स के बिना हेड कोलैप्स का उन्मूलन।
कैलिब्रेशन (Calibration): कैलिब्रेटेड प्रति-उपयोगकर्ता रुचि वेट्स का उत्पादन जो सर्विंग निरंतरता (serving consistency) में सुधार करते हैं।
लचीलापन (Flexibility): पूरी तरह से पर्सनलाइज्ड हेड्स से लेकर प्री-कंप्यूटेबल ग्लोबल कोडबुक तक तैनाती के विकल्पों का एक स्पेक्ट्रम, जो सटीकता और सर्विंग दक्षता के बीच ट्रेड-ऑफ की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि यह विधि वास्तविक दुनिया के बड़े पैमाने के डेटासेट पर रिट्रीवल की गुणवत्ता में सुधार करती है और एक ट्रैक्टेबल सर्विंग आर्किटेक्चर बनाए रखती है, जो इसे मौजूदा मल्टी-इंटरेस्ट बेसलाइन पर एक व्यावहारिक प्रगति बनाती है।