🤖 AI

Uniboost: Global Coordination with Value Alignment for Fair and Efficient Traffic Allocation

Uniboost बड़े पैमाने के अनुशंसा तंत्र (recommendation systems) के लिए एक एकीकृत ट्रैफ़िक आवंटन ढांचा है जो मॉडल स्कोर को व्यावसायिक अर्थों (business semantics) के साथ कैलिब्रेट करने के लिए एक पोस्टीरियर वैल्यू एलाइनमेंट मैकेनिज्म और जटिल वेटिंग स्कीम्स को अलग करने के लिए एक स्वतंत्र लीनियर बूस्टिंग प्रतिमान (paradigm) पेश करके निष्पक्षता और दक्षता को बढ़ाता है।

मूल लेखक: Ge Fan, Nan Zhao, Kai Meng, Cong Luo, Yang Fu, Huiping Chu, Jialin Liu, Yuning Jiang, Bo Zheng

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ge Fan, Nan Zhao, Kai Meng, Cong Luo, Yang Fu, Huiping Chu, Jialin Liu, Yuning Jiang, Bo Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, हलचल भरा शहर का चौक है जहाँ हज़ारों अलग-अलग विक्रेता (वीडियो, विज्ञापन, समाचार लेख) राहगीरों (उपयोगकर्ताओं) को अपना सामान बेचने की कोशिश कर रहे हैं। इस शहर में एक "ट्रैफ़िक कंट्रोलर" (Traffic Controller) है जिसका काम यह तय करना है कि किस विक्रेता को सबसे अधिक दृश्यता वाली खिड़की में जगह मिलेगी।

अतीत में, इस ट्रैफ़िक कंट्रोलर के पास एक अस्त-व्यस्त, भ्रमित करने वाली नियम पुस्तिका थी। यहाँ वह समस्या है जिसका वर्णन इस पेपर में किया गया है और वह समाधान जो उन्होंने बनाया है, जिसे Uniboost कहा जाता है।

समस्या: एक अस्त-व्यस्त नियम पुस्तिका

कल्पना कीजिए कि ट्रैफ़िक कंट्रोलर के पास शहर के विभिन्न विभागों से विशेष निर्देश थे:

विज्ञापन विभाग (Ad Department) ने कहा: "सुनिश्चित करें कि हमारे विज्ञापन देखे जाएँ!" इसलिए, उन्होंने विज्ञापनों के स्कोर में एक बड़ा "बूस्ट" जोड़ दिया।
कोल्ड-स्टार्ट विभाग (Cold-Start Department) ने कहा: "नए विक्रेताओं को एक मौका मिलना चाहिए!" इसलिए, उन्होंने नए आइटम्स के लिए एक और "बूस्ट" जोड़ा।
प्रमोशन विभाग (Promotion Department) ने कहा: "इस सप्ताह की सेल वाले आइटम्स को अतिरिक्त स्थान मिलना चाहिए!" इसलिए, उन्होंने एक और बूस्ट जोड़ा।

अराजकता (The Chaos):

स्कोर मुद्रास्फीति (Score Inflation): क्योंकि हर कोई अपने ऊपर एक और "बूस्ट" जोड़ता जा रहा था, अंतिम स्कोर बहुत बड़े, अर्थहीन नंबर बन गए। यह ऐसा था जैसे कहना कि एक विक्रेता दूसरे से "10,000 गुना बेहतर" है, जबकि वास्तव में वे केवल थोड़े बेहतर थे। नंबरों ने अपना अर्थ खो दिया।
एक उलझी हुई गांठ (The Tangled Knot): ये सभी बूस्ट आपस में मिल गए थे। यदि सिस्टम खराब प्रदर्शन करता था, तो कोई नहीं जानता था कि किस विभाग के नियम ने समस्या पैदा की। यह समझना असंभव था कि कौन किसके लिए जिम्मेदार है।
"ब्लैक बॉक्स" स्कोर (The "Black Box" Score): कंप्यूटर मॉडल द्वारा दिए गए मूल स्कोर अमूर्त (abstract) थे। वे ट्रैफ़िक कंट्रोलर को यह नहीं बताते थे कि उस स्कोर का वास्तव में क्या अर्थ है (जैसे कि "क्या यह व्यक्ति वास्तव़ में पूरा वीडियो देखेगा?")।

समाधान: Uniboost

लेखकों ने इसे ठीक करने के लिए Uniboost नामक एक नया सिस्टम बनाया। इसे ट्रैफ़िक कंट्रोलर को एक नया, स्पष्ट और निष्पक्ष सेट ऑफ टूल्स देने के रूप में समझें।

1. "एंकर" (वैल्यू अलाइनमेंट - Value Alignment)

सबसे पहले, उन्होंने महसूस किया कि कंप्यूटर के कच्चे स्कोर "अजीब डिग्री" (Weird Degrees) में तापमान रीडिंग की तरह थे जिसे कोई समझ नहीं पा रहा था।

समाधान: उन्होंने एक अनुवाद टूल बनाया। उन्होंने एक वास्तविक दुनिया के मेट्रिक को चुना, जिसे वे "प्रभावी पूर्णता दर" (Effective Completion Rate) कहते हैं (मूल रूप से: "क्या उपयोगकर्ता ने वास्तव में वीडियो देखना पूरा किया?")।
उपमा (Analogy): कल्पना कीजिए कि उन्होंने उन सभी "अजीब डिग्री" को कैलिब्रेट किया ताकि वे "वास्तविक डिग्री" (जैसे सेल्सियस) से मेल खा सकें। अब, "50" का स्कोर केवल "उच्च" नहीं है; इसका मतलब है "50% संभावना कि यह व्यक्ति इसे पूरा देखेगा।" यह हर नंबर को अर्थपूर्ण और व्याख्या योग्य बनाता है।

2. "स्वतंत्र बूस्ट" (लीनियर एग्रीगेशन - Linear Aggregation)

इसके बाद, उन्होंने नियमों की उलझी हुई गांठ को ठीक किया।

पुराना तरीका: यह एक ऐसे सूप में सामग्री मिलाने जैसा था जहाँ आप नमक को मिर्च से अलग नहीं कर सकते थे।
Uniboost का तरीका: उन्होंने रेसिपी बदल दी। सब कुछ एक बड़े बर्तन में मिलाने के बजाय, वे अब प्रत्येक विभाग के योगदान की स्वतंत्र रूप से गणना करते हैं और फिर अंत में उन्हें बस जोड़ देते हैं।
उपमा: कल्पना कीजिए कि ट्रैफ़िक कंट्रोलर के पास एक बहीखाता (ledger) है।
- बेस स्कोर: 10 अंक।
- विज्ञापन बूस्ट: +2 अंक।
- नया आइटम बूस्ट: +1 अंक।
- कुल: 13 अंक।
  क्योंकि वे लीनियर रूप से (10 + 2 + 1) जोड़े जाते हैं, कंट्रोलर अंतिम संख्या को देख सकता है और कह सकता है, "आह, विज्ञापन विभाग ने ठीक 2 अंक दिए।" यदि कोई योजना काम नहीं कर रही है, तो वे उस विशिष्ट लाइन आइटम को बिना पूरे सिस्टम को तोड़े आसानी से हटा सकते हैं।

3. "आरओआई डैशबोर्ड" (मैक्रो गाइडेंस - Macro Guidance)

चूंकि सिस्टम अब इतना स्पष्ट है, इसलिए ट्रैफ़िक कंट्रोलर एक डैशबोर्ड देख सकता है और हर एक नियम के लिए निवेश पर प्रतिफल (ROI) देख सकता है।

परिणाम: उन्होंने पाया कि एक विशिष्ट नियम (प्लान-A) बहुत सारा "ट्रैफ़िक स्पेस" खर्च कर रहा था लेकिन बहुत कम लाभ दे रहा था। क्योंकि सिस्टम पारदर्शी था, वे आसानी से उस नियम को हटा सके।
परिणाम (Outcome): जब उन्होंने खराब नियम को हटाया, तो समग्र सिस्टम वास्तव में बेहतर हो गया। उपयोगकर्ताओं ने बेहतर कंटेंट देखा, और शहर (व्यवसाय) अधिक कुशलता से चला।

परिणाम

टीम ने इसे वास्तविक दुनिया में (Taobao के कंटेंट फीड्स पर) टेस्ट किया और पाया:

माइक्रो लेवल (विवरण): सिस्टम बहुत अधिक कुशल हो गया। वे महत्वपूर्ण कंटेंट की दृश्यता को नुकसान पहुँचाए बिना "बूस्ट" वेट्स को काफी कम (कुछ मामलों में 90% से अधिक) कर सके। ट्रैफ़िक को अधिक निष्पक्ष और प्रभावी ढंग से आवंटित किया गया।
मैक्रो लेवल (बड़ी तस्वीर): उन्हें यह देखने की क्षमता मिली कि कौन सी रणनीतियाँ काम कर रही थीं और कौन सी संसाधनों को बर्बाद कर रही थीं। इसने उन्हें पूरे अनुशंसा सिस्टम (recommendation system) को चलाने के बारे में स्मार्ट, डेटा-संचालित निर्णय लेने की अनुमति दी।

संक्षेप में

Uniboost एक अराजक, नियम-प्रधान ट्रैफ़िक चौराहे को एक स्मार्ट, पारदर्शी सिस्टम में अपग्रेड करने जैसा है।

यह भ्रमित करने वाले कंप्यूटर स्कोर को वास्तविक दुनिया के अर्थ में अनुवादित करता है (वैल्यू अलाइनमेंट)।
यह नियमों को अलग करता है ताकि आप देख सकें कि कौन क्या कर रहा है (इंडिपेंडेंट बूस्टिंग)।
यह एक स्पष्ट स्कोरकार्ड प्रदान करता है ताकि आप खराब रणनीतियों को हटा सकें और अच्छी रणनीतियों को बनाए रख सकें (ROI विश्लेषण)।

परिणामस्वरूप, एक अनुशंसा प्रणाली (recommendation system) अधिक निष्पक्ष, तेज़ और बेहतर समझने में आसान हो जाती है।

तकनीकी सारांश: Uniboost

समस्या विवरण

बड़े पैमाने के औद्योगिक अनुशंसा (recommendation) सिस्टम में, ब्लेंडिंग (री-रैंकिंग) चरण विभिन्न सामग्री स्रोतों (जैसे, ऑर्गेनिक वीडियो, विज्ञापन, कोल्ड-स्टार्ट कंटेंट) के बीच ट्रैफ़िक आवंटित करने के लिए महत्वपूर्ण है, ताकि उपयोगकर्ता अनुभव और व्यावसायिक उद्देश्यों के बीच संतुलन बनाया जा सके। हालाँकि, मौजूदा दृष्टिकोणों को तीन प्राथमिक चुनौतियों का सामना करना पड़ता है:

जुड़े हुए आवंटन प्लान (Coupled Allocation Plans): पारंपरिक पाइपलाइनों में कई अल्पकालिक ट्रैफ़िक आवंटन योजनाएं (जैसे, प्रमोशन, गठबंधन) वेट्स (weights) को संचित करती हैं, जिससे स्कोर इन्फ्लेशन (score inflation) होता है। भौतिक अर्थों (physical semantics) की यह हानि स्कोर को व्याख्या योग्य बनाने में बाधा डालती है और ब्लेंडिंग सिस्टम के इटरेशन (iteration) में कठिनाई पैदा करती है।
व्याख्यात्मकता का अभाव (Lack of Interpretability): अमूर्त मॉडल स्कोर में अक्सर स्पष्ट व्यावसायिक अर्थ नहीं होते हैं। जब इन्हें जटिल, जुड़े हुए वेटिंग स्कीम्स के साथ जोड़ा जाता है, तो विशिष्ट योजनाओं के योगदान का श्रेय देना या ट्रैफ़िक आवंटन की लागत को समझना कठिन हो जाता है।
खंडित वेटिंग फ्रेमवर्क (Fragmented Weighting Frameworks): वर्तमान सिस्टम विभिन्न लक्ष्यों के लिए अलग-अलग तंत्रों का उपयोग करते हैं (जैसे, विज्ञापन गारंटीकृत वितरण के लिए PID कंट्रोलर बनाम कोल्ड-स्टार्ट एक्सप्लोरेशन के लिए सरल बूस्ट वेटिंग)। एक एकीकृत फ्रेमवर्क का अभाव है जो मौजूदा व्यावसायिक तर्क को बाधित किए बिना इन विविध तंत्रों को समायोजित कर सके।

कार्यप्रणाली: Uniboost फ्रेमवर्क

लेखक Uniboost प्रस्तावित करते हैं, जो एक एकीकृत ट्रैफ़िक आवंटन फ्रेमवर्क है जिसे ब्लेंडिंग चरण में तैनात किया गया है। यह एक क्लोज्ड-लूप तंत्र के माध्यम से संचालित होता है जिसमें एक ऑनलाइन सर्विंग पाइपलाइन और एक नियर-लाइन/ऑफलाइन सांख्यिकी प्रणाली शामिल है।

1. वैल्यू अलाइनमेंट (पोस्टीरियर वैल्यू अलाइनमेंट)

व्याख्यात्मकता की कमी को दूर करने के लिए, Uniboost एक वैल्यू अलाइनमेंट मॉड्यूल पेश करता है।

तंत्र: रॉ मॉडल स्कोर ( $y'_v$ ), जिनमें स्पष्ट व्यावसायिक अर्थों का अभाव होता है, उन्हें एक विशिष्ट "एंकर टारगेट" स्पेस (जैसे, "इफेक्टिव कंप्लीशन रेट") में मैप किया जाता है।
फॉर्मूला: अलाइन्ड स्कोर $y_v$ की गणना इस प्रकार की जाती है:
$y_v = F(y'_v | \pi) = y'_v \frac{\mu_{anchor}}{\mu_{score}}$
जहाँ $\mu_{score}$ और $\mu_{anchor}$ क्रमशः रॉ ब्लेंडिंग स्कोर और एंकर टारगेट स्कोर के ग्लोबल मीन (global means) हैं।
परिणाम: यह अमूर्त स्कोर को स्पष्ट व्यावसायिक निहितार्थों वाले एक्सपेक्टेड वैल्यूज (Expected Values) में बदल देता है, जिससे यह सुनिश्चित होता है कि बाद के हस्तक्षेप वेट्स (intervention weights) में व्याख्या योग्य भौतिक महत्व हो।

2. इंडिपेंडेंट लीनियर बूस्टिंग पैराडाइम

जुड़े हुए, नॉन-लीनियर फ्यूजन के बजाय, Uniboost एक इंडिपेंडेंट लीनियर बूस्टिंग दृष्टिकोण अपनाता है।

गणना: प्रत्येक व्यावसायिक योजना $p$ के लिए, एक स्वतंत्र बूस्ट स्कोर $s_{p,v}$ की गणना की जाती है:
$s_{p,v} = \mathbb{1}_p(v) * (w_p * y_v + b_p)$
जहाँ $w_p$ और $b_p$ सीखने योग्य हाइपरपैरामीटर्स (वेट और बायस) हैं, और $\mathbb{1}_p(v)$ एक इंडिकेटर फंक्शन है।
एग्रीगेशन: अंतिम रैंकिंग स्कोर $r_v$ अलाइन्ड बेस वैल्यू और सभी स्वतंत्र बूस्ट स्कोर का लीनियर सम (linear sum) है:
$r_v = y_v + \sum_{p \in S_{plan}} s_{p,v}$
लाभ: लीनियर समेशन एडिटिविटी (Additivity) की गारंटी देता है, जिससे सटीक एट्रीब्यूशन (Attribution) संभव होता है। सिस्टम अंतिम रैंकिंग में प्रत्येक योजना के सटीक योगदान को मात्रात्मक रूप से माप सकता है, जिससे स्कोर इन्फ्लेशन की समस्या हल होती है और परस्पर निर्भर रणनीतियों को अलग (decouple) करना संभव होता है।

3. मॉनिटरिंग और फीडबैक लूप

नियर-लाइन/ऑफलाइन सिस्टम: डेटा डिस्ट्रीब्यूशन (रॉ स्कोर, अलाइन्ड स्कोर, बूस्ट स्कोर) को ट्रैक करने के लिए डेटा डिस्ट्रीब्यूशन शिफ्ट की निगरानी करता है।
ROI विश्लेषण: प्रत्येक योजना के लिए संसाधन खपत (ट्रैफ़िक शेयर) और व्यावसायिक प्रदर्शन (एंकर मेट्रिक में सुधार) को एकत्रित करके रिटर्न ऑन इन्वेस्टमेंट (ROI) की गणना करता है। यह ऑपरेटरों को मापदंडों को गतिशील रूप से समायोजित करने और कम दक्षता वाली योजनाओं को हटाने के लिए मार्गदर्शन करता है।

मुख्य योगदान

एकीकृत वेटिंग फ्रेमवर्क: Uniboost विविध सामग्री प्रकारों के लिए वेटिंग और रेगुलेशन को एकीकृत करता है, जो पोस्टीरियर वैल्यू अलाइनमेंट के माध्यम से जटिल ब्लेंडिंग स्कोर को व्यावसायिक मूल्य प्रदान करता है। यह जटिल ऑनलाइन वेटिंग स्कीम्स को अलग करता है, जिससे व्यक्तिगत योजनाओं के लिए विश्वसनीय मात्रात्मक मूल्यांकन प्राप्त होता है।
इंडिपेंडेंट लीनियर बूस्टिंग: प्रस्तावित पैराडाइम ट्रैफ़िक आवंटन लागत के सटीक एट्रीब्यूशन को सक्षम बनाता है। यह स्कोर इन्फ्लेशन की समस्याओं को हल करता है और ब्लेंडिंग तंत्र की व्याख्यात्मकता को काफी बढ़ाता है।
मजबूत एंकर मेट्रिक चयन: लेखक कंटेंट रिकमेंडेशन के लिए एक मजबूत एंकर मेट्रिक के रूप में "इफेक्टिव कंप्लीशन रेट" की पहचान करते हैं। स्पार्स या अस्थिर मेट्रिक्स (जैसे, क्लिक, बाय) के विपरीत, इफेक्टिव कंप्लीशन प्रेडिक्शन स्कोर केAcross एक स्थिर डिस्ट्रीब्यूशन बनाए रखता है, जो वैल्यू अलाइनमेंट के लिए एक विश्वसनीय एंकर के रूप में कार्य करता है।

प्रयोगात्मक परिणाम

इस फ्रेमवर्क को Taobao & Tmall ग्रुप रिकमेंडेशन सिस्टम के भीतर बड़े पैमाने पर ऑनलाइन A/B टेस्ट और गहन डेटा विश्लेषण के माध्यम से मान्य किया गया।

माइक्रो-लेवल परफॉर्मेंस: बेसलाइन (ओरिजिनल वेटेड पाइपलाइन) की तुलना में, Uniboost ट्रीटमेंट ग्रुप ने सभी मुख्य मेट्रिक्स में निरंतर सुधार हासिल किया:
- विज़िट व्यू (VV): +1.69%
- वैल्यूड VV (>3s प्ले): +3.07%
- ड्यूरेशन (Duration): +0.65%
- वैल्यूड स्कोर (कंपोजिट): +2.54%
- वेट रिडक्शन: सिस्टम ने स्थिर एक्सपोज़र शेयर बनाए रखते हुए विज्ञापन वेटिंग स्कोर में 92.21% की कमी और ऑर्गेनिक वीडियो वेटिंग स्कोर में 95.81% की कमी हासिल की। यह वेट विस्फोट (weight explosion) के शमन की पुष्टि करता है।
मैक्रो-लेवल मार्गदर्शन: एक कम-ROI वाली योजना (प्लान-A) को हटाने वाले एब्लेशन अध्ययन के परिणामस्वरूप और अधिक सुधार (जैसे, वैल्यूड स्कोर में +4.13%) हुआ, जो दर्शाता है कि सिस्टम की विश्लेषणात्मक रिपोर्टें समग्र ट्रैफ़िक आवंटन तंत्र को अनुकूलित करने के लिए कार्रवाई योग्य मार्गदर्शन प्रदान करती हैं।
एंकर मेट्रिक वैलिडेशन: कोरिलेशन विश्लेषण ने पुष्टि की कि अलाइनमेंट के लिए "इफेक्टिव कंप्लीशन" सबसे स्थिर मेट्रिक है, जबकि "बाय" या "इंटरेक्शन" जैसे मेट्रिक्स उच्च अस्थिरता या स्पर्सिटी प्रदर्शित करते हैं, जो उन्हें अनुपयुक्त एंकर बनाते हैं।

महत्व और दावे

पेपर का दावा है कि Uniboost बड़े पैमाने के औद्योगिक रिकमेंडेशन सिस्टम के लिए एक कुशल और नियंत्रणीय ट्रैफ़िक रेगुलेशन समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

दो-स्तरीय अनुकूलन: यह माइक्रो लेवल (व्यक्तिगत रैंकिंग) पर ट्रैफ़िक आवंटन दक्षता और रिकमेंडेशन प्रदर्शन में सुधार करता है, साथ ही डेटा-संचालित ROI विश्लेषण के माध्यम से सिस्टम इटरेशन के लिए मैक्रो-लेवल रणनीतिक मार्गदर्शन प्रदान करता है।
व्याख्यात्मकता और नियंत्रण: अमूर्त स्कोर को व्यावसायिक अर्थों के साथ अलाइन करके और वेटिंग स्कीम्स को अलग करके, यह ब्लेंडिंग तंत्र को पारदर्शी और नियंत्रणीय बनाता है, जो पारंपरिक बूस्टिंग की "ब्लैक बॉक्स" प्रकृति को संबोधित करता है।
औद्योगिक तैनाती: इस समाधान को Taobao कंटेंट फीड्स रिकमेंडेशन सिस्टम में पूरी तरह से तैनात किया गया है, जो एक जटिल, मल्टी-ऑब्जेक्टिव वातावरण में कोर ट्रैफ़िक आवंटन सिस्टम के रूप में स्थिर रूप से कार्य कर रहा है, जो इसकी स्केलेबिलिटी और व्यावहारिक उपयोगिता को सिद्ध करता है।