🤖 machine learning

A Production-Ready RL Framework for Personalized Utility Tuning with Pareto Sweeping in Pinterest Recommender Systems

यह शोध पत्र PRL-PUTS को प्रस्तुत करता है, जो एक प्रोडक्शन-रेडी, रँकर-स्वतंत्र सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) ढांचा है जो पिंटरेस्ट के होमफीड में मल्टी-ऑब्जेक्टिव ट्रेड-ऑफ्स को गतिशील रूप से अनुकूलित करने के लिए पारेटो स्वीपिंग के माध्यम से व्यक्तिगत उपयोगिता-भार (यूटिलिटी-वेट) ट्यूनिंग को स्वचालित करता है, जिसके परिणामस्वरूप बिना किसी सर्विंग लेटेंसी को बढ़ाए महत्वपूर्ण जुड़ाव (एंगेजमेंट) में सुधार होता है।

मूल लेखक: Yichu Zhou, Mehdi Ben Ayed, Lin Yang, Jiacong He, Andreanne Lemay, Jiaye Wang, Jaewon Yang, Josie Zeng, Dhruvil Deven Badani, Yijie Dylan Wang, Jiajing Xu, Charles Rosenberg

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yichu Zhou, Mehdi Ben Ayed, Lin Yang, Jiacong He, Andreanne Lemay, Jiaye Wang, Jaewon Yang, Josie Zeng, Dhruvil Deven Badani, Yijie Dylan Wang, Jiajing Xu, Charles Rosenberg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

Pinterest की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ लाखों किताबें (Pins) लगातार आगंतुकों को सुझाई जा रही हैं। इस लाइब्रेरी में एक बहुत ही समझदार लाइब्रेरियन (Ranker) है जो हर किताब को देखता है और विभिन्न मानदंडों के आधार पर यह भविष्यवाणी करता है कि एक विशिष्ट आगंतुक उसे कितना पसंद करेगा: "क्या वे इस पर क्लिक करेंगे?" "क्या वे इसे अपने बोर्ड पर सेव करेंगे?" "क्या वे इससे संबंधित कोई अन्य चित्र देखेंगे?"

पुराना तरीका: "एक ही नियम सबके लिए" वाली रूलबुक

अतीत में, लाइब्रेरी प्रबंधकों को यह तय करना पड़ता था कि इन भविष्यवाणियों को एक एकल स्कोर में कैसे जोड़ा जाए ताकि यह तय किया जा सके कि कौन सी किताबें पहले दिखाई जाएँगी। वे एक सरल सूत्र का उपयोग करते थे:

कुल स्कोर = (क्लिक्स × वेट A) + (सेव्स × वेट B)

समस्या यह थी कि वेट A और वेट B हाथ से सेट किए गए थे। यदि प्रबंधक अधिक 'सेव्स' चाहते, तो वे मैन्युअल रूप से वेट B को बढ़ा देते। लेकिन यह धीमा, कठोर और सभी के लिए बिल्कुल एक जैसा था। पार्टी के आइडिया ढूंढ रहा एक किशोर और होम डेकोर की तलाश कर रहा एक पेशेवर, दोनों को सिफारिशों के लिए बिल्कुल एक ही "रेसिपी" मिलती थी, भले ही उनकी ज़रूरतें पूरी तरह से अलग हों। यह एक शेफ की तरह था जो एक बच्चे के सूप और एक अनुभवी फूड क्रिटिक के सूप, दोनों के लिए नमक की बिल्कुल समान मात्रा का उपयोग करता है।

नया समाधान: PRL-PUTS (एक स्मार्ट, अनुकूलन योग्य Sous-Chef)

यह पेपर PRL-PUTS को पेश करता है, जो एक स्मार्ट, अनुकूलन योग्य 'सॉस-शेफ' (Sous-Chef) की तरह काम करता है जो लाइब्रेरियन के ठीक बगल में खड़ा है।

यह लाइब्रेरियन को दोबारा नहीं लिखता: मुख्य लाइब्रेरियन (Ranker) बिल्कुल वैसा ही रहता है। PRL-PUTS लाइब्रेरियन को फिर से प्रशिक्षित करने या किताबों को पढ़ने का तरीका बदलने की कोशिश नहीं करता। यह बस उनके ऊपर स्थित होता है।
यह वास्तविक समय (Real-Time) में रेसिपी को एडजस्ट करता है: प्रत्येक आगंतुक के अनुरोध के लिए, PRL-PUTS संदर्भ (Context) को देखता है (यह व्यक्ति कौन है? वह अभी क्या कर रहा है?) और तुरंत निर्णय लेता है: "इस विशिष्ट व्यक्ति के लिए, आइए 'सेव्स' पर थोड़ा अधिक जोर दें," या "इस व्यक्ति के लिए, आइए 'संबंधित चित्रों' पर अधिक जोर दें।"
यह अनुभव से सीखता है: वेट्स का अनुमान लगाने के बजाय, PRL-PUTS एक 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) एजेंट है। यह एक सुरक्षित, नियंत्रित तरीके से विभिन्न "रेसिपी" (वेट संयोजनों) को आजमाता है, देखता है कि क्या होता है (क्या उपयोगकर्ता ने जुड़ाव दिखाया?), और सीखता है कि किस प्रकार के व्यक्ति के लिए कौन सी रेसिपी सबसे अच्छी काम करती है।

"पारेटो स्वीपिंग" (Pareto Sweeping) ट्रिक: विकल्पों का मेनू

एक सिफारिश प्रणाली (Recommendation System) को प्रबंधित करने का सबसे कठिन हिस्सा यह है कि आप हमेशा हर चीज़ में नहीं जीत सकते। यदि आप "सेव्स" के लिए बहुत अधिक दबाव डालते हैं, तो आपको "क्लिक्स" कम मिल सकते हैं।

पेपर एक चतुर गवर्नेंस टूल पेश करता है जिसे Pareto Sweeping कहा जाता है। कल्पना करें कि सिस्टम केवल एक सबसे अच्छी रेसिपी नहीं चुनता। इसके बजाय, यह संभावित रेसिपीओं का एक पूरा मेनू (एक "Pareto Frontier") तैयार करता है।

रेसिपी A: सेव्स को अधिकतम करती है, क्लिक्स को थोड़ा कम करती है।
रेसिपी B: एक आदर्श संतुलन।
रेसिची C: क्लिक्स को अधिकतम करती है, सेव्स को थोड़ा कम करती है।

बिजनेस लीडर्स (हितधारक) इस मेनू को देख सकते हैं और कह सकते हैं, "आज, हमारा लक्ष्य अधिक सेव्स प्राप्त करना है, इसलिए आइए सिस्टम को रेसिपी A पर स्विच करें।" वे इसे एक सिंगल डायल (एक पैरामीटर जिसे $\alpha$ कहा जाता है) को घुमाकर तुरंत कर सकते हैं, बिना पूरे AI मॉडल को फिर से प्रशिक्षित किए या नए अपडेट के लिए हफ्तों इंतजार किए।

यह वास्तविक दुनिया में कैसे काम करता है (Pinterest Homefeed)

टीम ने इसका परीक्षण Pinterest Homefeed (मुख्य फीड जो उपयोगकर्ता लॉग इन करते समय देखते हैं) पर किया।

गति: यह इतना तेज़ चलता है कि उपयोगकर्ताओं को कोई देरी महसूस नहीं होती। यह एक वेटर की तरह है जो भोजन परोसने के दौरान ही शेफ के कान में एक सुझाव फुसफुसा देता है।
सुरक्षा: यदि सिस्टम में कोई गड़बड़ी आती है, तो यह तुरंत पुराने, सुरक्षित मैन्युअल वेट्स पर वापस चला जाता है।
परिणाम: जब उन्होंने कुछ उपयोगकर्ताओं के लिए "सेव्स" को प्राथमिकता देने के लिए डायल को घुमाया, तो उन्होंने "सफल सत्रों" (Successful Sessions) में 0.13% की वृद्धि देखी (ऐसे सत्र जहाँ उपयोगकर्ताओं ने वास्तव में कुछ सकारात्मक किया)। यह सुनने में छोटा लग सकता है, लेकिन लाखों उपयोगकर्ताओं वाले प्लेटफॉर्म पर, यह एक बड़ी जीत है।

मुख्य निष्कर्ष

यह पेपर सिद्ध करता है कि अपने रिकमेंडेशन इंजन को स्मार्ट बनाने के लिए आपको उसे पूरी तरह से फिर से बनाने की आवश्यकता नहीं है। इसके ऊपर एक छोटा, स्मार्ट लेयर जोड़कर जो प्रत्येक उपयोगकर्ता के लिए "रेसिपी" को व्यक्तिगत बनाता है और प्रबंधकों को ट्रेड-ऑफ (समझौते) के विकल्पों का एक मेनू देता है, आप बेहतर परिणाम प्राप्त कर सकते हैं, तेज़ी से अनुकूलित हो सकते हैं और सिस्टम को स्थिर रख सकते हैं।

संक्षेप में: PRL-PUTS एक कठोर, वैश्विक नियम पुस्तिका को एक लचीली, व्यक्तिगत बातचीत में बदल देता है जो सिस्टम और उपयोगकर्ता के बीच होती है, जिसे एक सरल डायल द्वारा प्रबंधित किया जाता है जिसे बिजनेस लीडर्स अपनी प्राथमिकताओं को बदलने के लिए कभी भी घुमा सकते हैं।

तकनीकी सारांश: व्यक्तिगत उपयोगिता ट्यूनिंग के लिए PRL-PUTS

1. समस्या की परिभाषा

Pinterest के होमफीड जैसे बड़े पैमाने के अनुशंसा तंत्र (recommender systems), आमतौर पर मल्टी-टास्क रैंकिंग मॉडल का उपयोग करते हैं जो एक साथ कई उपयोगकर्ता जुड़ाव परिणामों (जैसे क्लिक, सेव/रिपिन) की भविष्यवाणी करते हैं। इन भविष्यवाणियों को अंतिम रैंकिंग निर्धारित करने के लिए एक रैखिक भारित योग (linear weighted sum) के माध्यम से एक एकल उपयोगिता स्कोर में एकत्रित किया जाता है।

यह शोध पत्र इन उपयोगिता भारों (utility weights) को ट्यून करने के वर्तमान मैनुअल दृष्टिकोण में तीन महत्वपूर्ण सीमाओं की पहचान करता है:

परिचालन अक्षमता (Operational Inefficiency): भार का चयन तदर्थ (ad hoc) ऑफलाइन विश्लेषण और लंबे ऑनलाइन A/B परीक्षण चक्रों (सप्ताह से महीने) पर निर्भर करता है, जिससे बदलते व्यावसायिक प्राथमिकताओं के अनुकूल होना धीमा हो जाता है।
पुरानापन (Staleness): वैश्विक भार अक्सर स्थिर स्थिरांकों के रूप में रखे जाते हैं। जैसे-जैसे नया डेटा और फीचर्स के साथ रैंक करने वाला मॉडल रिफ्रेश होता है, पहले से ट्यून किए गए भार वर्तमान मॉडल वितरण के साथ असंगत हो जाते हैं।
वैयक्तिकरण का अभाव (Lack of Personalization): वैश्विक भार सभी उपयोगकर्ताओं और संदर्भों के लिए एक ही उद्देश्य व्यापार (trade-off) लागू करते हैं, जो विषम उपयोगकर्ता इरादों (heterogeneous user intents) को समझने में विफल रहते हैं। उत्पादन स्तर पर संदर्भ-निर्भर व्यापारों को मैन्युअल रूप से सूचीबद्ध करना अव्यावहारिक है।

मुख्य चुनौती एक ऐसा सिस्टम बनाने की है जो सख्त उत्पादन बाधाओं (सीमित मॉडल रिट्रेनिंग आवृत्ति और सर्विंग-टाइम जटिलता) का पालन करते हुए तेज़, संदर्भ-संवेदनशील और शासन योग्य (governable) मल्टी-ऑब्जेक्टिव ट्रेड-ऑफ सक्षम कर सके।

2. कार्यप्रणाली: PRL-PUTS

लेखक PRL-PUTS (पर्सनलाइज्ड यूटिलिटी-वेट ट्यूनिंग के लिए प्रोडक्शन-रेडी, रैंकर-इंडिपेंडेंट आरएल फ्रेमवर्क फॉर पारेटो स्वीपिंग) का प्रस्ताव करते हैं। यह फ्रेमवर्क उपयोगिता-भार ट्यूनिंग को एक वन-स्टेप, वैल्यू-बेस्ड सुदृढीकरण शिक्षण (Reinforcement Learning - RL) समस्या के रूप में देखता है।

2.1 मुख्य सूत्र (Core Formulation)

अवस्था (State - $s$ ): अनुरोध के संदर्भ का प्रतिनिधित्व करता है, जिसमें उपयोगकर्ता प्रोफ़ाइल सिग्नल, दीर्घकालिक प्राथमिकताएं (एम्बेडिंग्स), हालिया क्रिया इतिहास, और सर्विंग-टाइम संदर्भ (डिवाइस, सरफेस, समय) शामिल हैं।
क्रिया (Action - $a$ ): एक उपयोगिता-भार वेक्टर जो रैंकर के मौजूदा प्रति-उद्देश्य भविष्यवाणियों पर लागू होता है। जटिलता और जोखिम को प्रबंधित करने के लिए, सिस्टम भारों के एक विशिष्ट उपसमुच्चय (विशेष रूप से Pinterest के मामले में Repin और P2P इम्प्रेशंस के लिए) को नियंत्रित करता है जबकि अन्य को स्थिर रखता है। एक्शन स्पेस को उम्मीदवार मानों के एक कॉम्पैक्ट सेट में विविक्त (discretized) किया गया है।
पुरस्कार (Reward - $r$ ): नियंत्रित उद्देश्यों के अनुरूप अनुरोध-स्तरीय जुड़ाव परिणाम। सीखने को स्थिर करने के लिए, पुरस्कारों को बाइनरी मानों (0 या 1) तक सीमित किया जाता है कि क्या घटना हुई थी।
उद्देश्य: एजेंट दिए गए अनुरोध $s$ के लिए एक भार वेक्टर $w$ चुनने के लिए सीखता है ताकि तत्काल जुड़ाव पुरस्कारों को अधिकतम किया जा सके। इस समस्या को कॉन्टेक्स्टुअल बैंडिट (एक-चरणीय MDP जहाँ $\gamma=0$ ) के रूप में मॉडल किया गया है।

2.2 मॉडल आर्किटेक्चर

PRL-PUTS एक टू-हेड वैल्यू मॉडल का उपयोग करता है:

इनपुट: स्टेट एम्बेडिंग्स (ट्रांसफॉर्मर्स और MLPs के माध्यम से उपयोगकर्ता इतिहास और संदर्भ से प्राप्त) और एक्शन एम्बेडिंग्स (सामान्यीकृत उपयोगिता भार) का संयोजन।
बैकबोन: बैच नॉर्मलाइजेशन और ReLU के साथ एक साझा तीन-परत वाला MLP।
आउटपुट हेड्स: दो अलग-अलग हेड्स प्रत्येक उद्देश्य के लिए अपेक्षित पुरस्कार ( $Q_{Repin}$ और $Q_{P2P}$ ) की भविष्यवाणी करते हैं। आउटपुट को सिग्मॉइड फंक्शन का उपयोग करके $[0, 1]$ तक सीमित किया जाता है, जिसे सशर्त सफलता संभावनाओं के रूप में व्याख्या किया जाता है।
प्रशिक्षण: इसे अनबायस्ड एक्सप्लोरेशन लॉग्स पर दो उद्देश्यों के लिए मीन स्क्वेर्ड एरर (MSE) लॉस के योग का उपयोग करके प्रशिक्षित किया जाता है।

2.3 इन्फरेंस-टाइम पारेटो स्वीपिंग (Inference-Time Pareto Sweeping)

एक प्रमुख नवाचार लर्निंग और पॉलिसी सिलेक्शन का अलगाव है।

एक निश्चित ट्रेड-ऑफ के लिए एकल नीति प्रशिक्षित करने के बजाय, मॉडल ऑब्जेक्टिव-विशिष्ट वैल्यू फंक्शन्स सीखता है।
इन्फरेंस के समय, सापेक्ष महत्व को नियंत्रित करने के लिए एक स्केलेराइजेशन पैरामीटर $\alpha \in [0, 1]$ पेश किया जाता है:
$a^* = \arg\max_{a \in A} \left( \alpha Q_{P2P}(s, a) + (1 - \alpha) Q_{Repin}(s, a) \right)$
$\alpha$ को ऑफलाइन ग्रिड पर स्वीप करके, सिस्टम एक ही प्रशिक्षित मॉडल से नीतियों का एक परिवार प्रेरित करता है।
शासन (Governance): इन नीतियोंों का होल्ड-आउट एक्सप्लोरेशन लॉग्स पर ऑफ-पॉलिसी इवैल्यूएशन (OPE) का उपयोग करके मूल्यांकन किया जाता है ताकि एक एम्पिरिकल पारेटो फ्रंटियर बनाया जा सके। हितधारक (stakeholders) एक दृश्यमान पारेटो फ्रंटियर देख सकते हैं और मॉडल को पुन: प्रशिक्षित किए बिना कॉन्फ़िगरेशन के माध्यम से एक ऑपरेटिंग पॉलिसी (एक विशिष्ट $\alpha$ ) चुन सकते हैं।

2.4 उत्पादन एकीकरण (Production Integration)

रैंकर स्वतंत्रता (Ranker Independence): PRL-PUTS मौजूदा मल्टी-टास्क रैंकर के ऊपर एक अलग कंट्रोल लेयर के रूप में कार्य करता है। यह रैंकर के आंतरिक भविष्यवाणियों या कैंडिडेट जनरेशन को संशोधित नहीं करता है।
विलंबता (Latency): फ्रेमवर्क रैंकिंग इन्फरेंस के समानांतर चलता है। यह नगण्य सर्विंग लेटेंसी जोड़ता है क्योंकि इसे केवल अनुरोध-स्तरीय फीचर्स की आवश्यकता होती है और यह आइटम-स्तरीय फीचर्स या मध्यवर्ती रैंकर गणनाओं पर निर्भर नहीं है।
फ़ालबैक (Fallback): मजबूत फ़ालबैक तंत्र यह सुनिश्चित करते हैं कि यदि इन्फरेंस विफल हो जाता है या समय समाप्त हो जाता है, तो सिस्टम स्थिर उत्पादन भारों पर वापस आ जाता है।

3. मुख्य योगदान

रैंकर-स्वतंत्र RL फॉर्मूलेशन: पेपर एक वन-स्टेप, वैल्यू-बेस्ड RL दृष्टिकोण पेश करता है जहाँ क्रियाएं उपयोगिता-भार वेक्टर हैं जो मौजूदा रैंकर भविष्यवाणियों पर लागू होते हैं, जिससे कोर रैंकर को पुन: प्रशिक्षित किए बिना अनुरोध-स्तरीय प्रासंगिक नियंत्रण सक्षम होता है।
पारेटो स्वीपिंग के माध्यम से कार्रवाई योग्य शासन: फ्रेमवर्क एक पॉलिसी परिवार और एक एम्पिरिकल पारेटो फ्रंटियर उत्पन्न करने के लिए स्केलेराइजेशन पैरामीटर की इन्फरेंस-टाइम स्वीपिंग का उपयोग करता है। यह हितधारकों को मॉडल को फिर से प्रशिक्षित किए बिना वर्तमान व्यावसायिक लक्ष्यों के अनुरूप ऑपरेटिंग पॉलिसी चुनने में सक्षम बनाता है।
उत्पादन एकीकरण: सिस्टम को रैंकिंग इन्फरेंस के साथ शून्य अतिरिक्त सर्विंग लेटेंसी के साथ चलने के लिए डिज़ाइन किया गया है और इसे Pinterest के होमफीड में सफलतापूर्वक तैनात किया गया है।
एंड-टू-एंड साक्ष्य: लेखक प्रदर्शित करते हैं कि ऑफलाइन पारेटो-स्वीप्ट ट्रेड-ऑफ अनुमान विश्वसनीय रूप से ऑनलाइन मेट्रिक मूवमेंट की भविष्यवाणी करते हैं, जो यह प्रमाणित करता है कि लाभ केवल वैश्विक भार बदलावों के बजाय प्रासंगिक वैयक्तिकरण से संचालित हैं।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क को रैंडमाइज्ड प्रोडक्शन ट्रैफिक से प्राप्त अनबायस्ड एक्सप्लोरेशन लॉग्स और Pinterest होमफीड पर ऑनलाइन A/B टेस्ट का उपयोग करके मान्य किया गया।

ऑफलाइन-टू-ऑनलाइन निरंतरता: विभिन्न ऑपरेटिंग नीतियों के बीच ऑफलाइन OPE अनुमानों और ऑनलाइन मेट्रिक मूवमेंट के बीच एक मजबूत सहसंबंध (पियर्सन सहसंबंध > 0.98) था।
ग्लोबल पॉलिसी प्रदर्शन:
- एक P2P-झुकाव वाली पॉलिसी ( $\alpha=0.24$ ) ने बेसलाइन की तुलना में सफल सत्रों (Successful Sessions) (एक मुख्य जुड़ाव मेट्रिक) में +0.13% की वृद्धि के साथ-साथ रिपिन में +0.66% और P2P इम्प्रेशंस में +0.30% की वृद्धि हासिल की।
- अपेक्षित रूप से ट्रेड-ऑफ देखे गए: रिपिन-झुकाव वाली नीतियों ने रिपिन बढ़ाए लेकिन P2P इम्प्रेशंस को थोड़ा कम कर दिया, जबकि P2-झुकाव वाली नीतियों ने इसके विपरीत परिणाम दिए।
वैयक्तिकरण बनाम ग्लोबल ट्यूनिंग:
- जब PRL-PUTS की तुलना एक स्थिर बेसलाइन से की गई जिसे PRL-PUTS द्वारा उत्पन्न औसत भारों से ट्यून किया गया था, तो स्थिर बेसलाइन के परिणाम न्यूट्रल या नकारात्मक रहे।
- PRL-PUTS ने रिपिन में +0.12% और P2P इम्प्रेशंस में +0.21% की वृद्धि हासिल की, जो यह सिद्ध करता है कि सुधार उपयोगिता फलन के वैश्विक पुन: भारण के बजाय संदर्भ-निर्भर भार चयन (वैयक्तिकरण) से आते हैं।
कोहोर्ट विश्लेषण: सिस्टम ने अलग-अलग उपयोगकर्ता समूहों (CORE, CASUAL, REST) के लिए अलग-अलग $\alpha$ मान सफलतापूर्वक लागू किए, जो विशिष्ट उपयोगकर्ता खंडों के लिए ट्रेड-ऑफ कर्व के लिए नियंत्रणीय बदलावों को प्रदर्शित करता है।

5. महत्व और दावे

पेपर दावा करता है कि PRL-PUTS बड़े पैमाने के रिकमेंडर में मैनुअल उपयोगिता ट्यूनिंग से जुड़ी "परिचालन और उत्पाद ऋण" (operational and product debt) को संबोधित करता है। रैंकर से कंट्रोल लेयर को अलग करके, यह सक्षम बनाता है:

गति: मॉडल रिट्रेनिंग चक्रों (सप्ताहों लंबे) के बजाय कॉन्फ़िगरेशन परिवर्तनों ( $\alpha$ ) के माध्यम से ऑपरेटिंग नीतियों को तेजी से अपडेट करना।
शासन: एक पारदर्शी, दृश्यमान पारेटो फ्रंटियर जो हितधारकों को ट्रेड-ऑफ के बारे में सूचित निर्णय लेने में सक्षम बनाता है।
सुरक्षा: एक छोटा, समीक्षा योग्य कंट्रोल सरफेस (विविक्त भार क्रियाएं) जो सुरक्षित रोलबैक और क्रमिक परिनियोजन (incremental deployment) का समर्थन करता है।

लेखक इस कार्य को उन उत्पादन वातावरणों के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत करते हैं जहाँ मॉडल रिट्रेनिंग दुर्लभ है और सर्विंग लेटेंसी महत्वपूर्ण है, यह प्रदर्शित करते हुए कि उपयोगिता एकत्रीकरण परत पर वैयक्तिकृत मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन प्राप्त करने के लिए RL को प्रभावी ढंग से लागू किया जा सकता है।

6. सीमाएं और भविष्य का कार्य

पेपर कई सीमाओं को स्वीकार करता है:

क्षितिज (Horizon): वन-स्टेप फॉर्मूलेशन तत्काल, अनुरोध-स्तरीय परिणामों के लिए अनुकूलित करता है और रिटेंशन या भविष्य के जुड़ाव जैसे दीर्घकालिक प्रभावों को स्पष्ट रूप से कैप्चर नहीं करता है।
उद्देश्यों की संख्या: वर्तमान इंस्टेंशिएशन व्याख्यात्मकता के लिए दो उद्देश्यों पर केंद्रित है; तीन या अधिक लक्ष्यों तक विस्तार करने के लिए अधिक जटिल स्केलेराइजेशन या संकुचित चयन विधियों की आवश्यकता होगी।
एक्शन स्पेस: विविक्त (discrete) एक्शन सेट का उपयोग अन्वेषण जोखिम को सीमित करता है लेकिन निरंतर स्पेस की तुलना में सूक्ष्म अनुकूलित नीतियां मिस कर सकता है।

भविष्य के कार्य में लंबे-क्षितिज वाले निर्णय लेने (जिसके लिए ट्रैजेक्टरी लॉगिंग और बूटस्ट्रैपिंग विधियों की आवश्यकता होती है) और सैंपल दक्षता तथा सुरक्षा बनाए रखते हुए समृद्ध एक्शन स्पेस तक विस्तार करने का सुझाव दिया गया है।