Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

ऑनलाइन शॉपिंग और मीडिया स्ट्रीमिंग की दुनिया में, एल्गोरिदम केवल यह अनुमान नहीं लगाते कि आपको क्या पसंद आ सकता है; वे तेजी से यह समझाने की भी कोशिश कर रहे हैं कि वह चुनाव क्यों किया गया। जब कोई सिस्टम किसी फिल्म या रेस्टोरेंट का सुझाव देता है, तो वह अक्सर उस पसंद को सही ठहराने के लिए एक या दो वाक्य जोड़ देता है, इस उम्मीद में कि संदर्भ का यह छोटा सा हिस्सा विश्वास पैदा करेगा और आपको क्लिक करने के लिए प्रेरित रखेगा। इन स्पष्टीकरणों को स्वाभाविक और मानवीय बनाने के लिए, कई आधुनिक सिस्टम 'लार्ज लैंग्वेज मॉडल्स' (LLMs) नामक शक्तिशाली कंप्यूटर प्रोग्रामों का उपयोग करते हैं। ये मॉडल मानव लेखन के विशाल पुस्तकालयों की तरह हैं जो मांग पर नया टेक्स्ट तैयार कर सकते हैं। हालांकि, इस सुविधा की एक भारी कीमत है। हर बार जब कोई उपयोगकर्ता सिफारिश मांगता है, तो सिस्टम को एक नया स्पष्टीकरण लिखने के लिए इस विशाल प्रोग्राम का उपयोग करना पड़ता है। इस प्रक्रिया में समय लगता है—अक्सर सैकड़ों मिलीसेकंड—और इसमें होने वाला खर्च सीधे सेवा का उपयोग करने वाले लोगों की संख्या के साथ बढ़ता जाता है। लाखों अनुरोधों प्रति सेकंड सेवा देने वाली कंपनियों के लिए, यह देरी और खर्च एक महत्वपूर्ण बाधा बन जाता है।

अमेज़न के शोधकर्ताओं ने इन स्पष्टीकरणों को बनाने के तरीके को बदलकर इस समस्या को हल करने का प्रयास किया। हर बार जब कोई उपयोगकर्ता अनुरोध करता है, तो कंप्यूटर से नया स्पष्टीकरण लिखने के कहने के बजाय, उन्होंने एक दो-चरणीय प्रक्रिया प्रस्तावित की। सबसे पहले, वे सिस्टम के खाली रहने के दौरान पहले से ही संभावित स्पष्टीकरणों का एक बड़ा पूल तैयार करते हैं। फिर, जब वास्तविक अनुरोध आता है, तो एक बहुत छोटा, तेज़ प्रोग्राम बस उस पूर्व-निर्मित सूची में से सबसे अच्छा विकल्प चुन लेता है। यह दृष्टिकोण वास्तविक बातचीत के क्षण के दौरान महंगे और धीमे कंप्यूटर चिप्स की आवश्यकता को समाप्त कर देता है, जिससे सिस्टम एक दसवें सेकंड से भी कम समय में प्रतिक्रिया दे पाता है। टीम ने इस पद्धति का मौजूदा सिस्टमों के विरुद्ध परीक्षण किया और यह जानकर हैरान रह गईं कि चयन कार्यक्रम को प्रशिक्षित करने का तरीका क्या है। उन्होंने पाया कि विकल्पों के जोड़े की तुलना करने वाला एक पारंपरिक रैंकिंग तरीका, जो आर्टिफिशियल इंटेलिजेंस अनुसंधान में उपयोग किए जाने वाले जटिल और आधुनिक तकनीकों की तुलना में काफी बेहतर काम करता है।

इस कार्य का मूल एक सरल लेकिन चतुर कार्यों का विभाजन है। शोधकर्ताओं ने प्रत्येक उपयोगकर्ता और आइटम के संयोजन के लिए स्पष्टीकरणों का एक सेट उत्पन्न करने के लिए दो अलग-अलग प्रकार के लार्ज लैंग्वेज मॉडल्स का उपयोग किया। उन्होंने इन उम्मीदवारों को छह अलग-अलग लेखन शैलियों का उपयोग करके बनाया, जो सरल सारांशों से लेकर पिछले रिव्यूज पर आधारित अधिक जटिल तर्क तक विस्तृत थीं। इसके परिणामस्वरूप प्रत्येक उपयोगकर्ता-आइटम जोड़ी के लिए विकल्पों का एक स्थिर संग्रह तैयार हुआ। जब कोई उपयोगकर्ता अनुरोध करता है, तो एक हल्का 'सेलेक्टर प्रोग्राम', जो बिना किसी विशेष ग्राफिक्स हार्डवेयर के मानक कंप्यूटर प्रोसेसर पर चलता है, इस छोटे पूल की जांच करता है और एकल सबसे अच्छा स्पष्टीकरण चुनता है। पूरी प्रक्रिया को तेज़ और सस्ता बनाने के लिए डिज़ाइन किया गया है, ताकि ऑन-द-फ्लाई (तुरंत) नया टेक्स्ट जेनरेट करने की लेटेंसी और लागत से बचा जा सके।

यह देखने के लिए कि क्या यह विचार काम करता है, टीम ने दो अलग-अलग डेटासेट पर इसका परीक्षण किया: एक जिसमें स्थानीय व्यवसाय जैसे रेस्टोरेंट्स शामिल थे और दूसरा फिल्मों से संबंधित था। उन्होंने अपने नए सेलेक्टर की तुलना कई मौजूदा तरीकों से की, जिसमें वास्तविक समय में स्पष्टीकरण उत्पन्न करने वाले सिस्टम और विभिन्न एआई प्रशिक्षण तकनीकें शामिल थीं। सबसे चौंकाने वाला परिणाम उनके सेलेक्टर को प्रशिक्षित करने के तरीके की तुलना से आया। शोधकर्ताओं ने उन्नत प्रशिक्षण विधियों के एक समूह का परीक्षण किया जो 'ट्रायल एंड एरल' (प्रयास और त्रुटि) पर आधारित हैं, जहाँ कंप्यूटर एक बार में एक विकल्प चुनकर और उसके प्रदर्शन को देखकर सीखता है। उन्होंने एक सरल, पुराने तरीके का भी परीक्षण किया जो दो विकल्पों की तुलना करके यह तय करता है कि कौन सा बेहतर है।

परिणाम स्पष्ट और सुसंगत थे। सरल विधि, जो उम्मीदवारों के जोड़े की तुलना करती है, लगातार जटिल 'ट्रायल एंड एरल' दृष्टिकोणों से बेहतर प्रदर्शन करती है। स्थानीय व्यवसायों के डेटासेट पर, पेयर-कंपेरिजन (जोड़े की तुलना करने वाली) विधि ने 0.500 का स्कोर प्राप्त किया, जो मौजूदा सर्वोत्तम सिस्टमों को एक उल्लेखनीय अंतर से पीछे छोड़ देता है। 'ट्रायल एंड एरल' विधियाँ, जो वर्तमान अनुसंधान में लोकप्रिय हैं, पीछे रह गईं। शोधकर्ताओं ने समझाया कि ऐसा इसलिए हुआ क्योंकि पेयर-कंपेरिजन विधि एक ही समय में उपलब्ध सभी जानकारी का उपयोग करती है। जब सिस्टम के पास उम्मीदवारों की एक सूची होती है, जिनमें से प्रत्येक का एक ज्ञात गुणवत्ता स्कोर होता है, तो पेयर-कंपेरिजन विधि उन सभी को सीखने के लिए देखती है। इसके विपरीत, 'ट्रायल एंड एरल' विधियाँ केवल उस एक विकल्प को देखती हैं जिसे उन्होंने उस विशेष क्षण में चुना था, और अन्य विकल्पों के गुणवत्ता स्कोर को अनदेखा कर देती हैं। इसका मतलब था कि जटिल विधियाँ प्रभावी रूप से उपयोगी डेटा के अधिकांश हिस्से को फेंक रही थीं।

अध्ययन ने उम्मीदवारों को उत्पन्न करने के एक अलग तरीके का भी पता लगाया, जिसमें उपयोगकर्ताओं, वस्तुओं और अन्य तथ्यों के बीच संबंधों के मानचित्र का उपयोग करके पथों (paths) का पता लगाया गया और स्पष्टीकरण बनाए गए। जबकि इस पद्धति ने बहुत विविध आउटपुट दिए जो वाक्यांशों को दोहराते नहीं थे, लेकिन जब इसे मानव-लिखित संदर्भ के मानक के आधार पर मापा गया, तो यह पूर्व-जेनरेटेड पूल की गुणवत्ता से मेल नहीं खा सका। इसने एक ट्रेड-ऑफ को उजागर किया: पूर्व-जेनरेटेड पूल विशिष्ट संदर्भ शैलियों से मेल खाने में बेहतर था, जबकि पाथ-आधारित पद्धति विविधता सुनिश्चित करने में बेहतर थी।

एक अन्य महत्वपूर्ण निष्कर्ष प्रारंभिक उम्मीदवारों का पूल बनाने के लिए उपयोग किए जाने वाले कंप्यूटर प्रोग्राम के चयन से संबंधित था। शोधकर्ताओं ने यह परीक्षण किया कि क्या पूल बनाने के लिए एक नए, अधिक उन्नत भाषा मॉडल का उपयोग करने से अंतिम परिणाम में सुधार होगा। उन्होंने पाया कि हालांकि नए मॉडल ने थोड़ा अधिक विविध और कम दोहराव वाला टेक्स्ट बनाया, लेकिन इससे अंतिम गुणवत्ता स्कोर में मामूली गिरावट आई। ऐसा इसलिए हुआ क्योंकि नए मॉडल की शैली उस विशिष्ट संदर्भ टेक्स्ट की शैली से थोड़ा भटक गई थी जिसे सिस्टम मैच करने की कोशिश कर रहा था। यह सुझाव देता है कि केवल जनरेटर को अपग्रेड करने से सिस्टम अपने आप बेहतर नहीं हो जाता है; सेलेक्टर और जनरेटर को एक साथ काम करने के लिए ट्यून किया जाना चाहिए, और कभी-कभी एक थोड़ा पुराना, अधिक सुसंगत जनरेटर ही बेहतर होता है।

शोधकर्ताओं ने यह भी परीक्षण किया कि क्या विभिन्न प्रशिक्षण तकनीकों को मिलाने से प्रदर्शन में सुधार हो सकता है। उन्होंने एक मॉडल को लेने का प्रयास किया जिसे सफल पेयर-कंपेरिजन पद्धति के साथ प्रशिक्षित किया गया था और फिर उसे 'ट्रायल एंड एरल' दृष्टिकोण के साथ फाइन-ट्यून किया गया। इस संयोजन ने मदद नहीं की; वास्तव में, इसने परिणामों को थोड़ा खराब कर दिया। फाइन-ट्यूनिंग प्रक्रिया ने मॉडल को उन सटीक विकल्पों से दूर धकेल दिया जिन्हें उसने पहले सीखा था, जिससे वह कम आत्मविश्वासी और कम सटीक हो गया। इस नकारात्मक परिणाम ने इस विचार को पुख्ता किया कि एक बार जब मॉडल ने घने डेटा से सही रैंकिंग सीख ली है, तो जटिल सुदृढीकरण (reinforcement) चरणों की आवश्यकता नहीं होती है और वे हानिकारक भी हो सकते हैं।

प्रयोगों के दौरान, टीम ने यह सुनिश्चित करने के लिए सावधानी बरती कि उनके परिणाम विश्वसनीय हों। उन्होंने विभिन्न रैंडम शुरुआती बिंदुओं के साथ अपने परीक्षण कई बार चलाए ताकि यह पुष्टि की जा सके कि विधियों की रैंकिंग केवल एक भाग्यशाली संयोग नहीं है। शीर्ष प्रदर्शन करने वाले और अन्य के बीच का अंतर सांख्यिकीय रूप से महत्वपूर्ण था, जिसका अर्थ है कि पेयर-कंपेरिजन विधि की श्रेष्ठता का निष्कर्ष मजबूत है। पूरा सिस्टम, जिसमें प्रारंभिक पूल बनाने और सेलेक्टर को प्रशिक्षित करने का समय शामिल है, मानक कंप्यूटर हार्डवेयर पर बहुत कम लागत में बनाया जा सकता है, जो कंप्यूटिंग समय में लगभग पंद्रह डॉलर है। उपयोगकर्ता इंटरैक्शन के समय, सिस्टम चलाने के लिए लगभग कुछ भी खर्च नहीं होता है, क्योंकि इसके लिए केवल कैश में त्वरित लुकअप और एक सरल गणना की आवश्यकता होती है।

यह कार्य बड़े पैमाने के अनुशंसा सिस्टम (recommendation systems) बनाने के लिए एक व्यावहारिक सबक प्रदान करता है। यह सुझाव देता है कि जब लक्ष्य पूर्व-निर्मित उम्मीदवारों की सूची में से सबसे अच्छा विकल्प चुनना हो, तो सबसे प्रभावी उपकरण अक्सर एक सीधा रैंकिंग तरीका होता है जो सभी उपलब्ध डेटा का उपयोग करता है, न कि एक जटिल लर्निंग सिस्टम जो एक समय में केवल कुछ विकल्पों का नमूना लेता है। टेक्स्ट जेनरेशन के भारी काम को ऑफलाइन चरण में स्थानांतरित करके और वास्तविक समय के निर्णय के लिए एक तेज़, कुशल सेलेक्टर का उपयोग करके, कंपनियाँ हर अनुरोध के लिए नया टेक्स्ट जेनरेट करने की देरी और खर्च के बिना लाखों उपयोगकर्ताओं को उच्च-गुणवत्ता वाले स्पष्टीकरण प्रदान कर सकती हैं। यह अध्ययन प्रदर्शित करता है कि कभी-कभी, सबसे प्रभावी समाधान आर्टिफिशियल इंटेलिजेंस को अधिक जटिल बनाना नहीं है, बल्कि समस्या को इस तरह से संरचित करना है कि उपलब्ध डेटा का अधिक पूर्णता से उपयोग किया जा सके।