Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
यह शोध पत्र "सिमेंटिक बैंडिट" ढांचे को प्रस्तुत करता है यह प्रदर्शित करने के लिए कि बड़े भाषा मॉडलों के अन्वेषण-दोहन (exploration-exploitation) के बीच का संतुलन प्री-ट्रेनिंग से प्राप्त सिमेंटिक पूर्वग्रहों (semantic priors) द्वारा महत्वपूर्ण रूप से प्रभावित होता है, जहाँ सूचनात्मक लेबल पुरस्कारों के साथ संरेखण के आधार पर प्रदर्शन को या तो बढ़ा सकते हैं या घटा सकते हैं, और नकारात्मक पुरस्कार अपेक्षित-पैमाने के पूर्वाग्रहों (expected-scale biases) के कारण असमान रूप से अन्वेषण को प्रेरित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे कंप्यूटर प्रोग्राम की कल्पना करें जिसने इंटरनेट पर मौजूद लगभग हर किताब, लेख और वेबसाइट को पढ़ लिया है। यह कविता लिख सकता है, गणित की समस्याओं को हल कर सकता है, और ऐसी बातचीत कर सकता है जो उल्लेखनीय रूप से मानवीय लगती है। यह एक 'लार्ज लैंग्वेज मॉडल' (large language model) है। अब, इस प्रोग्राम को एक ऐसी नौकरी देने की कल्पना करें जहाँ इसे सर्वोत्तम संभव इनाम पाने के लिए निर्णयों की एक श्रृंखला लेनी हो, जैसे कि एक किसान यह तय करता है कि किस खेत में फसल बोनी है, या एक 'रेकमेंडेशन इंजन' यह चुनता है कि ग्राहक को कौन सी शर्ट दिखानी है। यह एक निर्णय लेने वाला कार्य (decision-making task) है। कंप्यूटर विज्ञान की दुनिया में, यह परीक्षण करने का एक क्लासिक तरीका है कि एक एजेंट अनुभव से कितनी अच्छी तरह सीखता है: 'मल्टी-आर्म्ड बैंडिट' (multi-armed bandit) समस्या। इसका नाम एक कैसीनो में स्लॉट मशीनों की एक पंक्ति के नाम पर रखा गया है, जिनमें से प्रत्येक का भुगतान (payout) अज्ञात और अलग-अलग होता है। सबसे अधिक पैसा जीतने के लिए, आपको दो प्रतिस्पर्धी जरूरतों के बीच संतुलन बनाना होगा: उस मशीन के साथ चिपके रहना जो इस समय सबसे अधिक भुगतान करती दिख रही है, और अन्य मशीनों को आज़माना ताकि यह पता चल सके कि कहीं उनमें से कोई वास्तव में बेहतर तो नहीं है। इस संतुलन को 'एक्सप्लोरेशन बनाम एक्सप्लॉइटेशन' (exploration versus exploitation) कहा जाता है। दशकों तक, शोधकर्ताओं ने गणितीय रूप से इसे हल करने के तरीकों का अध्ययन किया है। लेकिन जब उन्होंने इन शक्तिशाली भाषा मॉडलों का उपयोग निर्णय लेने वालों के रूप में करना शुरू किया, तो उन्होंने कुछ अजीब देखा। मॉडल केवल नंबरों को नहीं देख रहे थे; वे शब्दों को पढ़ रहे थे।
मैकगिल यूनिवर्सिटी और मिला (Mila) के शोधकर्ताओं की एक टीम ने इस घटना की जांच करने के लिए "सिमेंटिक बैंडिट" (semantic bandit) नामक एक नया परीक्षण बनाकर इस पर शोध करने का निर्णय लिया। एक मानक परीक्षण में, विकल्पों को "आर्म ए" (Arm A) या "आर्म बी" (Arm B) जैसे तटस्थ कोडों के साथ लेबल किया जाता है। इस नए परीक्षण में, शोधकर्ताओं ने विकल्पों को ऐसे नाम दिए जिनमें अर्थ निहित था, जैसे कि "डिवाइन" (divine - दिव्य), "माइल्ड" (mild - सौम्य), या "नैस्टी" (nasty - बुरा/घिनौना)। वे यह देखना चाहते थे कि क्या कंप्यूटर शब्दों के अर्थ को उस वास्तविक डेटा पर हावी होने देगा जिसे वह एकत्र कर रहा है। उन्होंने एक परिदृश्य बनाया जहाँ एक कंप्यूटर तीन खेतों के बीच चुनाव करने वाले एक किसान के रूप में कार्य करता है। प्रत्येक खेत से फसल की उपज की एक यादृच्छिक (random) मात्रा उत्पन्न होती थी, और लक्ष्य समय के साथ कुल फसल को अधिकतम करना था। शोधकर्ताओं ने खेतों को ऐसे नाम दिए जो उनकी गुणवत्ता का संकेत देते थे। एक संस्करण में, सबसे अच्छा खेत "डिवाइन" नाम का था और सबसे खराब "नैस्टी" नाम का। दूसरे संस्करण में, उन्होंने नामों को बदल दिया, जिससे सबसे अच्छा खेत "नैस्टी" कहलाया और सबसे खराब "डिवाइन"।
परिणाम चौंकाने वाले थे। जब नाम खेतों की वास्तविकता से मेल खाते थे—जब "डिवाइन" खेत वास्तव में सबसे अधिक फसल पैदा करता था—तो कंप्यूटर अविश्वसनीय रूप से तेजी से सीख गया। उसने अन्य खेतों को आज़माना लगभग तुरंत ही बंद कर दिया और "डिवाइन" वाले के साथ बना रहा, जिससे बहुत कम परीक्षण और त्रुटि के साथ एक पूर्ण स्कोर प्राप्त हुआ। हालाँकि, जब नाम भ्रामक थे, तो कंप्यूटर ने एक विनाशकारी गलती की। वह इस बात को लेकर आश्वस्त हो गया कि "डिवाइन" नाम वाला खेत सबसे अच्छा है, भले ही डेटा ने दिखाया कि वह सबसे खराब फसल पैदा कर रहा था। उसने साक्ष्य को अनदेखा कर दिया और "डिवाइन" खेत को चुनते रहे, जबकि "नैस्टी" (जो वास्तव में सबसे अच्छा था) को बिना छुए छोड़ दिया गया। कंप्यूटर आंकड़ों पर काम नहीं कर रहा था; वह उन शब्दों के जुड़ाव (associations) पर काम कर रहा था जो उसने प्रशिक्षण के दौरान अरबों शब्द पढ़ने से सीखे थे। उसने सीखा था कि "डिवाइन" का अर्थ आमतौर पर 'अच्छा' होता है और "नैस्टी" का अर्थ आमतौर पर 'बुरा' होता है, और उसने उस नियम को तब भी लागू किया जब उसके सामने मौजूद विशिष्ट आंकड़े इसके विपरीत थे।
शोधकर्ताओं ने यह भी पाया कि कंप्यूटर सकारात्मक और नकारात्मक संख्याओं के प्रति अलग-अलग प्रतिक्रिया देता था। जब कंप्यूटर को नकारात्मक इनाम मिलता था—एक नुकसान या दंड—तो वह अचानक बहुत अधिक जिज्ञासु हो जाता था। वह उच्च ऊर्जा के साथ सभी अलग-अलग विकल्पों को फिर से आज़माने लगता था। लेकिन जब उसे सकारात्मक इनाम मिलता था, भले ही वह छोटा ही क्यों न हो, तो वह खोज करना बंद करने और जो वह जानता है उसी के साथ बने रहने की प्रवृत्ति रखता था। इससे पता चलता है कि कंप्यूटर नंबरों को शून्य में एक अमूर्त संकेत के रूप में नहीं देखता है। इसके बजाय, इसमें एक "सामान्य" इनाम कैसा दिखता है, इसकी एक आंतरिक अपेक्षा होती है, जो संभवतः उस टेक्स्ट के आकार में होती है जिस पर इसे प्रशिक्षित किया गया है। एक नकारात्मक संख्या उस अपेक्षा को इतनी बुरी तरह से तोड़ देती है कि यह कंप्यूटर को सब कुछ फिर से मूल्यांकन करने के लिए मजबूर कर देती है, जबकि एक सकारात्मक संख्या सुरक्षित महसूस कराती है और उसे अपने रास्ते पर बने रहने के लिए प्रोत्साहित करती है।
यह व्यवहार किसी एक विशिष्ट कंप्यूटर मॉडल तक सीमित नहीं था। शोधकर्ताओं ने तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स का परीक्षण किया, जो ओपन-सोर्स सिस्टम से लेकर उन्नत वाणिज्यिक संस्करणों तक विस्तृत थे, और उन सभी ने एक ही प्रकार का पूर्वाग्रह दिखाया। प्रभाव इतना मजबूत था कि यह एक सरल निर्णय समस्या को विफलता में बदल सकता था। एक कार्य में जहाँ एक क्लासिकल कंप्यूटर प्रोग्राम कुछ ही चरणों में समस्या को हल कर देता, वहीं एक भाषा मॉडल पूरी तरह से विफल हो सकता था यदि शब्द थोड़े भी भ्रामक हों। शोधकर्ताओं ने पाया कि वे कंप्यूटर को स्पष्ट रूप से निर्देश देकर कि नामों को अनदेखा करें और खोज जारी रखें, इसे आंशिक रूप से ठीक कर सकते थे, लेकिन यह पूर्वाग्रह गहरा था। चेतावनियों के बावजूद, मॉडल अक्सर शब्दों के अर्थ को नंबरों की वास्तविकता से अलग करने में संघर्ष करते थे।
अध्ययन निष्कर्ष निकालता है कि निर्णय लेने वाले वातावरण का वर्णन करने के लिए भाषा का उपयोग करने से अपरिहार्य पूर्वाग्रह उत्पन्न होते हैं। क्योंकि ये मॉडल मानव टेक्स्ट में शब्दों के सह-अस्तित्व (co-occurrence) पर प्रशिक्षित होते हैं, इसलिए वे दुनिया के बारे में धारणाओं का एक सेट रखते हैं। जब वे धारणाएं कार्य के साथ मेल खाती हैं, तो मॉडल एक जीनियस होता है, जो किसी भी पारंपरिक एल्गोरिदम की तुलना में तेजी से सीखता है। जब वे टकराती हैं, तो मॉडल जिद्दी हो जाता है, स्पष्ट साक्ष्य को अनदेखा कर देता है क्योंकि वह उन शब्दों द्वारा सुनाई जा रही कहानी का पालन करने में बहुत व्यस्त है। यह कोड में कोई बग नहीं है, बल्कि यह कि ये सिस्टम भाषा से कैसे सीखते हैं, इसका एक फीचर है। जैसे-जैसे इन मॉडलों को वास्तविक दुनिया की स्थितियों में तैनात किया जा रहा है, वित्तीय सलाह से लेकर स्वायत्त ड्राइविंग तक, यह समझना महत्वपूर्ण है कि उनकी भाषाई अंतर्दृष्टि कब मदद करती है और कब उन्हें गलत रास्ते पर ले जाती है। शोधकर्ताओं ने पाया कि सबसे सरल संभव निर्णय लेने वाले परिदृश्य में भी, एक बटन पर लेबल बदलकर कंप्यूटर को सबसे खराब विकल्प चुनने के लिए trick किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।