Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers
यह शोध पत्र dLLM-SetScore प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) मल्टी-लेबल वर्गीकरण विधि है जो प्रति-स्लॉट हाँ/नहीं (yes/no) संभाव्यता तुलनाओं के माध्यम से उम्मीदवार लेबल का मूल्यांकन करने के लिए डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स का लाभ उठाती है, जिससे स्थिति पूर्वाग्रह (position bias) समाप्त हो जाता है और कार्य-विशिष्ट फाइन-ट्यूनिंग के बिना अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, उन मॉडलों के बीच एक निरंतर तनाव रहता है जो बड़ी मात्रा में विशिष्ट डेटा को याद करके सीखते हैं और उन मॉडलों के बीच जो सामान्य सिद्धांतों के माध्यम से दुनिया को समझने की कोशिश करते हैं। वर्षों से, कंप्यूटर को कई श्रेणियों में टेक्स्ट को वर्गीकृत करना सिखाने का मानक तरीका—जैसे कि एक समाचार लेख को कई विषयों के साथ टैग करना या सोशल मीडिया पोस्ट को कई भावनाओं के साथ टैग करना—उसे हजारों लेबल किए गए उदाहरणों पर शून्य से प्रशिक्षित करना रहा है। यह एक 'सुपरवाइज्ड' (supervised) दृष्टिकोण है, जहाँ कंप्यूटर को सही उत्तर दिखाए जाते हैं जब तक कि वह पैटर्न सीख न जाए। हालाँकि, मॉडलों की एक नई पीढ़ी उभरी है जो अलग तरह से सीखती है। उत्तरों को याद करने के बजाय, ये मॉडल टेक्स्ट के छूटे हुए हिस्सों को भरने के लिए प्रशिक्षित होते हैं, जिसे "मास्क्ड डिफ्यूजन" (masked diffusion) कहा जाता है। वे आसपास के संदर्भ के आधार पर यह अनुमान लगाते हैं कि खाली स्थान में कौन सा शब्द होना चाहिए। जबकि इन मॉडलों ने नया टेक्स्ट बनाने में बड़ी संभावना दिखाई है, शोधकर्ताओं ने सोचा कि क्या इनका उपयोग मौजूदा टेक्स्ट को वर्गीकृत करने के लिए भी किया जा सकता है, बिना उस विशिष्ट कार्य के एक भी लेबल किए गए उदाहरण को देखे। यह प्रश्न महत्वपूर्ण है क्योंकि हर नए काम के लिए नए मॉडल को प्रशिक्षित करना महंगा और समय लेने वाला होता है; एक ऐसा तरीका जो मॉडल के मौजूदा ज्ञान का उपयोग करके टेक्स्ट को वर्गीकृत कर सके, एक शक्तिशाली और लचीला उपकरण होगा।
एक शोधकर्ता ने अब प्रदर्शित किया है कि ये डिफ्यूजन मॉडल वास्तव में बिना किसी विशेष प्रशिक्षण के अत्यधिक प्रभावी क्लासिफायर के रूप में कार्य कर सकते हैं, बशर्ते उनसे सही प्रश्न पूछे जाएं। उन्होंने dLLM-SetScore नामक एक विधि विकसित की, जो वर्गीकरण कार्य को सरल हाँ-या-ना वाले प्रश्नों की एक श्रृंखला के रूप में देखती है। किसी दस्तावेज़ के लिए सभी प्रासंगिक टैग को एक साथ सूचीबद्ध करने के बजाय, सिस्टम एक बार में एक प्रश्न पूछता है: "क्या यह दस्तावेज़ [विशिष्ट भावना] व्यक्त करता है?" या "क्या यह लेख [विशिष्ट विषय] के बारे में है?" मॉडल फिर प्रॉम्प्ट में एक एकल खाली स्थान को भरकर यह अनुमान लगाता है कि उत्तर "हाँ" है या "नहीं"। प्रत्येक संभावित लेबल के लिए इस प्रक्रिया को दोहराकर, सिस्टम एक पूर्ण चित्र बनाता है कि दस्तावेज़ किस बारे में है। शोधकर्ता ने पाया कि यह दृष्टिकोण छह अलग-अलग डेटासेट्स पर बहुत अच्छी तरह से काम करता है, जिसमें समाचार लेखों से लेकर कानूनी दस्तावेज़ और सोशल मीडिया कमेंट्स तक शामिल हैं, और अक्सर उन मॉडलों के प्रदर्शन की बराबरी करता है या उनसे बेहतर प्रदर्शन करता है जिन्हें विशेष रूप से उन कार्यों के लिए प्रशिक्षित किया गया था।
हालाँकि, इस सफलता की यात्रा के लिए शोधकर्ता को पहले यह पहचानना और ठीक करना आवश्यक था कि उन्होंने शुरुआत में मॉडल को काम करने के लिए कैसे निर्देश दिए थे, जिसमें एक सूक्ष्म लेकिन महत्वपूर्ण दोष था। अपने शुरुआती प्रयासों में, उन्होंने मॉडल को एक ही लंबे खाली स्थानों की सूची में सभी लेबल का अनुमान लगाने के लिए कहा था। उन्होंने पाया कि मॉडल में लेबल्स के क्रम के आधार पर एक अजीब पूर्वाग्रह (bias) था। यदि उत्तरों की सूची में ऐसा लेबल आता था जो वर्णानुक्रम (alphabetically) में पहले आता था, तो मॉडल लगभग हमेशा पहले स्लॉट के लिए "हाँ" का अनुमान लगाता था, चाहे दस्तावेज़ वास्तव में कुछ भी कहता हो। ऐसा इसलिए हुआ क्योंकि मॉडल के प्रशिक्षण डेटा में शायद ही कभी ऐसे लंबे, पूरी तरह से खाली अनुक्रम शामिल थे, इसलिए वह पहले खाली स्थान के लिए एक अनुमान पर निर्भर हो जाता था। यह त्रुटि इतनी गंभीर थी कि इसने कुछ डेटासेट्स के लिए सिस्टम की समग्र सटीकता को लगभग शून्य तक गिरा दिया। शोधकर्ता ने महसूस किया कि समस्या मॉडल की बुद्धिमत्ता में नहीं, बल्कि प्रश्न की संरचना में थी। अपने नए तरीके—प्रत्येक लेबल के लिए एक प्रश्न पूछने—पर स्विच करके, उन्होंने यह सुनिश्चित किया कि प्रत्येक लेबल वाक्य में बिल्कुल उसी स्थिति में प्रस्तुत किया जाए। इस सरल परिवर्तन ने पूर्वाग्रह को हटा दिया, जिससे मॉडल प्रत्येक लेबल का निष्पक्ष और स्वतंत्र रूप से मूल्यांकन कर सका।
एक बार जब यह संरचनात्मक मुद्दा हल हो गया, तो शोधकर्ता ने इन डिफ्यूजन मॉडलों के दो अलग-अलग परिवारों का परीक्षण किया, एक आठ बिलियन पैरामीटर्स वाला और दूसरा सात बिलियन वाला। उन्होंने इन मॉडलों के "बेस" (base) संस्करणों की तुलना "इंस्ट्रक्ट" (instruct) संस्करणों से की, जिन्हें केवल खाली स्थान भरने के लिए प्रशिक्षित किया गया था बनाम जिन्हें मानव निर्देशों का पालन करने के लिए और अधिक प्रशिक्षित किया गया था। परिणाम चौंकाने वाले थे। लगभग हर मामले में, इंस्ट्रक्ट संस्करणों ने बेस संस्करणों की तुलना में काफी बेहतर प्रदर्शन किया, भले ही उनमें से किसी को भी विशिष्ट वर्गीकरण कार्यों के लिए प्रशिक्षित नहीं किया गया था। समाचार लेखों के एक डेटासेट पर, इंस्ट्रक्ट मॉडल ने 67.2 का मैक्रो-F1 स्कोर प्राप्त किया, जो यह मापता है कि उसने विभिन्न विषयों को कितनी अच्छी तरह पहचाना, जबकि बेस मॉडल केवल 38.2 तक पहुँच पाया। यह सुझाव देता है कि निर्देशों का पालन करने की क्षमता मॉडल को प्रश्न की बारीकियों को बेहतर ढंग से समझने में मदद करती है, भले ही कार्य केवल "हाँ" या "ना" कहना हो। शोधकर्ता ने एक अधिक जटिल विचार का भी परीक्षण किया जहाँ मॉडल अपने पिछले अनुमानों को देखकर अपने उत्तरों को परिष्कृत करने की कोशिश करता है, लेकिन उन्होंने पाया कि यह अतिरिक्त चरण वास्तव में परिणामों को बदतर बना देता है, जिससे पुष्टि होती है कि सरल, सीधा दृष्टिकोण सबसे विश्वसनीय है।
अध्ययन ने प्रश्नों को तैयार करने के महत्व पर भी प्रकाश डाला। शोधकर्ता ने पाया कि प्रश्न की शब्दावली बदलने से परिणाम नाटकीय रूप से बदल सकते हैं। उदाहरण के लिए, समाचार लेखों को वर्गीकृत करते समय, "क्या यह लेख [विषय] व्यक्त करता है?" पूछने से सटीकता का एक निश्चित स्तर मिला, लेकिन प्रश्न को बदलकर "क्या इस लेख का मुख्य विषय [विषय] है?" करने से प्रदर्शन में उल्लेखनीय वृद्धि हुई। यह संवेदनशीलता दर्शाती है कि मॉडल केवल अंधाधुंध अनुमान नहीं लगा रहा है; यह प्रॉम्प्ट के विशिष्ट संदर्भ और इरादे के प्रति प्रतिक्रिया दे रहा है। हालाँकि यह विधि पूर्ण नहीं है और अभी भी उन बेहतरीन मॉडलों से पीछे है जो डेटा पर पूरी तरह से प्रशिक्षित हैं, फिर भी यह उनके बहुत करीब पहुँच जाती है। एक उदाहरण में, उनके डिफ्यूजन मॉडल का कुछ अन्य उपकरणों के साथ संयोजन ने शीर्ष-प्रदर्शन करने वाले सुपरवाइज्ड मॉडल के स्कोर के भीतर सात अंकों की दूरी हासिल की, और वह भी बिना डिफ्यूजन मॉडल द्वारा कार्य के एक भी लेबल किए गए उदाहरण को देखे।
यह कार्य इन बड़े भाषा मॉडलों के बारे में हमारी समझ पर एक नया दृष्टिकोण प्रदान करता है। यह दिखाता है कि टेक्स्ट को वर्गीकृत करने के लिए आवश्यक नहीं है कि मॉडल को हर नए काम के लिए शून्य से पुन: प्रशिक्षित किया जाए। इसके बजाय, मॉडल के भाषा के मौजूदा ज्ञान का उपयोग करके और उसे इस तरह से पूछकर जो उसकी आंतरिक संरचना का सम्मान करता हो, हम मुफ्त में शक्तिशाली वर्गीकरण क्षमताओं को अनलॉक कर सकते हैं। शोधकर्ता ने दिखाया है कि कुंजी केवल एक स्मार्ट मॉडल होना नहीं है, बल्कि उससे बात करने का तरीका जानना है। खराब संरचित प्रश्नों के जाल से बचकर और उनकी निर्देश-पालन क्षमताओं का लाभ उठाकर, एक ऐसा क्लासिफायर बनाना संभव है जो लचीला और सटीक दोनों हो। यह दृष्टिकोण उन स्थितियों में इन शक्तिशाली उपकरणों का उपयोग करने का द्वार खोलता है जहाँ प्रशिक्षण डेटा कम है या जहाँ गति और अनुकूलन क्षमता, प्रदर्शन के अंतिम अंश को निचोड़ने से अधिक महत्वपूर्ण है। निष्कर्ष बताते हैं कि टेक्स्ट वर्गीकरण का भविष्य बड़े, अधिक विशिष्ट मॉडल बनाने के बारे में नहीं है, बल्कि हमारे पास पहले से मौजूद मॉडलों से सही प्रश्न पूछना सीखने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।