Do LLMs Adhere to Label Definitions? Examining Their Receptivity to External Label Definitions
यह शोध पत्र इस बात की जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स वास्तव में बाहरी लेबल परिभाषाओं को एकीकृत करते हैं या अपने आंतरिक ज्ञान पर निर्भर रहते हैं, जिसमें यह पाया गया है कि हालांकि ऐसी परिभाषाएं प्रदर्शन में सुधार कर सकती हैं, मॉडल अक्सर अपने पैरामीट्रिक निरूपणों पर ही वापस आ जाते हैं, विशेष रूप से सामान्य कार्यों में, जबकि डोमेन-विशिष्ट कार्यों को स्पष्ट मार्गदर्शन से अधिक लाभ होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान सहायक (एक AI) को काम पर रख रहे हैं जो आपकी मेल (डाक) छाँटने में मदद करेगा। आपके पास पत्रों का एक ढेर है, और आपको यह तय करना है कि उनमें से कौन सा "जंक" (रद्दी) है, कौन सा "महत्वपूर्ण" है, और कौन सा "व्यक्तिगत" है।
आप अपने सहायक को निर्णय लेने में मदद करने के लिए एक नियम पुस्तिका (लेबल परिभाषाएं) देते हैं। लेकिन यहाँ एक मोड़ है: क्या सहायक वास्तव में आपकी नियम पुस्तिका पढ़ता है, या वह उसे अनदेखा कर देता है और अपने वर्षों के प्रशिक्षण से जो वह पहले से जानता है, उसी पर भरोसा करता है?
यह शोध पत्र ठीक इसी प्रश्न का उत्तर देने के लिए एक वैज्ञानिक प्रयोग है। शोधकर्ताओं ने चार अलग-अलग AI मॉडल (जैसे GPT-4, LLaMA-3, और अन्य) का परीक्षण किया यह देखने के लिए कि क्या वे वास्तव में नए निर्देशों को सुनते हैं या वे अपनी पुरानी आदतों पर अड़े रहते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. "बदली हुई डिक्शनरी" का परीक्षण (ज्ञान का संघर्ष)
शोधकर्ताओं ने एक चाल चली: उन्होंने लेबल की परिभाषाओं को बदल दिया (swap कर दिया)।
- सामान्य: उन्होंने AI को बताया, "Entailment का अर्थ है A, B को सिद्ध करता है।"
- चाल: उन्होंने AI को बताया, "Entailment का अर्थ है A, B का खंडन करता है" (बिल्कुल विपरीत)।
परिणाम:
- "स्मार्ट" सहायक (GPT-4): जब नियमों को बदला गया, तो GPT-4 भ्रमित हो गया। इसे एहसास हुआ, "रुको, यह नियम पुस्तिका मेरे ज्ञान के मुकाबले समझ में नहीं आ रही है," और इसने अक्सर उत्तर देने से मना कर दिया। यह एक ऐसे लाइब्रेरियन की तरह था जो देखता है कि एक किताब का शीर्षक गलत है और कहता है, "मैं इसे शेल्फ पर नहीं रख सकता; कैटलॉग खराब है।"
- "आज्ञाकारी" सहायक (छोटे मॉडल जैसे LLaMA-3 या Mistral): ये मॉडल अक्सर नए (गलत) नियमों का आँख मूंदकर पालन करते थे। यदि आपने उन्हें कहा "लाल का मतलब नीला है," तो वे लाल सेब को "नीला" कह देंगे। वे आपके निर्देशों का पालन करने के लिए इतने उत्सुक थे कि उन्होंने अपने सामान्य ज्ञान को भी अनदेखा कर दिया।
सीख: छोटे मॉडल उन उत्साही इंटर्न की तरह हैं जो आपके निर्देशों का पालन करेंगे भले ही वे गलत हों। बड़े, स्मार्ट मॉडल उन वरिष्ठ विशेषज्ञों की तरह हैं जो आपके निर्देशों पर सवाल उठा सकते हैं यदि वे विरोधाभासी लगें।
2. "विशेषज्ञ बनाम सामान्यज्ञ" का परीक्षण
शोधकर्ताओं ने AI का दो प्रकार के कार्यों पर परीक्षण किया:
- सामान्य कार्य: जैसे रोजमर्रा के वाक्यों को छाँटना (उदाहरण के लिए, "क्या यह वाक्य उस वाक्य के आधार पर सत्य है?")।
- विशेष कार्य: जैसे मानसिक स्वास्थ्य संबंधी पोस्ट या घृणास्पद भाषण (hate speech) को छाँटना।
परिणाम:
- सामान्य कार्य: AI को आपके नियम पुस्तिका की बहुत अधिक आवश्यकता नहीं थी। वह इन चीजों को छाँटने का तरीका पहले से ही जानता था। वास्तव में, उसे नियम पुस्तिका देने से कभी-कभी वह भ्रमित हो जाता था, जैसे किसी मूल भाषा बोलने वाले को पाठ्यपुस्तक का उपयोग करके उसकी अपनी भाषा सिखाने की कोशिश करना।
- विशेष कार्य: यहीं पर नियम पुस्तिका एक सुपरपावर बन गई। विशिष्ट विषयों (जैसे मानसिक स्वास्थ्य) के लिए, AI को पहले से बहुत अधिक जानकारी नहीं थी। जब आपने उसे एक स्पष्ट, विशेषज्ञ परिभाषा दी, तो उसके प्रदर्शन में जबरदस्त उछाल आया। यह एक जनरल कॉन्ट्रैक्टर को परमाणु रिएक्टर बनाने के लिए एक विशिष्ट ब्लूप्रिंट देने जैसा था; ब्लूप्रिंट के बिना, वे अनुमान लगाएंगे; ब्लूप्रिंट के साथ, वे इसे पूरी तरह से बनाते हैं।
3. "व्याख्या बनाम क्रिया" का विरोधाभास (Paradox)
यह सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने AI से न केवल एक लेबल चुनने के लिए कहा, बल्कि यह भी पूछा कि उसने वह लेबल क्यों चुना (व्याख्या)।
- निष्कर्ष: कभी-कभी, AI एक बेहतरीन व्याख्या लिखता था जो दिखाता था कि वह नए नियमों को समझता है, लेकिन फिर भी वह गलत लेबल चुन लेता था।
- उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। वह सूत्र (formula) की समझ दिखाने के लिए एक सुंदर, चरण-दर-चरण प्रमाण लिखता है (व्याख्या), लेकिन फिर भी वह बबल शीट पर गलत उत्तर पर गोला लगा देता है (भविस् hiervानी/prediction)।
- यह क्यों मायने रखता है: इसका मतलब है कि एक AI अपनी चैट में बहुत आत्मविश्वासी और तार्किक लग सकता है, लेकिन फिर भी वह अपने अंतिम निर्णय में एक गंभीर गलती कर सकता है। AI का "सोचने" वाला हिस्सा और "निर्णय लेने" वाला हिस्सा हमेशा एक साथ काम नहीं करते हैं।
4. "कस्टम टेलरिंग" का प्रभाव
शोधकर्ताओं ने परिभाषाएँ देने के विभिन्न तरीकों का परीक्षण किया:
- स्थिर (Static): "यहाँ सभी के लिए एक परिभाषा है।"
- गतिशील (Dynamic): "यहाँ इस विशिष्ट वाक्य के लिए विशेष रूप से तैयार की गई परिभाषा है।"
परिणाम:
अनुकूलित (Tailored) परिभाषाएँ सबसे अच्छा काम करती थीं, विशेष रूप से छोटे मॉडलों के लिए। यह एक शेफ को एक सामान्य रेसिपी देने बनाम एक ऐसी रेसिपी देने जैसा है जो अभी उसके किचन में मौजूद विशिष्ट सामग्रियों के लिए समायोजित की गई हो। AI का प्रदर्शन बहुत बेहतर हुआ जब निर्देश उसके हाथ में मौजूद काम के लिए प्रासंगिक लगे।
सारांश: हमें क्या करना चाहिए?
यदि आप महत्वपूर्ण कार्यों (जैसे मरीज का निदान करना या घृणास्पद भाषण की निगरानी करना) के लिए AI का उपयोग कर रहे हैं, तो यहाँ पेपर की सलाह दी गई है:
- यह मानकर न चलें कि AI सब कुछ जानता है: विशिष्ट विषयों के लिए, आपको स्पष्ट, सटीक परिभाषाएँ प्रदान करनी होंगी। केवल यह न कहें कि "इसे छाँटो"; कहें "इसे इन विशिष्ट नियमों के आधार पर छाँटो।"
- छोटे मॉडलों को अधिक मदद की आवश्यकता होती है: यदि आप एक छोटे, सस्ते AI का उपयोग कर रहे हैं, तो वह आपके द्वारा दिए गए निर्देशों पर बहुत अधिक निर्भर करता है। उन निर्देशों को एकदम सटीक बनाएं।
- बड़े मॉडल आपको अनदेखा कर सकते हैं: यदि आप एक विशाल मॉडल का उपयोग करते हैं, तो वह आपके निर्देशों को अनदेखा कर सकता है यदि वे उस जानकारी से टकराते हैं जो वह पहले से जानता है। आपको इस बात पर बहुत सावधानी बरतने की आवश्यकता हो सकती है कि आप चीजों को कैसे प्रस्तुत करते हैं।
- काम की जाँच करें: सिर्फ इसलिए कि AI एक बेहतरीन व्याख्या देता है, इसका मतलब यह नहीं है कि उसका अंतिम निर्णय सही है। हमेशा परिणाम की दोबारा जाँच करें।
संक्षेप में: LLMs छात्रों की तरह हैं। कभी-कभी वे आपके नए नियमों को सीखने के लिए उत्सुक होते हैं (विशेष रूप से नए विषयों में), और कभी-कभी वे इतने स्मार्ट होते हैं कि उन्हें लगता है कि वे आपसे बेहतर जानते हैं। कुंजी यह जानना है कि आप किस "छात्र" से बात कर रहे हैं और उन्हें सही निर्देश कैसे दिए जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।