A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
यह शोध पत्र एक एकीकृत यांत्रिक ढांचे का प्रस्ताव करता है जो इन-कॉन्टेक्स्ट लर्निंग और आउट-ऑफ-कॉन्टेक्स्ट हैलुसिनेशन (भ्रम) दोनों को इस रूप में समझाता है कि भूमिका संबंधी जानकारी आंतरिक रूप से कैसे प्रस्तुत और संकलित की जाती है, यह प्रदर्शित करते हुए कि नियमों के सफल पालन बनाम हैलुसिनेशन की निर्भरता प्रमुख निर्णय बिंदुओं पर भूमिका विस्तार (role span) के योगदान के परिमाण और सुसंगतता पर आधारित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कृत्रिम बुद्धिमत्ता की एक नई पीढ़ी के इंजन हैं, जो किसी प्रॉम्प्ट को पढ़ने और मांग के अनुसार मानव-तुल्य टेक्स्ट उत्पन्न करने में सक्षम हैं। उनकी सबसे प्रशंसित क्षमताओं में से एक 'इन-कॉन्टेक्स्ट लर्निंग' (in-context learning) है, जहाँ एक मॉडल प्रॉम्प्ट में दिए गए उदाहरणों से एक विशिष्ट नियम को समझ सकता है और उसका निष्ठापूर्वक पालन कर सकता है। यदि कोई उपयोगकर्ता मॉडल से रिकॉर्ड की एक सूची को JSON ऑब्जेक्ट के रूप में सारांशित करने के लिए कहता है, तो मॉडल उस प्रारूप को सीख सकता है और उसे पूरी तरह से लागू कर सकता है। फिर भी, ये समान प्रणालियाँ 'हैलुसिनेशन' (hallucination) नामक एक निराशाजनक दोष से ग्रस्त होती हैं। कभी-कभी, दिए गए साक्ष्यों के आधार पर प्रश्न पूछने पर, मॉडल अपने सामने मौजूद तथ्यों को अनदेखा कर देता है और ऐसे विवरण गढ़ लेता है जो टेक्स्ट द्वारा समर्थित नहीं होते हैं। यह एक पहेली जैसा विरोधाभास पैदा करता है: कैसे एक ही मशीन उस नियम का पालन करने में इतनी आज्ञाकारी हो सकती है जिसे उसने अभी सीखा है, फिर भी दिए गए तथ्यों के प्रति इतनी लापरवाह हो सकती है? वर्षों से, शोधकर्ता इन दोनों व्यवहारों का अलग-अलग अध्ययन करते रहे हैं, उन्हें अलग-अलग घटनाओं के रूप में देखते रहे हैं। लेकिन इस अलगाव ने इस समझ में एक कमी छोड़ दी है कि मॉडल एक मामले में क्यों सफल होता है और दूसरे में क्यों विफल होता है।
नेशनल यूनिवर्सिटी ऑफ सिंगापुर के शोधकर्ताओं की एक टीम ने अब इन मॉडल्स के आंतरिक तंत्र (internal mechanics) को देखकर इस अंतर को पाट दिया है। वे प्रस्तावित करते हैं कि नियमों का सफलतापूर्वक पालन करना और तथ्यों पर टिके रहने में विफलता, दोनों ही एक ही अंतर्निहित प्रक्रिया पर निर्भर करते हैं। उनकी खोज की कुंजी इस बात में निहित है कि मॉडल प्रॉम्प्ट के विभिन्न हिस्सों को कैसे प्रोसेस करता है। किसी भी दिए गए प्रॉम्प्ट में, कुछ टेक्स्ट एक 'नियम' के रूप में कार्य करता है, जो मॉडल को यह बताता है कि अपने उत्तर की संरचना कैसे करनी है, जबकि अन्य टेक्स्ट 'साक्ष्य' (evidence) के रूप में कार्य करता है, जो उपयोग किए जाने वाले विशिष्ट तथ्य प्रदान करता है। शोधकर्ताओं ने पाया कि मॉडल वास्तव में आंतरिक रूप से इन भूमिकाओं के बीच के अंतर को "समझता" है। यह यह दर्शाने के लिए कि वह एक नियम देख रहा है या साक्ष्य का एक टुकड़ा, अपने न्यूरल नेटवर्क में एक विशिष्ट, व्यवस्थित गतिविधि का पैटर्न बनाता है। हालाँकि, केवल इस आंतरिक प्रतिनिधित्व का होना सही उत्तर सुनिश्चित करने के लिए पर्याप्त नहीं है। मॉडल टेक्स्ट की भूमिका को पहचान तो सकता है, लेकिन उस पहचान को अपने अंतिम आउटपुट को नियंत्रित करने के लिए वास्तव में लागू नहीं कर पाता।
यह जानने के लिए कि यह कैसे काम करता है, शोधकर्ताओं ने मॉडल के निर्णयों पर प्रॉम्प्ट के विशिष्ट भागों के प्रभाव को मापने का एक तरीका विकसित किया। उन्होंने "रोल स्पैन" (role span) पर ध्यान केंद्रित किया, जो या तो नियम या साक्ष्य वाले टेक्स्ट का विशिष्ट खंड है। जब इस टेक्स्ट की उपस्थिति की तुलना इसे भिन्न सामग्री के साथ बदलने से की गई, तो वे ठीक से माप सके कि उस विशिष्ट टेक्स्ट ने मॉडल को एक निश्चित उत्तर की ओर कितना धकेला। उन्होंने पाया कि मॉडल के लिए किसी नियम का पालन करने या साक्ष्य का सही उपयोग करने के लिए, उस टेक्स्ट का प्रभाव पर्याप्त मजबूत होना चाहिए और उसे सही दिशा में लगातार इंगित करना चाहिए। यह केवल इतना पर्याप्त नहीं है कि मॉडल नियम को "देख" ले; उस नियम से मिलने वाला गणितीय संकेत इतना बड़ा होना चाहिए कि वह मॉडल के मस्तिष्क में अन्य प्रतिस्पर्धी संकेतों को पार कर सके, और उसे जनरेशन प्रक्रिया के हर चरण में सही उत्तर की दिशा के साथ संरेखित होना चाहिए।
अध्ययन से पता चलता है कि मॉडल नियमों का पालन इतने अच्छे से क्यों करते हैं और तथ्यों के साथ अक्सर क्यों विफल होते हैं, इसका कारण यह है कि यह प्रभाव कहाँ और कैसे लागू किया जाता है। जब मॉडल किसी नियम का पालन कर रहा होता है, जैसे कि उत्तर को सूची के रूप में फॉर्मेट करना, तो नियम के टेक्स्ट से मिलने वाला प्रभाव कई अलग-अलग निर्णयों में बना रहना चाहिए। मॉडल को बार-बार सही संरचना चुननी होती है, और नियम का संकेत प्रत्येक इन चरणों पर इतना मजबूत रहना चाहिए कि मॉडल को ट्रैक पर रखा जा सके। इसके विपरीत, जब मॉडल को साक्ष्य का उपयोग करने के लिए कहा जाता है, तो महत्वपूर्ण क्षण बहुत अधिक विशिष्ट होता है। साक्ष्य के टेक्स्ट से मिलने वाला प्रभाव उस सटीक क्षण पर शक्तिशाली होना चाहिए जब मॉडल एक विशिष्ट तथ्य पर निर्णय लेता है। यदि उस सटीक क्षण में साक्ष्य से मिलने वाला संकेत बहुत कमजोर है, या यदि उसे अन्य संकेतों द्वारा रद्द कर दिया जाता है, तो मॉडल भटक जाएगा और दिए गए तथ्य के बजाय एक तथ्य गढ़ लेगा।
शोधकर्ताओं ने मॉडल की गणनाओं में सीधे हस्तक्षेप करके इस सिद्धांत का परीक्षण किया। उन्होंने पाया कि जब उन्होंने नियम टेक्स्ट से आने वाले संकेत को कृत्रिम रूप से कमजोर किया, तो मॉडल अक्सर उस प्रारूप को भूल गया जिसका उसे पालन करना था। इसी तरह, जब उन्होंने साक्ष्य टेक्स्ट के प्रभाव को कम किया, तो मॉडल ने दिए गए तथ्यों का उपयोग करना बंद कर दिया और कल्पना करने लगा। शायद सबसे अधिक खुलासा करने वाला यह था कि यह विफलता हमेशा स्थायी नहीं होती है। उन मामलों में जहाँ मॉडल शुरू में साक्ष्य का उपयोग करने में विफल रहा, शोधकर्ता साक्ष्य के संकेत को कृत्रिम रूप से बढ़ाकर इस गलती को सुधारने में सक्षम रहे। जब सही तथ्य के समर्थन को मॉडल की प्रारंभिक हिचकिचाहट को दूर करने के लिए पर्याप्त मजबूत बनाया गया, तो इसने सफलतापूर्वक सही उत्तर की ओर स्विच कर लिया। यह सुझाव देता है कि मॉडल के पास अक्सर आंतरिक रूप से सही जानकारी उपलब्ध होती है, लेकिन वह उस पर अमल करने में विफल रहता है क्योंकि निर्णय के क्षण में संकेत पर्याप्त मजबूत नहीं होता है।
यह कार्य दो स्पष्ट रूप से विपरीत व्यवहारों के लिए एक एकीकृत स्पष्टीकरण प्रदान करता है। यह सुझाव देता है कि एक मॉडल जो निर्देशों का पूरी तरह से पालन करता है और एक जो तथ्यों के बारे में झूठ बोलता है, उनके बीच का अंतर प्रॉम्प्ट को समझने के तरीके में अंतर नहीं है, बल्कि यह कि जनरेशन प्रक्रिया के दौरान प्रॉम्प्ट के प्रभाव को कैसे बनाए रखा जाता है, इसमें अंतर है। नियमों के लिए, प्रभाव एक स्थिर, निरंतर बल होना चाहिए जो प्रतिक्रिया की संरचना का मार्गदर्शन करता है। तथ्यों के लिए, प्रभाव एक सटीक, निर्णायक धक्का होना चाहिए जब एक विशिष्ट मान (value) चुना जाता है। अध्ययन यह निष्कर्ष निकालता है कि मॉडल की विश्वसनीयता इस बात पर निर्भर करती है कि प्रॉम्प्ट से मिलने वाला आंतरिक संकेत इन महत्वपूर्ण चयन के क्षणों में जीतने के लिए पर्याप्त मजबूत और सही ढंग से व्यवस्थित है या नहीं। इस तंत्र को समझकर, हमें एक स्पष्ट तस्वीर मिलती है कि क्यों ये शक्तिशाली उपकरण कभी-कभी एक आदर्श सहायक की तरह काम करते हैं और अन्य समय में एक आत्मविश्वासी झूठे की तरह, और कैसे एक ही आंतरिक मशीनरी दोनों परिणामों के लिए जिम्मेदार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।