Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning
यह लेख प्रदर्शित करता है कि इन-कॉन्टेक्स्ट लर्निंग टास्क की पहचान विशिष्ट परतों या टोकन तक सीमित नहीं है, जैसा कि लीनियर प्रोबिंग द्वारा सुझाव दिया गया है, बल्कि यह प्रदर्शन टोकन (डेमोंस्ट्रेशन टोकन्स) में वितरित आउटपुट फॉर्मेट टेम्पलेट्स के रूप में कार्यगत रूप से एनकोडेड है, जिसमें एक महत्वपूर्ण हस्तक्षेप विंडो नेटवर्क की गहराई के लगभग 30% पर स्थित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े भाषा मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) की कल्पना एक विशाल, बहु-मंजिला फैक्ट्री के रूप में करें। जब आप उसे किसी कार्य के कुछ उदाहरण देते हैं (जैसे कि "इस शब्द को अपरकेस में बदलें"), तो वह उस नियम को पहचानने और आपके नए प्रश्न पर उसे लागू करने का प्रयास करता है। इसे इन-कॉन्टेक्स्ट लर्निंग (ICL) कहा जाता है।
लंबे समय तक, वैज्ञानिकों का मानना था कि वे जानते थे कि इस फैक्ट्री में "नियम" कहाँ संग्रहीत है। उन्होंने एक "प्रोब" (जैसे कि मेटल डिटेक्टर) नामक उपकरण का उपयोग किया जो बीप करता था और कहता था: "हाँ, 'अपरकेस' का नियम यहीं है!" उन्हें कुछ विशिष्ट स्थानों पर, फैक्ट्री की कुछ मंजिलों पर ये बीप सुनाई दिए।
बड़ी हैरानी: मेटल डिटेक्टर एक झूठा है
लेखकों ने यह परीक्षण करने का निर्णय लिया कि क्या ये बीप वास्तव में कुछ सार्थक जानकारी देते हैं। उन्होंने एक "सर्जरी" प्रयोग करने की कोशिश की: वे ठीक वहीं गए जहाँ मेटल डिटेक्टर ने नियम बताया था, वहां से जानकारी को हटा दिया, और उसे किसी और चीज़ से बदल दिया।
- परिणाम: कुछ नहीं हुआ। फैक्ट्री बिना किसी बाधा के सुचारू रूप से चलती रही, उसने हस्तक्षेप को पूरी तरह से अनदेखा कर दिया।
- उपमा: कल्पना कीजिए कि आप मानते हैं कि कार के इंजन को एक अकेले लाल तार द्वारा नियंत्रित किया जाता है। आप उस तार को काट देते हैं और उम्मीद करते हैं कि कार रुक जाएगी। इसके बजाय, कार चलती रहती है। वास्तव में इंजन एक तार से नियंत्रित नहीं होता; संकेत हजारों तारों में वितरित होता है। यदि आप केवल एक को काटते हैं, तो कार को कोई फर्क नहीं पड़ता।
वास्तविक खोज: "डिस्ट्रीब्यूटेड टेम्पलेट" (वितरित टेम्पलेट)
शोधकर्ताओं ने महसूस किया कि "नियम" एक स्थान पर संग्रहीत नहीं है। यह आपके द्वारा मॉडल को दिए गए उदाहरणों के पूरे सेट में फैला हुआ एक पहेली (पज़ल) की तरह है।
- एक एकल स्थिति में विफलता: यदि आप पहेली के केवल एक टुकड़े (उदाहरण में एक शब्द) को बदलने की कोशिश करते हैं, तो मॉडल कुछ भी नोटिस नहीं करता है। उसके पास चित्र को पहचानने के लिए बहुत सारे अन्य टुकड़े मौजूद हैं।
- कई स्थितियों में सफलता: हालाँकि, यदि आप सभी पहेली के टुकड़ों को एक साथ बदल देते हैं (उदाहरणों में प्रत्येक आउटपुट शब्द को), तो मॉडल अपना मन बदल लेता है। वह आपके द्वारा दिए गए नए नियम का पालन करने लगता है।
फैक्ट्री में "स्वीट स्पॉट" (सही स्थान)
शोधकर्ताओं ने पाया कि यह "पहेली बदलना" तभी काम करता है जब आप इसे फैक्ट्री के एक विशिष्ट फ्लोर पर करते हैं।
- बहुत जल्दी (फ्लोर 1–7): पहेली के टुकड़े अभी तक असेंबल नहीं हुए हैं; पैटर्न स्पष्ट नहीं है।
- बहुत देर से (फ्लोर 15+): फैक्ट्री पहले ही कार बना चुकी है और चली गई है; अब ब्लूप्रिंट बदलना बहुत देर हो चुकी है।
- बिल्कुल सही (फ्लोर 8): यह "कमिटमेंट विंडो" है। यहाँ, फैक्ट्री डिज़ाइन को अंतिम रूप देती है लेकिन निर्माण शुरू नहीं किया होता है। यदि आप यहाँ ब्लूप्रिंट बदलते हैं, तो फैक्ट्री नई कार बनाती है।
वास्तव में क्या स्थानांतरित होता है?
शोधकर्ताओं ने पाया कि मॉडल कार्य के अर्थ (जैसे कि "यह भावनाओं के बारे में है") को नहीं सीखता है। इसके बजाय, यह उत्तर के रूप (फॉर्म) को सीखता है।
- उपमा: कल्पना कीजिए कि आप मॉडल को कविता लिखना सिखाते हैं। यदि आप उदाहरणों को इस तरह बदलते हैं कि वे एक अलग प्रकार की कविता दिखाते हैं (जैसे कि राइमिंग कपलेट्स से हाइकू में), तो मॉडल बदलेगा नहीं, भले ही विषय वही रहे।
- अंतर्दृष्टि: मॉडल केवल "टेम्पलेट" की नकल करता है। यदि उदाहरण दिखाते हैं "शब्द, शब्द, शब्द," तो मॉडल केवल तभी नए कार्य में बदलेगा यदि वह नया कार्य भी "शब्द, शब्द, शब्द" जैसा दिखता हो। इससे कोई फर्क नहीं पड़ता कि शब्द बिल्लियों या नंबरों के बारे में हैं; जो मायने रखता है वह है कि संरचना मेल खाती है।
अनुरोध बनाम उदाहरण
शोधकर्ताओं ने एक दिलचस्प विषमता (asymmetry) की खोज की:
- उदाहरण (डेमो): ये "सामग्री" (ingredients) की तरह हैं। व्यंजन तैयार करने के लिए आपको उन सभी की आवश्यकता होती है। यदि आप एक को भी मिस कर देते हैं, तो रेसिपी फिर भी काम करती है क्योंकि अन्य इसकी भरपाई कर लेते हैं। हालाँकि, यदि आप उन सभी को बदल देते हैं, तो व्यंजन पूरी तरह से बदल जाता है।
- प्रश्न (क्वेरी): यह वह "शेफ" है जो रेसिपी पढ़ रहा है। यदि आप शेफ के निर्देशों (प्रश्न के हिस्से) को गड़बबड़ा देते हैं, तो सब कुछ विफल हो जाता है। शेफ आवश्यक है, लेकिन शेफ रेसिपी को नहीं थामे रहता; सामग्री को थामे रहता है।
सरल भाषा में सारांश
- मेटल डिटेक्टर पर भरोसा न करें: भले ही मॉडल किसी एक जगह पर नियम ढूँढ सकता है, इसका मतलब यह नहीं है कि वह स्थान महत्वपूर्ण है।
- नियम हर जगह है: "कार्य की पहचान" सभी उदाहरण उत्तरों में वितरित है, न कि किसी एक निश्चित स्थान पर।
- समय (टाइमिंग) महत्वपूर्ण है: आप केवल अपनी सोचने की प्रक्रिया के बीच में ही मॉडल का मन बदल सकते हैं, शुरुआत या अंत में नहीं।
- यह अर्थ के बारे में नहीं, रूप के बारे में है: मॉडल कार्य के गहरे तर्क को समझने के बजाय, उत्तर के फॉर्म (टेम्पलेट) की नकल करता है।
इस शोध पत्र ने अनिवार्य रूप से इन AI मॉडलों के उदाहरणों से सीखने के तरीके के मानचित्र को फिर से लिख दिया है, यह दिखाते हुए कि कार्य का "मस्तिष्क" एक वितरित, दोष-सहिष्णु (fault-tolerant) नेटवर्क है, न कि एक सिंगल स्विच।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।