Testing History Dependence Between In-Context and In-Weights Learning
यह अध्ययन प्रदर्शित करता है कि जबकि प्रशिक्षण का क्रम (विभिन्न दिशाओं से एक संतुलित मिश्रण की ओर बढ़ना) इन-कॉन्टेक्स्ट बनाम इन-वेट्स लर्निंग तंत्र की शक्ति में एक क्षणिक, मापने योग्य अंतर उत्पन्न करता है, लेकिन यह छोटे ट्रांसफॉर्मर्स में निरंतर हिस्टेरेसिस या मौलिक रूप से भिन्न कारण सर्किट संगठनों (causal circuit organizations) का परिणाम नहीं देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चुटकुले सुनाना सिखा रहे हैं। आप इसे दो तरीकों से सिखा सकते हैं। पहला, आप बोलने से ठीक पहले इसे कुछ उदाहरण दिखा सकते हैं, जैसे मेज पर रखी एक संदर्भ शीट (reference sheet)। रोबोट उस संदर्भ शीट को पढ़ता है और जो वह अभी देख रहा है, उसके आधार पर पंचलाइन का पता लगा लेता है। इसे इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) कहा जाता है। यह ऐसा है जैसे रोबोट अपनी बुद्धि का उपयोग तुरंत कर रहा हो। दूसरा, आप रोबोट के साथ घंटों अभ्यास कर सकते हैं जब तक कि वह चुटकुलों को इतनी अच्छी तरह से याद न कर ले कि उसे अब संदर्भ शीट की आवश्यकता ही न रहे। अब चुटकुले उसके मस्तिष्क में गहराई से अंकित (hard-wired) हो चुके हैं। यह इन-वेट्स लर्निंग (In-Weights Learning) है।
लंबे समय तक, वैज्ञानिकों ने यह सोचने में समय बिताया: यदि आप रोब-ट को संदर्भ शीट और अभ्यास का बिल्कुल वही मिश्रण दें, तो क्या वह हमेशा समस्या को बिल्कुल एक ही तरीके से हल करेगा? या यह मायने रखता है कि वह वहां तक कैसे पहुँचा? क्या उसने पहले याद करना शुरू किया और फिर संदर्भ शीट पढ़ना सीखा? या उसने पहले संदर्भ शीट पढ़ना शुरू किया और फिर चुटकुलों को याद करना सीखा? यह प्रश्न हिस्ट्री डिपेंडेंस (history dependence) यानी इतिहास पर निर्भरता के बारे में है। भौतिकी की दुनिया में, यह हिस्टेरेसिस (hysteresis) के समान है—जैसे एक चुंबक जो उस दिशा को याद रखता है जिस ओर उसे खींचा गया था, भले ही अब उसे खींचना बंद कर दिया गया हो। यदि रोबोट के मस्तिष्क में हिस्टेरेसिस है, तो उसकी वर्तमान स्थिति केवल इस पर निर्भर नहीं है कि वह अभी क्या देख रहा है; बल्कि यह भी इस पर निर्भर है कि वह वहां तक पहुँचने का रास्ता क्या था। यह महत्वपूर्ण है क्योंकि यदि AI मॉडल इस प्रकार के हैं, तो हम केवल उनके वर्तमान डेटा को देखकर उनके व्यवहार की भविष्यवाणी नहीं कर पाएंगे; हमें उनके पूरे प्रशिक्षण इतिहास को जानने की आवश्यकता होगी।
यह शोध पत्र एक छोटे, नियंत्रित रोबोट (एक छोटा AI मॉडल) को लेता है और उसे यह देखने के लिए एक विशिष्ट परीक्षण से गुजारता है कि क्या उसमें इस तरह की "रास्ते की स्मृति" (memory of the path) है। शोधकर्ताओं ने एक खेल तैयार किया जहाँ रोबोट को एक गुप्त कोड का अनुमान लगाना होता है। कभी-कभी कोड वर्तमान वाक्य (संदर्भ शीट) में दिए गए सुराग पर निर्भर करता है, और कभी-कभी यह उस नियम पर निर्भर करता है जिसे रोबोट ने बहुत पहले सीखा था (हार्ड-वायर्ड मेमोरी)। उन्होंने रोबोट की दो समान प्रतियों को खेल में बिल्कुल एक ही बिंदु तक पहुँचने के लिए प्रशिक्षित किया, लेकिन वे उन्हें अलग-अलग रास्तों से वहां ले गए। एक प्रति ने हार्ड-वायर्ड नियमों पर ध्यान केंद्रित करना शुरू किया और धीरे-धीरे संदर्भ शीट की ओर स्थानांतरित हुई। दूसरी प्रति ने संदर्भ शीट के साथ शुरुआत की और धीरे-धीरे हार्ड-वायर्ड नियमों की ओर स्थानांतरित हुई।
शोधकर्ताओं ने पाया कि जब दोनों रोबोट बिल्कुल एक ही स्थान पर पहुँचे, तो वे बिल्कुल एक जैसा व्यवहार नहीं कर रहे थे। जो रोबोट "हार्ड-वायर्ड" वाले पक्ष से आया था, वह दूसरे रोबोट (जो "संदर्भ शीट" वाले पक्ष से आया था) की तुलना में संदर्भ शीट का उपयोग करने की थोड़ी अधिक संभावना रखता था। यह ऐसा था जैसे जो रोबोट नियमों के साथ शुरू हुआ था, वह अभी भी उस मानसिकता में थोड़ा "अटका" हुआ था, भले ही वह अब दूसरे रोबोट की तरह ही समान संकेतों को देख रहा था। यह अंतर वास्तविक और मापने योग्य था: उनके व्यवहार में अंतर एक विशिष्ट पैमाने पर लगभग 0.098 अंक का था, और यह पांच अलग-अलग प्रशिक्षण प्रयोगों में हुआ।
हालाँकि, यह रास्ते की स्मृति बहुत कम समय के लिए थी। शोधकर्ताओं ने रोबोट को उसी स्थान पर कुछ देर और प्रशिक्षित रखा। केवल 25 और चरणों के बाद, अंतर पलटने लगा और फिर गायब हो गया। जब तक उन्होंने 100 चरण पूरे किए, दोनों रोबोट लगभग एक जैसा व्यवहार कर रहे थे। जिस रास्ते पर वे चले थे, उसका "भूत" (ghost) मिट चुका था।
यह समझने के लिए कि ऐसा क्यों हुआ, वैज्ञानिकों ने रोबोट के मस्तिष्क के भीतर झाँका। उन्होंने पाया कि दोनों रोबोट समस्या को हल करने के लिए बिल्कुल एक ही आंतरिक हिस्सों का उपयोग कर रहे थे। वे किसी अलग "सर्किट" या सोचने के नए तरीके पर नहीं बदले। इसके बजाय, जो रोबोट "हार्ड-वायर्ड" वाले पक्ष से आया था, उसने बस अपने मस्तिष्क के उस हिस्से की आवाज़ (volume) को थोड़ा तेज़ कर दिया था जो संदर्भ शीट को पढ़ता है। यह एक अस्थायी वॉल्यूम बूस्ट था, न कि वायरिंग में कोई स्थायी परिवर्तन।
इसलिए, यह शोध पत्र सुझाव देता है कि हालांकि AI मॉडल थोड़े समय के लिए यह याद रख सकते हैं कि वे उस बिंदु तक कैसे पहुँचे, लेकिन यह एक स्थायी "हिस्टेरेसिस" लूप नहीं है जहाँ वे हमेशा के लिए अलग-अलग अवस्थाओं में फंसे रह जाते हैं। यह एक क्षणिक अंतराल (lag) की तरह है, एक त्वरित ओवरशूट (overshoot) जो आगे बढ़ते हुए स्थिर हो जाता है। यह अध्ययन दिखाता है कि AI के व्यवहार को वास्तव में समझने के लिए, आपको उसके तत्काल इतिहास को देखना होगा, लेकिन आपको इस बात की चिंता करने की आवश्यकता नहीं है कि वह कैसे प्रशिक्षित किया गया था, इसलिए वह हमेशा के लिए एक अजीब स्थिति में फंसा रहेगा। मॉडल अंततः तालमेल बिठा लेता है और रास्ते को भूलकर केवल गंतव्य पर ध्यान केंद्रित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।