Learning without training: The implicit dynamics of in-context learning
यह शोध पत्र प्रस्तावित करता है कि लार्ज लैंग्वेज मॉडल्स (Large Language Models) में इन-कॉन्टेक्स्ट लर्निंग (in-context learning) एक ऐसी प्रक्रिया से उत्पन्न होती है जहाँ सेल्फ-अटेंशन लेयर्स (self-attention layers) फॉरवर्ड पास के दौरान एमएलपी वेट्स (MLP weights) में निहित रूप से लो-रैंक अपडेट्स (low-rank updates) प्रेरित करती हैं, जो वास्तविक वेट परिवर्तनों के बिना प्रदान किए गए कॉन्टेक्स्ट उदाहरणों पर प्रशिक्षण के गणितीय रूप से समकक्ष है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी पहेली: LLMs बातचीत के दौरान कैसे "सीखते" हैं?
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट से बात कर रहे हैं। आप उसे आपके द्वारा बनाए गए एक नए नियम के कुछ उदाहरण देते हैं (जैसे, "अगर मैं 'सेब' कहूँ, तो तुम 'लाल' कहना। अगर मैं 'केला' कहूँ, तो तुम 'पीला' कहना")। बिना रोबोट के दिमाग को बदले या उसे फिर से प्रशिक्षित (retrain) किए, रोबोट तुरंत नियम समझ जाता है और आपके द्वारा बताए गए किसी नए फल पर उसे लागू करता है।
इसे इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning - ICL) कहा जाता है। ऐसा लगता है जैसे रोबोट बातचीत के बीच में ही "सीख" रहा है। लेकिन यहाँ एक रहस्य है: मानक मशीन लर्निंग में, सीखने का अर्थ डेटा के आधार पर आंतरिक वेट्स (दिमाग की वायरिंग) को बदलना होता है। इस मामले में, रोबोट का दिमाग कभी नहीं बदलता। वेट्स बिल्कुल वैसे ही रहते हैं। तो, यह कैसे सीखता है?
पेपर की खोज: "घोस्ट" अपडेट (The "Ghost" Update)
इस पेपर के लेखक एक चतुर स्पष्टीकरण प्रस्तावित करते हैं। वे तर्क देते हैं कि हालांकि रोबट भौतिक रूप से अपने दिमाग को नहीं बदल रहा है, लेकिन आपके उदाहरणों को पढ़ने की क्रिया एक "घोस्ट" अपडेट पैदा करती है।
रोबोट के दिमाग को एक विशाल, जटिल फैक्ट्री के रूप में सोचें।
- सामान्य तरीका: आमतौर पर, यदि आप चाहते हैं कि फैक्ट्री कुछ नया करे, तो आप इंजीनियरों की एक टीम को मशीनों को भौतिक रूप से फिर से वायर करने के लिए भेजते हैं (यह ट्रेनिंग है)।
- इन-कॉन्टेक्स्ट तरीका: लेखक दिखाते हैं कि जब आप रोबोट को उदाहरणों के साथ एक प्रॉम्प्ट देते हैं, तो रोबोट की आंतरिक मशीनरी (विशेष रूप से सेल्फ-अटेंशन (Self-Attention) लेयर) एक जादुई प्रोजेक्टर की तरह काम करती है। यह आपके उदाहरणों से जानकारी लेती है और फैक्ट्री की मुख्य असेंबली लाइन ( MLP लेयर) पर एक "परछाई" प्रोजेक्ट करती है।
यह परछाई गणितीय रूप से एक भौतिक रीवायरिंग के समान है। यह ऐसा है जैसे रोबोट उस विशिष्ट क्षण के लिए अपने दिमाग को अपडेट करने का दिखावा करता है। पेपर यह सिद्ध करता है कि प्रॉम्प्ट को पढ़ना गणितीय रूप से वेट्स को गुप्त रूप से अपडेट करने के बराबर है, भले ही कंप्यूटर हार्डवेयर पर कोई वास्तविक अपडेट न हुआ हो।
"मिनिमल पैच": एक छोटा, सटीक सुधार
यह पेपर एक अवधारणा पेश करता है जिसे "मिनिमल टोकन-पैच (Minimal Token-Patch)" कहा जाता है।
कल्पना कीजिए कि आपके पास एक पेंटिंग है (रोबोट का मूल दिमाग)। आप एक नए निर्देश के आधार पर उसमें एक छोटा सा विवरण जोड़ना चाहते हैं।
- आप पूरे कैनवास को फिर से पेंट कर सकते हैं (बहुत अधिक काम है)।
- आप हर जगह पेंट फेंक सकते हैं (बिखरा हुआ और गंदा)।
- पेपर दिखाता है कि रोबोट उस पेंटिंग पर सबसे छोटा, सबसे सटीक स्टिकर ढूंढ लेता है जिसे वह लगाने के लिए उपयोग कर सकता है ताकि वह बिल्कुल सही दिखे।
गणितीय रूप से, यह "स्टिकर" एक रैंक-1 मैट्रिक्स (Rank-1 Matrix) है। सरल शब्दों में, इसका अर्थ है कि यह एक बहुत ही सरल, कम-आयामी (low-dimensional) समायोजन है। यह सबसे कुशल, न्यूनतम परिवर्तन है जो रोबोट के आउटपुट को वैसा ही बनाने के लिए आवश्यक है जैसा कि तब होता यदि उसने वास्तव में नया नियम सीख लिया होता।
"थॉट पैच": बातचीत को संकुचित करना
शोधकर्ताओं ने इसे व्यावहारिक बनाने का एक तरीका भी खोजा है। चूंकि "घोस्ट अपडेट" इस बात पर निर्भर करता है कि आप क्या सवाल पूछते हैं, इसलिए यह हर बार बदल जाता है। लेकिन, उन्होंने दिखाया कि आप एक "स्टैटिक थॉट पैच (Static Thought Patch)" की गणना कर सकते हैं।
कल्पना कीजिए कि आप रोबोट के साथ एक लंबी बातचीत कर रहे हैं। पूरी बातचीत को अपनी मेमोरी में रखने के बजाय, आप इसे एक एकल, छोटे नोट (थॉट पैच) में बदल सकते हैं। यदि आप यह नोट बाद में रोबोट को देते हैं, तो वह बिल्कुल वैसा ही व्यवहार करेगा जैसे कि उसे पूरी बातचीत याद हो। यह प्रॉम्प्ट कंप्रेशन (Prompt Compression) का एक रूप है: एक लंबे इतिहास को एक एकल, स्टैटिक वेट अपडेट में बदलना।
कुछ रोबोट दूसरों से बेहतर क्यों हैं
इस पेपर ने विभिन्न प्रकार के रोबोट दिमागों पर इस सिद्धांत का परीक्षण किया:
- ट्रांसफॉर्मर्स (Transformers - वर्तमान AI सितारे): उनके पास एक "सेल्फ-अटेंशन" तंत्र होता है। पेपर दिखाता है कि यह तंत्र एक सुचारू, स्थिर "घोस्ट अपडेट" बनाता है जो अच्छी तरह से कन्वर्ज (converge) होता है। यही कारण है कि ट्रांसफॉर्मर्स उदाहरणों से सीखने में इतने अच्छे हैं।
- RNNs (पुराने AI तकनीक): जब उन्होंने समान सिद्धांत का परीक्षण रिकरेंट न्यूरल नेटवर्क (RNNs) पर किया, तो "घोस्ट अपडेट" अराजक और अस्थिर थे। वे स्थिर नहीं हुए। यह एक गणितीय कारण प्रदान करता है कि क्यों RNNs, ट्रांसफॉर्मर्स की तुलना में इन-कॉन्टेक्स्ट लर्निंग में संघर्ष करते हैं।
"स्टीयरिंग व्हील" का संबंध
अंत में, यह पेपर इस अवधारणा को मॉडल एडिटिंग (Model Editing) से जोड़ता है। वैज्ञानिकों ने पहले पाया है कि आप एक "स्टीयरिंग वेक्टर" के साथ रोबोट के दिमाग को मैन्युअल रूप से ट्यून कर सकते हैं ताकि वह सच बोले या एक विशिष्ट शैली का पालन करे।
पेपर खुलासा करता है कि इन-कॉन्टेक्स्ट लर्निंग केवल रोबोट द्वारा खुद के साथ किया गया यही कार्य है। जब आप उसे उदाहरण देते हैं, तो रोबोट स्वचालित रूप से अपना स्वयं का "स्टीयरिंग वेक्टर" (रैंक-1 अपडेट) उत्पन्न करता है ताकि वर्तमान कार्य के लिए अपने व्यवहार को निर्देशित (steer) किया जा सके। यह जादू नहीं है; यह रोबोट द्वारा अपने स्वयं के आंतरिक तंत्र का उपयोग करके अस्थायी रूप से खुद को पुनर्गठित करना है।
सारांश
- दावा: लार्ज लैंग्वेज मॉडल्स को उदाहरणों से सीखने के लिए फिर से प्रशिक्षण (retraining) की आवश्यकता नहीं होती है।
- तंत्र: अटेंशन मैकेनिज्म मॉडल के वेट्स पर एक गणितीय "घोस्ट अपडेट" बनाने के लिए एक प्रोजेक्टर के रूप में कार्य करता है।
- परिणाम: यह अपडेट एक छोटा, सटीक "पैच" (रैंक-1 मैट्रिक्स) है जो मॉडल को वैसा ही व्यवहार करने के लिए प्रेरित करता है जैसे कि उसने नया नियम सीख लिया हो।
- प्रमाण: उन्होंने इसे गणितीय रूप से सिद्ध किया और दिखाया कि "घोस्ट" व्यवहार वास्तविक चीज़ के समान ही है, जो यह समझाता है कि ट्रांसफॉर्मर्स इस मामले में पुराने मॉडलों की तुलना में इतने बेहतर क्यों काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।