Functional Subspace, where language models can use vector algebra to solve problems
यह शोध पत्र परिकल्पना करता है और प्रमाण प्रदान करता है कि बड़े भाषा मॉडल (large language models) अपने सक्रियण स्थान (activation space) के भीतर कार्यात्मक उप-स्थानों (functional subspaces) का उपयोग करते हैं, जहाँ इन-कॉन्टेक्स्ट लर्निंग (in-context learning) कार्यों को साक्ष्य संचित करने वाले सरल वेक्टर बीजगणितीय ऑपरेशनों के माध्यम से हल किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, जादुई मस्तिष्क के रूप में न करें जो मानवीय शब्दों में "सोचता" है, बल्कि इसे एक विशाल, बहुमंजिला पुस्तकालय के रूप में देखें जहाँ हर किताब सूचना का एक टुकड़ा है। लंबे समय तक, हमें यह नहीं पता था कि यह पुस्तकालय अपनी किताबों को कैसे व्यवस्थित करता है या जब आप कोई प्रश्न पूछते हैं तो यह सही उत्तर कैसे ढूँढ लेता है।
यह शोध पत्र उस पुस्तकालय को देखने के एक दिलचस्प नए तरीके का प्रस्ताव करता है। यह सुझाव देता है कि जब एक LLM किसी समस्या को हल करता है, तो वह पूरे पुस्तकालय को केवल "पढ़ता" नहीं है। इसके बजाय, वह उस विशिष्ट कार्य के लिए अपनी मेमोरी के भीतर एक विशेष, अस्थायी कमरा (एक "सबस्पेस") बनाता है, और फिर उस कमरे के भीतर सरल गणित (वेक्टर अलजेब्रा) का उपयोग करके समस्या को हल करता है।
यहाँ रोजमर्रा की उपमाओं का उपयोग करके उनकी खोज का विवरण दिया गया है:
1. "कॉन्टेक्स्ट" कमरा (इन-कॉन्टेक्स्ट लर्निंग)
आप जानते हैं कि कैसे आप कंप्यूटर को चैट में कुछ उदाहरण देकर एक नया करतब सिखा सकते हैं? उदाहरण के लिए, यदि आप टाइप करते हैं:
- "Hot : Cold" (गर्म : ठंडा)
- "Fast : Slow" (तेज़ : धीमा)
- "Big : ?" (बड़ा : ?)
तो कंप्यूटर अनुमान लगाता है "Small" (छोटा)। इसे इन-कॉन्टेक्स्ट लर्निंग (ICL) कहा जाता है। शोध पत्र पूछता है: कंप्यूटर बिना पुन: प्रशिक्षित (retrained) हुए यह कैसे समझ जाता है?
लेखक सुझाव देते हैं कि कंप्यूटर इस विशिष्ट बातचीत के लिए एक समर्पित कार्यक्षेत्र (एक सबस्पेस) बनाता है। इसे एक शेफ की तरह समझें जो आपको सलाद ऑर्डर करते देखते ही, तुरंत एक विशिष्ट कटिंग बोर्ड साफ कर देता है और रसोई में मौजूद स्टेक और सूप को नजरअंदाज करते हुए केवल सलाद की सामग्री इकट्ठा कर लेता है। कंप्यूटर अपने विशाल ज्ञान से "सलाद" के तर्क को अलग कर देता है।
2. "वेक्टर अलजेब्रा" रेसिपी
एक बार जब कंप्यूटर इस विशेष कमरे में पहुँच जाता है, तो उसे मानवीय अर्थों में शब्दों को "समझने" की आवश्यकता नहीं होती है। इसके बजाय, वह शब्दों को विशिष्ट दिशाओं में इशारा करने वाले तीरों (वेक्टर्स) की तरह मानता है।
- उपमा: कल्पना करें कि "Happy" (खुश) उत्तर की ओर इशारा करने वाला एक तीर है, और "Sad" (दुखी) दक्षिण की ओर इशारा करने वाला एक तीर है।
- गणित: यदि कंप्यूटर पैटर्न "Happy : Sad" देखता है, तो वह एक नियम सीखता है: उत्तर पाने के लिए, तीर को 180 डिग्री घुमा दें।
- परिणाम: जब आप "Fast : ?" पूछते हैं, तो कंप्यूटर "Fast" के तीर को लेता है, उसे (क्योंकि वह विलोम शब्दों का नियम है) घुमा देता है, और "Slow" पर पहुँच जाता है।
शोध पत्र का दावा है कि इन कार्यों के लिए, कंप्यूटर अनिवार्य रूप से इन तीरों पर जोड़ और घटाव कर रहा है। यह गहराई से "सोच" नहीं रहा है; यह एक सरल ज्यामितीय गणना (geometric calculation) कर रहा है।
3. पुस्तकालय कमरा कैसे बनाता है
शोध पत्र बताता है कि कंप्यूटर अपने आर्किटेक्चर के भीतर दो मुख्य उपकरणों का उपयोग करके यह कमरा कैसे बनाता है:
- "मेमोरी स्टैक्स" (फीड-फॉरवर्ड नेटवर्क): ये एक फाइलिंग कैबिनेट की तरह कार्य करते हैं। जब कंप्यूटर किसी शब्द को देखता है, तो वह उस शब्द से जुड़े संभावित उत्तरों की एक सूची निकालता है। यदि आप "London" कहते हैं, तो कैबिनेट "UK की राजधानी," "वित्तीय केंद्र," और "बारिश वाला शहर" निकाल सकता है।
- "स्पॉटलाइट" (सेल्फ-अटेंशन): यह वह हिस्सा है जो तय करता है कि कौन सी फाइल का उपयोग करना है। यदि प्रॉम्प्ट भूगोल के बारे में है, तो स्पॉटलाइट "राजधानी" वाली फाइल पर चमकती है। यदि यह वित्त के बारे में है, तो यह "केंद्र" वाली फाइल पर चमकती है।
लेखकों ने पाया कि जैसे-जैसे कंप्यूटर उदाहरणों (जैसे "Hot : Cold" जोड़े) को प्रोसेस करता है, वह इस विशेष कमरे में साक्ष्य (evidence) जमा करता जाता है। यह ब्लॉक्स को स्टैक करने जैसा है: प्रत्येक उदाहरण "विलोम" (antonym) के ढेर में एक ब्लॉक जोड़ता है। जब तक वह अंतिम प्रश्न तक पहुँचता है, ढेर इतना ऊँचा हो जाता है कि वह उत्तर की भविष्यवाणी कर सके।
4. "सबस्पेस" का जादू
शोधकर्ताओं ने कंप्यूटर के आंतरिक "रेसिड्यूअल स्ट्रीम्स" (मॉडल के माध्यम से बहने वाला डेटा) को देखकर इसका परीक्षण किया। उन्होंने डेटा की दिशा खोजने के लिए PCA (प्रिंसिपल कंपोनेंट एनालिसिस) नामक एक सांख्यिकीय उपकरण का उपयोग किया।
उन्होंने क्या पाया:
- कंप्यूटर स्वाभाविक रूप से ये लो-डायमेंशनल कमरे (सबस्पेस) बनाता है।
- इन कमरों में, प्रश्न और उत्तर के बीच का संबंध लगभग पूरी तरह से रैखिक (linear) होता है (जैसे एक सीधी रेखा)।
- यदि कंप्यूटर सही उत्तर देता है, तो इस कमरे में गणित एक तरह का दिखता है। यदि वह गलत उत्तर देता है, तो गणित अलग दिखता है। यह सिद्ध करता है कि कंप्यूटर वास्तव में निर्णय लेने के लिए इसी विशिष्ट "कमरे" और "गणित" का उपयोग कर रहा है।
सारांश
शोध पत्र का तर्क है कि लार्ज लैंग्वेज मॉडल्स केवल पैटर्न के आधार पर अनुमान नहीं लगा रहे हैं। इसके बजाय, कुछ उदाहरण दिए जाने पर, वे:
- अपनी मेमोरी में एक अस्थायी, विशेष कमरा बनाते हैं।
- शब्दों को तीरों (वेक्टर्स) में अनुवादित करते हैं।
- पहेली को हल करने के लिए उस कमरे के भीतर सरल गणित (जैसे तीरों को जोड़ना या घटाना) का उपयोग करते हैं।
यह सुझाव देता है कि AI की "उभरती क्षमताएं" (emergent abilities)—जहाँ यह नए कौशल तुरंत सीखता हुआ प्रतीत होता है—वास्तव में मॉडल द्वारा अपने मौजूदा ज्ञान को सामने मौजूद पहेली को सुलझाने के लिए इन व्यवस्थित, गणितीय सबस्पेस में व्यवस्थित करने का परिणाम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।