A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases
प्रतिनिधित्व लेंसों (representation lenses) को परतों के माध्यम से प्रेडिक्टिव रीडआउट सबस्पेस (predictive readout subspaces) के विकास को ट्रैक करने के लिए ज्यामितीय नैदानिक उपकरणों के रूप में पुनरुद्देश्यित करके, यह अध्ययन प्रकट करता है कि बड़े भाषा मॉडल अगले-टोकन भविष्यवाणी (next-token prediction) को तीन विशिष्ट ज्यामितीय चरणों—सीडिंग मल्टीप्लेक्सिंग (Seeding Multiplexing), होइस्टिंग ओवरराइडिंग (Hoisting Overriding), और फोकल कन्वर्जेंस (Focal Convergence)—के माध्यम से संसाधित करते हैं, जहाँ मॉडल की बढ़ती गहराई मुख्य रूप से प्रतिनिधित्व क्षमता का विस्तार करने के बजाय उम्मीदवार विसंयोजन (candidate disambiguation) को बढ़ाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला फैक्ट्री के रूप में करें जहाँ सूचना का एक टुकड़ा (एक शब्द) ग्राउंड फ्लोर से लेकर छत तक यात्रा करता है। हर मंजिल पर, काम करने वालों की एक टीम उस पैकेज में थोड़ी सी नई जानकारी जोड़ती है और उसे ऊपर भेज देती है। वह बड़ा रहस्य जिसे यह पेपर हल करता है, वह यह है: फैक्ट्री यह कैसे तय करती है कि अगला शब्द क्या होगा, और वह निर्णय वास्तव में कहाँ होता है?
लेखकों ने केवल यह नहीं पूछा कि मॉडल प्रत्येक मंजिल पर क्या भविष्यवाणी करता है; उन्होंने यह भी पूछा कि वह भविष्यवाणी फैक्ट्री की मशीनरी के भीतर कहाँ रहती है और ऊपर जाते समय वह कैसे चलती है।
यहाँ उनकी खोज की कहानी दी गई है, जिसे सरल अवधारणाओं और उपमाओं में विभाजित किया गया है।
टूल: "रिप्रेजेंटेशन लेंस" (Representation Lens)
आमतौर पर, यदि आप बीच की मंजिलों पर फैक्ट्री के अंदर झाँकते हैं, तो काम करने वाले भ्रमित दिखाई देते हैं। वे संभावनाओं के एक उलझे हुए मिश्रण को पकड़े हुए होते हैं, और यदि आप उस चीज़ के आधार पर अंतिम शब्द का अनुमान लगाने की कोशिश करते हैं जो वे पकड़े हुए हैं, तो आप गलत हो जाएंगे। ऐसा इसलिए है क्योंकि काम करने वाले जानकारी को "सुपरपोजिशन" (superposition) में पकड़े हुए हैं—जैसे एक जादूगर ताश के पत्तों की गड्डी को उल्टा पकड़ता है जहाँ सभी पत्ते आपस में मिले हुए होते हैं।
शोधकर्ताओं ने एक विशेष उपकरण का उपयोग किया जिसे रिप्रेसेंटेशन लेंस कहा जाता है। इसे एक जादुई चश्मे के रूप में सोचें जो काम करने वालों के दृश्य को घुमा सकता है और उस पर ध्यान केंद्रित कर सकता है। केवल पत्तों के ढेर को देखने के बजाय, लेंस उस विशिष्ट कोण को ढूंढ लेता है जहाँ "जीतने वाला कार्ड" (सही अगला शब्द) वास्तव में दिखाई देता है, भले ही वह अन्य कार्डों के नीचे दबा हुआ हो।
खोज: एक तीन-अंकों वाला नाटक (A Three-Act Play)
इन चश्मों का उपयोग करके फैक्ट्री के माध्यम से "जीतने वाले कार्ड" की आवाजाही को ट्रैक करते हुए, लेखकों ने पाया कि यह प्रक्रिया यादृच्छिक (random) नहीं है। यह एक सख्त, तीन-चरणीय ज्यामितीय नृत्य (geometric dance) का पालन करती है जो लगभग हर मॉडल में होता है जिसे उन्होंने टेस्ट किया (1-बिलियन पैरामीटर वाले छोटे मॉडल से लेकर विशाल 32-बिलियन वाले मॉडल तक)।
चरण 1: "सीडिंग मल्टीप्लेक्सिंग" (The Seeding Multiplexing - भीड़ का इकट्ठा होना)
- क्या होता है: जैसे ही सूचना फैक्ट्री में प्रवेश करती है, काम करने वाले एक साथ कई संभावित अगले शब्दों को बाहर फेंकना शुरू कर देते हैं। वे अभी तक विजेता नहीं चुनते।
- उपमा: एक भीड़ भरे कमरे की कल्पना करें जहाँ हर कोई अलग-अलग विचार चिल्ला रहा है। कमरा शोर से भरा है, लेकिन "सही" विचार पहले से ही वहाँ है, बस सैकड़ों अन्य विचारों के साथ मिला हुआ है।
- ज्यामिति (Geometry): फैक्ट्री अपनी "रैंक" (कई अलग-अलग विचारों को रखने की क्षमता) का विस्तार कर रही है। सही शब्द मौजूद है, लेकिन वह एक समूह गान (choir) में केवल एक आवाज है। वह जादुई लेंस को दिखाई देता है, लेकिन वह अभी तक सबसे तेज़ आवाज़ नहीं है।
चरण 2: "होइस्टिंग ओवरराइडिंग" (The Hoisting Overriding - साइलेंट फ़िल्टर)
- क्या होता है: यह यात्रा का सबसे लंबा हिस्सा है (फैक्ट्री की ऊंचाई का लगभग 60%)। काम करने वाले नए प्रकार के विचार जोड़ना बंद कर देते हैं। इसके बजाय, वे चुपचाप गलत विचारों की आवाज़ कम करना और सही वाले की आवाज़ बढ़ाना शुरू कर देते हैं।
- उपमा: एक कंट्रोल रूम में बैठे साउंड इंजीनियर की कल्पना करें। वे नए गायक नहीं ला रहे हैं; वे बस बैकग्राउंड शोर को धीरे-धीरे कम कर रहे हैं और मुख्य गायक (lead singer) की आवाज़ को बढ़ा रहे हैं। मुख्य गायक अभी भी भीड़ से घिरा हुआ है, लेकिन वह स्पष्ट केंद्र बनता जा रहा है।
- ज्यामिति: "रैंक" (सक्रिय विचारों की संख्या) स्थिर रहती है। काम करने वाले बहुत सटीक हैं, वे सूक्ष्म, लगभग अदृश्य समायोजन करते हैं जो कमरे के आकार को नहीं बदलते, लेकिन वे यह बदलते हैं कि कौन सुना जा रहा है। यहीं पर मॉडल अपना भारी काम करता है: डिsembiguation (विभेद करना) (यह समझना कि कई उम्मीदवारों में से कौन सा वास्तव में सही है)।
चरण 3: "फोकल कन्वर्जेंस" (The Focal Convergence - स्पॉटलाइट)
- क्या होता है: अंतिम हिस्से में, फैक्ट्री एक बड़ा, निर्णायक कदम उठाती है। यह अपनी सारी ऊर्जा एक ही दिशा में डाल देती है।
- उपमा: साउंड इंजीनियर अचानक कमरे में बाकी सभी की बिजली काट देता है। स्पॉटलाइट सीधे मुख्य गायक पर पड़ती है। भीड़ शांत हो जाती है, और अब गायक ही एकमात्र महत्वपूर्ण चीज़ है।
- ज्यामिति: काम करने वाले कोमल होना बंद कर देते हैं। वे बड़े, शक्तिशाली अपडेट करते हैं जो अंतिम आउटपुट दिशा के साथ पूरी तरह से संरेखित (align) होते हैं। "रैंक" सिकुड़ जाती है क्योंकि वे अपनी सारी ऊर्जा केवल एक विजेता पर केंद्रित कर रहे हैं। जादुई लेंस अब बिना किसी मदद के उत्तर को स्पष्ट रूप से देख सकता है।
मुख्य निष्कर्ष: बड़े मॉडल = बेहतर फिल्टर, न कि बेहतर स्टार्टर
सबसे आश्चर्यजनक खोज यह है कि मॉडल का आकार इस प्रक्रिया को कैसे प्रभावित करता है।
लेखकों ने पाया कि जैसे-जैसे आप फैक्ट्री को बड़ा बनाते हैं (अधिक मंजिलें/लेयर्स जोड़ते हैं):
- चरण 1 (भीड़) लगभग उसी आकार का रहता है।
- चरण 3 (स्पॉटलाइट) लगभग उसी आकार का रहता है।
- चरण 2 (साइलेंट फ़िल्टर) बहुत लंबा हो जाता है।
रूपक (Metaphor): यदि आपके पास एक छोटी फैक्ट्री है, तो "फ़िल्टरिंग" वाला कमरा छोटा है। यदि आपके पास एक विशाल फैक्ट्री है, तो "फ़िल्डिंग" वाला कमरा बहुत बड़ा है।
इसका मतलब है कि जब हम बड़े, स्मार्ट AI मॉडल बनाते हैं, तो हम अनिवार्य रूप से उन्हें सही विचारों के साथ शुरू करने या काम को खत्म करने में बेहतर नहीं बना रहे हैं। हम उन्हें भ्रम के बीच से रास्ता निकालने और यह समझने के लिए एक बहुत बड़ा, अधिक विस्तृत कमरा दे रहे हैं कि कई संभावनाओं में से कौन सी सही है। बड़े मॉडल्स की अतिरिक्त शक्ति मुख्य रूप से कैंडिडेट डिsembiguation (उम्मीदवारों के बीच अंतर करने) के लिए उपयोग की जाती है—एक अस्त-व्यस्त ढेर को, जो "शायद यह, शायद वह" है, एक आत्मविश्वासी "हाँ" में बदलना।
सारांश
यह पेपर प्रकट करता है कि अगला-टोकन प्रेडिक्शन (next-token prediction) अंत में होने वाली कोई अचानक मिली प्रेरणा नहीं है। यह एक ज्यामितीय यात्रा है:
- सीड (Seed): सब कुछ मिश्रण में डाल दें।
- होइस्ट (Hoist): चुपचाप शोर को फ़िल्टर करें (यहीं मॉडल बड़ा होता है)।
- कन्वर्ज (Converge): विजेता पर पूरी ऊर्जा के साथ लॉक हो जाएं।
लार्ज लैंग्वेज मॉडल्स का "जादू" उस मध्य चरण में निहित है, जहाँ उनके पास सिग्नल को शोर से सावधानीपूर्वक अलग करने के लिए स्थान और समय होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।