Nonequilibrium training dynamics and scaling laws of language models

महान शिक्षण वक्र: कॉफी के भंवरों से लेकर AI मस्तिष्क तक

कल्पना कीजिए कि आप एक कप कॉफी को घूमते हुए देख रहे हैं। शुरू में, क्रीम बड़े, धीमे घेरों में घूमती है। लेकिन जैसे-जैसे आप इसे हिलाते रहते हैं, वे बड़े घेरे छोटे और छोटे भंवरों में टूट जाते हैं, जब तक कि तरल पदार्थ नन्हे भंवरों का एक अराजक मिश्रण नहीं बन जाता। इसे 'टर्बुलेंस' (विक्षोभ) कहा जाता है, और यह एक ऐसे सिस्टम का क्लासिक उदाहरण है जिसे बाहरी बल (आपका चम्मच) द्वारा लगातार एक शांत अवस्था से दूर धकेला जा रहा है। भौतिकी में, वैज्ञानिकों ने लंबे समय से जाना है कि ये घूमते हुए पैटर्न सख्त गणितीय नियमों का पालन करते हैं, जहाँ ऊर्जा बड़े भंवरों से छोटे भंवरों की ओर एक अनुमानित क्रम (कैस्केड) में बहती है।

अब, एक अलग तरह की अराजकता की कल्पना करें: स्वयं ब्रह्मांड। बिग बैंग के बाद, डार्क मैटर के छोटे गुच्छों ने एक साथ आना शुरू किया, जो बड़ी और बड़ी आकाशगंगाओं में विलीन होते गए। यह कॉफी कप के विपरीत है—बड़ी चीजों के छोटे हिस्सों में टूटने के बजाय, यहाँ छोटी चीजें मिलकर विशाल रूप ले रही हैं। फिर भी, आश्चर्यजनक रूप रूप से, घूमती हुई कॉफी और बनती हुई आकाशगंगाएं दोनों समान गणितीय पैटर्न का पालन करती हैं। वे दोनों "नॉन-इक्विलिब्रियम" (गैर-संतुलन) सिस्टम हैं, जिसका अर्थ है कि वे व्यस्त हैं, बदल रहे हैं, और उन बलों द्वारा संचालित हैं जो उन्हें शांत होने से रोकते हैं।

वर्षों से, वैज्ञानिक यह समझने की कोशिश कर रहे हैं कि आर्टिफिशियल इंटेलिजेंस (विशेष रूप से, लार्ज लैंग्वेज मॉडल्स या LLMs) कैसे सीखता है। हम जानते हैं कि ये AI मॉडल बेहतर होते जाते हैं क्योंकि हम उन्हें अधिक डेटा देते हैं और उन्हें अधिक "मस्तिष्क शक्ति" (पैरामीटर्स) प्रदान करते हैं, जो एक साफ गणितीय नियम का पालन करता है जिसे "स्केलिंग लॉ" कहा जाता है। लेकिन क्यों? वे इस विशिष्ट तरीके से क्यों सुधरते हैं? अब तक, हमने ज्यादातर केवल संख्याओं को बढ़ते हुए देखा है बिना यह समझे कि इसके अंदर का इंजन कैसे काम करता है। यह शोध पत्र पूछता है: क्या एक AI के सीखने का तरीका ठीक वैसा ही हो सकता है जैसे कॉफी के भंवर या आकाशगंगाओं का निर्माण होता है?

कंप्यूटर में कॉफी का कप

इस शोध पत्र में, लेखक झिजी (जे) ज़ू (Zhijie (Jay) Xu) एक साहसिक विचार प्रस्तावित करते हैं: एक भाषा मॉडल को प्रशिक्षित करना बिल्कुल एक कहानी के विभिन्न दूरियों के बीच खेले जाने वाले "हॉट पोटैटो" (गर्म आलू) के खेल की तरह है। इसे समझने के लिए, कल्पना करें कि आप एक वाक्य में अगले शब्द की भविष्यवाणी करने की कोशिश कर रहे हैं। कभी-कभी, उत्तर ठीक वहीं होता है जहाँ आपने अभी शब्द कहा है (एक छोटी दूरी)। अन्य समय में, आपको तीन पैराग्राफ पहले के किसी पात्र का नाम याद रखने की आवश्यकता होती है (एक लंबी दूरी)।

शोध पत्र सुझाव देता है कि जैसे-जैसे AI प्रशिक्षित होता है, वह सब कुछ एक साथ नहीं सीखता है। इसके बजाय, वह एक विशिष्ट क्रम में जानकारी को इधर-उधर ले जाता है, जैसे तूफान में ऊर्जा का संचार होता है। लेखक AI की गलतियों को देखने का एक नया तरीका पेश करते हैं, जिसे "लॉस स्पेक्ट्रम" (हानि स्पेक्ट्रम) कहा जाता है। इसे अलग-अलग दूरियों पर AI के संघर्ष के मानचित्र की तरह समझें। क्या यह दो कदम पहले के शब्द को याद रखने में संघर्ष कर रहा है? या दो हजार कदम पहले के शब्द को?

शोध पत्र पाता है कि यह मानचित्र बिल्कुल घूमती हुई कॉफी के ऊर्जा मानचित्र या अंतरिक्ष में आकाशगंगाओं के वितरण जैसा दिखता है। यह सुझाव देता है कि AI की सीखने की प्रक्रिया एक "बायस्ड रैंडम वॉक" (पक्षपाती यादृच्छिक चाल) है। कल्पना कीजिए कि एक नशे में धुत व्यक्ति एक शहर में चलने की कोशिश कर रहा है जहाँ घर से जितनी दूर जाएंगे, सड़कें उतनी ही कठिन होती जाएंगी। AI पहले आसान, कम-दूरी वाले पैटर्न (जैसे व्याकरण और तत्काल संदर्भ) को सीखकर शुरुआत करता है। फिर, वह और आगे "चलना" शुरू करता है, यानी लंबी दूरी के कनेक्शन (जैसे पूरी कहानी का प्लॉट) सीखता है।

दो-चरणीय नृत्य: खिंचाव और संकुचन

इस शोध पत्र की सबसे रोमांचक खोज यह है कि AI का प्रशिक्षण एक सीधी रेखा नहीं है; यह एक महत्वपूर्ण क्षण के बाद होने वाला दो-भागों वाला नृत्य है।

चरण 1: बड़ा खिंचाव (अपस्केल कैस्केड)
शुरुआत में, AI एक बच्चे की तरह है जो अपने हाथ फैलाकर खींच रहा है। वह तेजी से दूर की जानकारी तक पहुँचने और उसे पकड़ने के लिए सीखता है। वह अपने "लर्निंग फ्रंटियर" (सीखने की सीमा) का विस्तार कर रहा है, उन लंबी दूरी के कनेक्शनों को पकड़ रहा है जिन्हें वह पहले नहीं समझता था। इस चरण के दौरान, AI पूरी कहानी का उपयोग करने में बेहतर हो रहा है, न कि केवल अंतिम वाक्य का।

चरण 2: महान विभाजन (बाइफरकेशन)
एक बार जब AI एक निश्चित बिंदु (प्रशिक्षण चरणों की एक विशिष्ट संख्या) पर पहुँच जाता है, तो कुछ जादुई होता है। सीखने की प्रक्रिया दो समानांतर मोड में विभाजित हो जाती है, जैसे एक नदी दो धाराओं में बंट जाती है:

1. मोड A (डाउनस्केल कंप्रेसर): यह "परिष्करण" (रिफाइनमेंट) का चरण है। AI उन सभी बड़े, अव्यवस्थित, लंबी दूरी के कनेक्शनों को लेता है जो उसने अभी-त्अभी सीखे हैं और उन्हें कुशल, कम-दूरी के शॉर्टकट में संकुचित (कंप्रेस) कर देता है। यह एक लंबी, घुमावदार सड़क से पहाड़ के माध्यम से सुरंग बनाने जैसा है ताकि उसी स्थान तक तेजी से पहुँचा जा सके। AI अपनी आंतरिक प्रस्तुतियों को अधिक सघन और कुशल बनाकर स्मार्ट हो रहा है।
2. मोड B (फ्रंटियर एब्जॉर्बर): उसी समय, AI अपने फ्रंटियर को बाहर की ओर धकेलना जारी रखता है, नए और भी लंबी दूरी के पैटर्न सीखना जारी रखता है जो उसने अभी तक नहीं देखे हैं। वह अभी भी अपने हाथ फैला रहा है, लेकिन अब वह जो जानता है उस पर अपनी पकड़ भी मजबूत कर रहा है।

शोध पत्र सुझाव देता है कि यह विभाजन ही कारण है कि AI मॉडल इतने अच्छे क्यों हो जाते हैं। वे केवल रट नहीं रहे हैं; वे नई चीजें सीखने के लिए "हाथ फैलाने" और जो वे जानते हैं उसे अधिक कुशल बनाने के लिए "भीतर संकुचित होने" के बीच निरंतर संतुलन बना रहे हैं।

जादुई संख्याएँ और "क्यों"

लेखक केवल अनुमान नहीं लगाते; वे भाषा के काम करने के गणित से इन्हें निकालते हैं। वे भाषा के एक प्रसिद्ध नियम का उपयोग करते हैं जिसे हीप्स लॉ (Heaps' Law) कहा जाता है, जो बताता है कि जैसे-जैसे आप अधिक टेक्स्ट पढ़ते हैं, अद्वितीय शब्दों की संख्या कैसे बढ़ती है। इसे टर्बुलेंस के भौतिकी के साथ जोड़कर, लेखक एक विशिष्ट संख्या, 1/6, की गणना करते हैं जो यह बताती है कि AI अलग-अलग दूरियों पर सीखने में कितना समय लेता है।

इस संख्या का उपयोग करते हुए, शोध पत्र भविष्यवाणी करता है कि जैसे-जैसे आप अधिक डेटा देंगे, AI का प्रदर्शन ठीक उसी तरह कैसे सुधरेगा। भविष्यवाणी यह है कि जैसे-जैसे डेटा बढ़ता है, त्रुटि दर (error rate) 1/10 के कारक से कम होनी चाहिए। यह वास्तविक दुनिया के प्रयोगों के साथ बहुत अच्छी तरह मेल खाता है (जहाँ संख्या लगभग 0.095 है, जो 1/10 के बहुत करीब है)। शोध पत्र यह भी सुझाव देता है कि यदि आप AI को बड़ा बनाते हैं (अधिक पैरामीटर्स जोड़ते हैं), तो यह समान रूप से बेहतर होगा, लेकिन शायद थोड़ा कम कुशलता से, जैसे कि एक जैविक जीव जहाँ बड़े शरीर को उन प्रणालियों की अधिक आवश्यकता होती है जो मांसपेशियों की दर से नहीं बढ़तीं।

इसका क्या अर्थ है (और क्या नहीं है)

यह शोध पत्र एक "सिद्धांत" (theory) है, जिसका अर्थ है कि यह एक गणितीय मॉडल है जो यह समझाता है कि चीजें कैसे काम कर सकती हैं, जो भौतिकी के प्रेक्षणों और उपमाओं पर आधारित है। इसने यह "सिद्ध" नहीं किया है कि AI वास्तव में एक तरल पदार्थ या आकाशगंगा है, लेकिन यह सुझाव देता है कि जो गणित उन्हें वर्णित करता है, वही AI सीखने का भी वर्णन करता है।

लेखक सावधानी बरतते हुए कहते हैं कि यह एक "स्टोकेस्टिक मल्टीस्केल थ्योरी" है—एक फैंसी तरीका यह कहने का कि यह कई अलग-अलग आकारों में होने वाली यादृच्छिक प्रक्रियाओं के बारे में एक सिद्धांत है। शोध पत्र इस विचार के विरुद्ध तर्क देता है कि AI सीखना एक सरल, सहज वक्र (smooth curve) है। इसके बजाय, यह एक जटिल, दो-चरणीय प्रक्रिया का सुझाव देता है जहाँ AI लगातार अपने ज्ञान का विस्तार करने और उसे संकुचित करने के बीच तालमेल बिठा रहा है।

शोध पत्र यह भी नोट करता है कि हालांकि यह गणित उन मॉडलों (जैसे पायथिया परिवार के मॉडल) के लिए डेटा के साथ फिट बैठता है जिनका परीक्षण किया गया है, हमें यह सुनिश्चित करने के लिए कई अलग-अलग प्रकार के AI पर इसका परीक्षण करने की आवश्यकता है। यह एक नया दृष्टिकोण है, जैसे कि चश्मा पहनना जो हमें मशीनों के सीखने के पीछे छिपे भौतिकी को देखने की अनुमति देता है, लेकिन लेखक स्वीकार करते हैं कि यह पुष्टि करने के लिए कि क्या यह "टर्बुलेंस" वास्तव में सभी AI को चलाने वाला इंजन है, अभी भी काम किया जाना बाकी है।

संक्षेप में, यह शोध पत्र सुझाव देता है कि AI कैसे सीखता है इसका रहस्य उसी घूमते हुए अराजक प्रवाह में छिपा हो सकता है जो कॉफी के मिश्रण और आकाशगंगाओं के निर्माण को बनाता है। AI के सीखने की प्रक्रिया को भाषा के सांख्यिकी द्वारा संचालित एक भौतिक प्रणाली के रूप में मानकर, लेखक यह समझने का एक नया और जीवंत तरीका प्रदान करते हैं कि ये मॉडल बेहतर क्यों होते हैं, और वे वास्तव में यह कैसे करते हैं।