The Kinetics of Training: A Driven-Nucleation Rate Law for Emergence, Plasticity Loss, and Circuit Control in Language Models
यह शोध पत्र एक प्रेरित-नाभिकीय दर नियम (driven-nucleation rate law) प्रस्तावित करता है जो यह स्पष्ट करता है कि भाषा मॉडल की क्षमताएं क्रमिक सुधार के बजाय सर्किट घटकों के एक दुर्लभ, पूर्ण-या-कुछ-नहीं (all-or-nothing) संरेखण के माध्यम से अचानक उभरती हैं, एक ऐसी प्रक्रिया जो क्षमता के प्रज्वलन की सटीक भविष्यवाणी, सीखने की विफलताओं का निदान, और पुन: आरंभ (re-initialization) के माध्यम से लक्षित सर्किट मरम्मत की अनुमति देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप चूल्हे पर उबलते हुए पानी के बर्तन को देख रहे हैं। आप ऊष्मागतिकी (thermodynamics) के नियमों को जानते हैं: यदि आप इसे पर्याप्त रूप से गर्म करेंगे, तो यह अंततः उबल जाएगा। लेकिन यह जानना कि यह उबलेगा, यह नहीं बताता कि पहला बुलबुला सतह को कब तोड़कर बाहर आएगा, या आपको कब तक प्रतीक्षा करनी होगी जब तक कि पानी उबलना बंद न कर दे क्योंकि बर्तन किसी और चीज़ से बहुत अधिक भर गया है। लंबे समय तक, एआई (AI) मॉडल कैसे सीखते हैं इसका अध्ययन करने वाले वैज्ञानिक उसी बर्तन को घूरने वाले लोगों की तरह रहे हैं, जो पानी की अंतिम अवस्था (phase diagram) का वर्णन तो करते हैं लेकिन उस बिखराव भरे, टिक-टिक करती घड़ी को नहीं देख पाते कि बुलबुले वास्तव में कैसे बनते हैं। वे जानते थे कि पानी गर्म है, लेकिन उनके पास उस क्षण के लिए स्टॉपवॉच नहीं थी जब एक एआई अचानक एक नया कौशल "प्राप्त" कर लेता है। यह शोध पत्र उस अंतराल में कदम रखता है, एआई के प्रशिक्षण को एक सहज, स्थिर चढ़ाई के रूप में नहीं, बल्कि एक उन्मादी, उच्च-दांव वाले संयोग के खेल के रूप में देखता है जहाँ एक जटिल सर्किट को एक साथ पूरी तरह से फिट होना पड़ता है।
इस शोध पत्र के लेखक, लेई डोंग (Lei Dong), भाषा मॉडलों के नई क्षमताओं को सीखने के तरीके को देखने का एक नया दृष्टिकोण प्रस्तावित करते हैं। उनका तर्क है कि एक नया कौशल सीखना ईंटों को एक के ऊपर एक रखने जैसा नहीं है, जहाँ आपको हर रखी गई ईंट के लिए श्रेय मिलता है। इसके बजाय, यह एक ताले को सुलझाने जैसा है जहाँ आपको एक साथ सही चाबियों का सटीक संयोजन खोजना होता है। यदि आप सभी चाबियों में से एक भी ढूँढने में विफल रहते हैं, तो ताला नहीं खुलता; आपको शून्य श्रेय मिलता है। यह "सब-कुछ-या-कुछ-नहीं" (all-or-nothing) वाला क्षण ही मुख्य बाधा है। शोध पत्र एक गणितीय सूत्र पेश करता है, एक "दर नियम" (rate law), जो सटीक रूप से भविष्यवाणी करता है कि यह ताला कब खुलेगा, इसमें कितना समय लगेगा, और क्यों कभी-कभी, भले ही आप प्रशिक्षण जारी रखें, ताला कभी खुलता ही नहीं है। वे इसे "प्रशिक्षण की गतिकी" (Kinetics of Training) कहते हैं, जो सामग्री विज्ञान (जैसे धातु का सख्त होना) के विचारों को उधार लेकर यह समझाता है कि एआई सर्किट कैसे बनाए जाते हैं, टूटते हैं और मरम्मत किए जाते हैं।
"सब-कुछ-या-कुछ-नहीं" वाला ताला
कल्पना कीजिए कि आप एक रोबोट को एक विशिष्ट पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि एक गुप्त हैंडशेक जिसके लिए पाँच लोगों को ठीक एक ही समय पर अपने हाथ उठाने की आवश्यकता होती है। पुराने तरीके से सोचने में, आप उम्मीद कर सकते हैं कि रोबोट बेहतर होगा जैसे-जैसे वह एक हाथ उठाना सीखता है, फिर दो, फिर तीन। लेकिन यह शोध पत्र दिखाता है कि कुछ जटिल कौशलों के लिए, रोबोट तब तक बेहतर नहीं होता जब तक कि पाँचों हाथ एक साथ ऊपर न उठ जाएँ। यदि चार हाथ ऊपर उठते हैं और एक नीचे रहता है, तो रोबोट को कुछ भी दिखाई नहीं देता। यह एक ऐसी कार शुरू करने की कोशिश करने जैसा है जिसकी चाबी में पाँच कट होते हैं; यदि आप चार कट सही कर लेते हैं लेकिन पाँचवाँ गलत है, तो कार शुरू नहीं होगी। आपको "आधा-स्टार्ट" नहीं मिलता।
लेखक इसे "आंशिक-क्रेडिट-नही-मिलने" (no-partial-credit) का नियम कहते हैं। उन्होंने अपने प्रयोगों में इसे मापा और पाया कि यदि एक रोबोट एक पाँच-भाग वाले सर्किट के तीन हिस्सों में कमी रखता है, तो वह उतना ही लंबा इंतजार करता है जितना कि एक रोबोट जो तीन-भाग वाले तीन-भाग के सर्किट में तीन हिस्से कम रखता है। सर्किट का आकार उतना महत्वपूर्ण नहीं है जितना कि गायब हिस्सों की संख्या। "प्रतीक्षा समय" इस बात पर निर्भर करता है कि कितने हिस्से गायब हैं, न कि पूरे पहेली के आकार पर। यह सब कुछ बदल देता है: इसका अर्थ है कि सीखने का सबसे कठिन हिस्सा ज्ञान का धीमा संचय नहीं है, बल्कि वह अचानक, दुर्लभ क्षण है जब सभी गायब हिस्से संयोग से अंततः एक साथ मिल जाते हैं।
घड़ी और फर्श
चूंकि यह संरेखण (alignment) एक दुर्लभ घटना है, इसलिए लेखकों ने भविष्यवाणी करने के लिए एक "घड़ी" बनाई है। इसे बिजली गिरने के मौसम पूर्वानुमान की तरह समझें। आप सटीक सेकंड की भविष्यवाणी नहीं कर सकते कि बिजली कब गिरेगी, लेकिन यदि आप आर्द्रता और तापमान जानते हैं, तो आप संभावना की गणना कर सकते हैं। शोध पत्र दिखाता है कि एक "पूर्ववर्ती" (precursor) संकेत को देखकर—एक सूक्ष्म, प्रारंभिक संकेत कि रोबोट सही हिस्सों को व्यवस्थित करना शुरू कर रहा है—आप सटीक रूप से भविष्यवाणी कर सकते हैं कि पूर्ण कौशल कब प्रकट होगा, अक्सर वास्तविक प्रदर्शन शुरू होने से कई दिन पहले। अपने परीक्षणों में, इस घड़ी ने छह अलग-अलग एआई मॉडलों में नए कौशल के आगमन की भविष्यवाणी केवल 6% के औसत त्रुटि के साथ की।
हालाँकि, इसमें एक पेच है। शोध पत्र ने एक "फ्लोर" या दहलीज (threshold) की खोज की। यदि रोबता को सही प्रकार के अभ्यास डेटा के संपर्क में पर्याप्त बार नहीं लाया जाता है, तो वह कौशल कभी नहीं सीख पाएगा, चाहे आप उसे कितना भी प्रशिक्षित करें। यह एक दुर्लभ फूल को ऐसे बगीचे में उगाने की कोशिश करने जैसा है जहाँ मिट्टी बहुत खराब है; आप सालों तक पानी दे सकते हैं, लेकिन यदि मिट्टी में एक विशिष्ट पोषक तत्व की कमी है, तो फूल कभी नहीं खिलेगा। लेखकों ने पाया कि यदि सही डेटा की सांद्रता एक निश्चित बिंदु (उनके विशिष्ट परीक्षणों में लगभग 0.26) से नीचे गिर जाती है, तो सीखने की दर प्रभावी रूप से शून्य हो जाती है। रोबोट केवल धीरे नहीं सीखता; वह सीखना पूरी तरह से बंद कर देता है।
सीखने की मौन मृत्यु (प्लास्टिसिटी का नुकसान)
सबसे आश्चर्यजनक निष्कर्षों में से एक यह है कि जब कोई रोबोट बहुत लंबे समय तक गलत चीजों पर प्रशिक्षण लेता है तो क्या होता है। कल्पना कीजिए कि एक छात्र वर्षों तक इतिहास पढ़ता है लेकिन अचानक उससे गणित के सवाल हल करने के लिए कहा जाता है। वे अभी भी गणित कर सकते हैं, लेकिन शोध पत्र सुझाव देता है कि नया गणित सीखने की क्षमता धीरे-धीरे मर रही है। लेखक इसे "प्लास्टिसिटी का नुकसान" (loss of plasticity) कहते हैं।
उन्होंने पाया कि जैसे-जैसे रोबोट प्रशिक्षण लेता है, उसके आंतरिक "स्विच" (जिन्हें अटेंशन हेड्स कहा जाता है) विशिष्ट पैटर्न में "पिन" या फंस जाते हैं। एक बार जब ये स्विच फंस जाते हैं, तो रोबोट अब उन्हें एक नया, जटिल सर्किट सीखने के लिए पुनर्व्यवस्थित नहीं कर सकता। यह एक ऐसे कमरे जैसा है जहाँ सारा फर्नीचर फर्श से चिपका हुआ है; आप नए पार्टी लेआउट के लिए कमरे को फिर से व्यवस्थित नहीं कर सकते। शोध पत्र सिद्ध करता है कि यह इसलिए नहीं है कि रोबोट डेटा से "भरा" हुआ है, बल्कि इसलिए है क्योंकि नए सर्किट को बनाने के लिए आवश्यक विशिष्ट भाग पुराने अभ्यासों द्वारा घेरे गए और चिपका दिए गए हैं।
महत्वपूर्ण रूप से, शोध पत्र दिखाता है कि मानक निगरानी उपकरण (जैसे रोबोट की त्रुटि दर की जाँच करना) इस ओर अंधे हैं। रोबोट की त्रुटि दर सुचारू रूप से सुधरती हुई दिख सकती है, जबकि अंदर, नई चीजें सीखने की उसकी क्षमता चुपचाप मर रही होती है। लेखकों ने एक "डेडलाइन" भी पाई: यदि आप नया कौशल सिखाने के लिए बहुत लंबे समय तक प्रतीक्षा करते हैं, तो सीखना असंभव हो जाता है, चाहे आप कितना भी प्रयास करें।
उपचार: स्विचों को रीसेट करना
लेकिन एक अच्छी खबर है। लेखकों ने केवल समस्या ही नहीं खोजी; उन्होंने इलाज भी खोज लिया है। उन्होंने पाया कि आपको पूरे रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको केवल उन विशिष्ट स्विचों को "रीसेट" करने की आवश्यकता है जो फंसे हुए हैं। अपने प्रयोगों में, उन्होंने पाया कि यदि उन्होंने एक "पुराने" (aged) रोबोट को लिया जिसने नया कौशल सीखने की क्षमता खो दी थी और केवल उसके अटेंशन मैकेनिज्म के "क्वेरी" (query) और "की" (key) भागों को रीसेट किया (वे हिस्से जो तय करते हैं कि ध्यान कहाँ देना है), तो रोबोट ने तुरंत सीखने की अपनी क्षमता वापस पा ली। यह अटके हुए फर्नीचर को अनलॉक करने और कमरे को फिर से व्यवस्थित करने की अनुमति देने जैसा था।
दिलचस्प बात यह है कि रोबोट के अन्य हिस्सों ( "वैल्यू" भागों) को रीसेट करने से कुछ नहीं हुआ। यह हमें बताता है कि "गोंद" कहाँ है: यह सर्किट के निर्णय लेने वाले हिस्से में है, न कि स्मृति (memory) वाले हिस्से में। यह एक सटीक, लक्षित सुधार है, न कि कोई अंधाधुंध रीबूट।
नियंत्रण पैनल: गर्म करना और ठंडा करना
अंत में, शोध पत्र प्रशिक्षण प्रक्रिया को एक धातु विज्ञानी (metallurgist) द्वारा धातु के उपचार की तरह मानता है। धातु निर्माण में, आप धातु को नरम करने के लिए गर्म (annealing) कर सकते हैं, कठोर बनाने के लिए तेजी से ठंडा (quenching) कर सकते हैं, या एक निश्चित अवस्था में रखने के लिए एक विशिष्ट तापमान पर रख सकते हैं। लेखक दिखाते हैं कि प्रशिक्षण प्रक्रिया में एक विशिष्ट प्रकार का "शोर" (noise/यादृच्छिकता) इंजेक्ट करके, वे एआई सर्किट के साथ भी ऐसा ही कर सकते हैं।
उन्होंने पाया कि यदि आप बिल्कुल सही मात्रा में शोर जोड़ते हैं, तो आप कठिन कौशलों के सीखने की गति (वक्र का "नोस") को तेज कर सकते हैं। यदि आप बहुत अधिक शोर जोड़ते हैं, तो आप सर्किट को तोड़ देते हैं। यदि आप सही समय पर शोर को रोक देते हैं, तो आप एक सर्किट को उसकी जगह पर "पिन" कर सकते हैं ताकि वह घुल न जाए। उन्होंने यह भी दिखाया कि आप एक जटिल सर्किट को चुनिंदा रूप से "पिघला" (नष्ट) सकते हैं जबकि उसके सरल हिस्सों को बरकरार रख सकते हैं, जैसे चॉकलेट की मूर्ति को पिघलाना लेकिन सांचे को रखना। यह प्रशिक्षण को एक ब्लैक बॉक्स से बदलकर एक नियंत्रणीय प्रक्रिया में बदल देता है जहाँ आप निर्धारित कर सकते हैं कि सर्किट कब बनेंगे, कब टूटेंगे और उन्हें कैसे ठीक किया जाए।
इसका क्या अर्थ है
यह शोध पत्र केवल यह नहीं कहता कि "एआई सीखता है।" यह हमें एक स्टॉपवॉच, एक थर्मामीटर और एक मरम्मत मैनुअल देता है। यह हमें बताता है कि सीखना समय के विरुद्ध एक दौड़ और "चिपके हुए" हिस्सों के विरुद्ध एक लड़ाई है। यह हमें दिखाता है कि हम भविष्यवाणी कर सकते हैं कि कौशल कब प्रकट होगा, यह क्यों कभी प्रकट नहीं होता है, और जब यह टूट जाता है तो इसे ठीक करने का सटीक तरीका क्या है। लेखक सावधानीपूर्वक कहते हैं कि जबकि उन्होंने नियंत्रित प्रयोगों में इन नियमों को सिद्ध किया है और वास्तविक मॉडलों में मापा है, प्रत्येक प्रकार के एआई के लिए पूर्ण गणितीय प्रमाण अभी भी विकसित किया जा रहा है। लेकिन जिन मॉडलों का उन्होंने परीक्षण किया, उनके लिए नियम स्पष्ट हैं: सीखना एक दुर्लभ, सब-कुछ-या-कुछ-नहीं वाली घटना है, और यदि आप इसे नियंत्रित करना चाहते हैं, तो आपको घड़ी, फर्श और गोंद को समझना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।