Predict before you train: Scaling Laws for particle physics foundation models
यह शोध पत्र प्रदर्शित करता है कि छोटे ट्रांसफार्मर मॉडलों पर फिट किए गए संयुक्त मॉडल-और-डेटा स्केलिंग लॉ (joint model-and-data scaling laws) प्रशिक्षण से पहले बहुत बड़े पार्टिकल फिजिक्स फाउंडेशन मॉडलों के प्रदर्शन का सटीक अनुमान लगा सकते हैं, जिससे कंप्यूट बजट को अपेक्षित भौतिक परिणामों (physics outcomes) में अनुवादित करने और अत्याधुनिक बेंचमार्क के विरुद्ध इस दृष्टिकोण को मान्य करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आदर्श केक बनाने की कोशिश कर रहे हैं, लेकिन आपको नहीं पता कि उसमें कितना आटा, चीनी या कितनी गर्मी की आवश्यकता है। कण भौतिकी (particle physics) की दुनिया में, वैज्ञानिक लगातार "डिजिटल मस्तिष्क" (मशीन लर्निंग मॉडल) बना रहे हैं ताकि वे कणों के टकराव से उत्पन्न होने वाले अराजक मलबे का विश्लेषण कर सकें, इस उम्मीद में कि उन्हें प्रकृति के नए नियमों का पता चल सके। ये डिजिटल मस्तिष्क विशाल ओवन की तरह हैं: जितना बड़ा ओवन (मॉडल) होगा और आप इसमें जितने अधिक सामग्रियां (डेटा) डालेंगे, केक का स्वाद आमतौर पर उतना ही बेहतर होगा। हालाँकि, इन केकों को बनाना अविश्वसनीय रूप से महंगा है; इसके लिए भारी मात्रा में बिजली और सुपरकंप्यूटर की आवश्यकता होती है। वर्षों तक, वैज्ञानिकों को यह अनुमान लगाना पड़ता था कि अपना ओवन शुरू करने से पहले उन्हें कितना बड़ा ओवन चाहिए। वे लाखों डॉलर का एक विशाल ओवन बनाने में खर्च कर देते थे, केवल यह पता लगाने के बाद कि एक मध्यम आकार का ओवन भी वही काम कर सकता था, या उन्हें परिणाम पाने के लिए बहुत बड़े ओवन की आवश्यकता थी। बड़ा सवाल यह था: क्या हम ओवन चालू करने से पहले ही केक के स्वाद की भविष्यवाणी कर सकते हैं?
यह शोध पत्र, जिसका शीर्षक है "प्रशिक्षण से पहले अनुमान लगाएं" (Predict before you train), ठीक इसी समस्या को हल करता है। शोधकर्ता यह देखना चाहते थे कि क्या वे एक "नुस्खा नियम" (जिसे स्केलिंग लॉ कहा जाता है) खोज सकते हैं जो उन्हें ठीक-ठीक बताता है कि उन्हें एक विशिष्ट परिणाम प्राप्त करने के लिए कितनी कंप्यूटिंग शक्ति की आवश्यकता है, बिना उस विशाल मॉडल को वास्तव में बनाए। उन्होंने एक विशिष्ट प्रकार के डिजिटल मस्तिष्क पर ध्यान केंद्रित किया जिसे "ट्रांसफॉर्मर" कहा जाता है, जिसका उपयोग आमतौर पर टेक्स्ट पढ़ने के लिए किया जाता है, लेकिन यहाँ उन्होंने इसे कोलाइडर से निकलने वाले कणों को पढ़ना सिखाया। पहले कई छोटे, सस्ते मॉडलों को प्रशिक्षित करके, उन्होंने एक रेखा खींचने की कोशिश की जो यह भविष्यवाणी करती है कि यदि वे मॉडल को सौ गुना बड़ा बनाते हैं तो क्या होगा। वे यह भी जानना चाहते थे कि क्या बेहतर "प्री-ट्रेनिंग" (सामान्य पैटर्न सीखना) वास्तव में बाद में उन्हें विशिष्ट भौतिकी कार्यों, जैसे कि 'टॉप क्वार्क' को पहचानने या 'क्वार्क' और 'ग्लूऑन' के बीच अंतर करने में मदद करेगी।
कण भौतिकी के लिए "क्रिस्टल बॉल"
स्टैनफोर्ड और स्लैक (SLAC) के शोधकर्ताओं के नेतृत्व वाली टीम ने एक साहसिक विचार का परीक्षण करने का निर्णय लिया: क्या वे एक बहुत बड़े मशीन लर्निंग मॉडल के प्रदर्शन का अनुमान केवल बहुत छोटे, सस्ते मॉडलों के परिणामों को देखकर लगा सकते हैं? ऐसा करने के लिए, उन्होंने "ओमनीलर्न्ड" (OmniLearned) नामक एक डेटासेट का उपयोग किया, जिसमें लगभग एक अरब सिम्युलेटेड पार्टिकल जेट्स (कणों के स्प्रे) शामिल हैं। उन्होंने पार्टिकलविट (ParticleViT) नामक मॉडलों का एक परिवार बनाया। इन मॉडलों को डिजिटल जासूसों के एक सेट के रूप में सोचें। सबसे छोटा एक नौसिखिया जासूस है, और सबसे बड़ा एक महा-जासूस है जिसकी याददाश्त बहुत विशाल है।
शोधकर्ताओं ने कम कंप्यूटिंग शक्ति (10^19 FLOPs से कम, जो गणना की एक इकाई है) पर अपने नौसिखिया जासूसों को प्रशिक्षित करना शुरू किया। उन्होंने देखा कि ये छोटे जासूस कितनी अच्छी तरह सीखते हैं। फिर, उन्होंने एक गणितीय सूत्र (एक "स्केलिंग लॉ") का उपयोग करके एक ग्राफ पर एक रेखा खींची, जो यह भविष्यवाणी करती है कि क्या होगा यदि वे एक सौ गुना बड़ी याददाश्त वाले जासूस को प्रशिक्षित करते।
भविकीति सच साबित हुई
परिणाम एक क्रिस्टल बॉल होने जैसा था। जब उन्होंने वास्तव में विशाल मॉडलों को प्रशिक्षित किया (3.4 x 10^20 FLOPs तक का उपयोग करके), तो परिणाम लगभग ठीक वहीं आए जहाँ भविष्यवाणी की गई थी। वास्तविक प्रदर्शन पूर्वानुमान के एक प्रतिशत के भीतर था। यह एक बहुत बड़ी बात है क्योंकि अब तक, किसी ने भी कण भौतिकी में उस मॉडल के प्रदर्शन की भविष्यवाणी नहीं की थी जिसे उन्होंने अभी तक प्रशिक्षित नहीं किया था। इसका मतलब है कि वैज्ञानिक अब यह जानने के लिए कि उन्हें कितना कंप्यूटिंग पावर खरीदना चाहिए, छोटे, सस्ते मॉडलों के साथ एक "ड्राई रन" कर सकते हैं।
"सूचना घनत्व" का आश्चर्य
सबसे दिलचस्प निष्कर्षों में से एक यह था कि कितने "मस्तिष्क शक्ति" (मॉडल का आकार) की वास्तव में आवश्यकता है। भाषा मॉडलों (जैसे कि वे जो निबंध लिखते हैं या आपसे चैट करते हैं) की दुनिया में, सामान्य नियम यह है कि आपको बहुत अधिक डेटा को संभालने के लिए एक विशाल मॉडल की आवश्यकता होती है। लेकिन कण भौतिकी के लिए, शोधकर्ताओं ने कुछ अलग पाया।
उन्होंने पाया कि एक जेट में एक एकल कण, एक वाक्य में एक एकल शब्द की तुलना में बहुत कम "सूचना" ले जाता है। एक शब्द संदर्भ के आधार पर लाखों अर्थ रख सकता है, लेकिन एक कण केवल एक कण है जिसके साथ कुछ विशिष्ट संख्याएँ जुड़ी हुई हैं। क्योंकि डेटा सूचना के मामले में कम "सघन" (dense) है, इसलिए इस एक अरब कणों वाले डेटासेट के लिए इष्टतम मॉडल का आकार वास्तव में भाषा विशेषज्ञों के अनुमान से काफी छोटा है। शोध पत्र सुझाव देता है कि इस विशिष्ट कार्य के लिए, आपको एक विशाल मस्तिष्क की आवश्यकता नहीं है; आपको बस मस्तिष्क को बहुत सारे उदाहरण खिलाने की आवश्यकता है। मॉडल के आकार के लिए "स्वीट स्पॉट" (इष्टतम बिंदु) पाया गया कि वह मानक भाषा मॉडलों के नियमों की तुलना में बहुत छोटा था, जो यह सुझाव देता है कि कण भौतिकी के लिए, बेहतर यह है कि आप अपना बजट बड़े मॉडल के बजाय अधिक डेटा पर खर्च करें।
क्या बेहतर "सामान्य ज्ञान" मदद करता है?
टीम ने यह भी जांचा कि क्या सामान्य प्री-ट्रेनिंग कार्य (सभी कणों के बारे में सीखना) में अच्छा प्रदर्शन करना वास्तव में बाद में विशिष्ट भौतिकी कार्यों में मॉडल को बेहतर बनाने में मदद करता है। उन्होंने दो सामान्य कार्यों का परीक्षण किया:
- टॉप टैगिंग (Top Tagging): यह पहचानना कि कणों का एक जेट भारी "टॉप क्वार्क" से आया है या नहीं।
- क्वार्क/ग्लूऑन टैगिंग (Quark/Gluon Tagging): क्वार्क द्वारा बनाए गए जेट और ग्लूऑन द्वारा बनाए गए जेट के बीच अंतर करना।
उन्होंने एक स्पष्ट, सीधी रेखा पाई: जिन मॉडलों का "लॉस" (loss) कम था (अर्थात जिन्होंने प्री-ट्रेनिंग के दौरान सामान्य पैटर्न को बेहतर ढंग से सीखा), वे फाइन-ट्यूनिंग के बाद इन विशिष्ट कार्यों पर भी बेहतर प्रदर्शन करते थे। दूसरे शब्दों में, यदि आपका डिजिटल जासूस सामान्य कण भौतिकी में जीनियस है, तो वह टॉप क्वार्क को पहचानने में भी जीनियस होगा। यह पुष्टि करता है कि "कंप्यूट बजट" को सीधे अपेक्षित भौतिकी प्रदर्शन में बदला जा जा सकता है। यदि आप जानते हैं कि आपके पास कितनी कंप्यूटिंग शक्ति है, तो आप अब भविष्यवाणी कर सकते हैं कि आपका मॉडल नई भौतिकी खोजने में कितना अच्छा होगा।
अंतिम मुकाबला
अंत में, शोधकर्ताओं ने अपने नए, जेनेरिक "पार्टिकलविट" (ParticleViT) मॉडलों की तुलना ओमनीलर्न्ड (OmniLearned) से की, जो एक प्रसिद्ध, अत्यधिक विशिष्ट मॉडल है जिसे इसके डिजाइन में विशिष्ट भौतिकी नियमों (जैसे कि सापेक्षता के नियमों को जानना) को शामिल करके बनाया गया था। परिणाम आश्चर्यजनक थे। जेनेरिक पार्टिकलविट मॉडल, जिनमें कोई विशेष भौतिकी नियम नहीं थे, अधिकांश मेट्रिक्स पर विशेषज्ञ ओमनीलर्न्ड मॉडल के समान ही प्रदर्शन करते थे।
एकमात्र स्थान जहाँ विशिष्ट मॉडल को थोड़ी बढ़त मिली, वह था "टॉप टैगिंग" के बहुत कठिन, चरम मामले (हाई-प्योरिटी टेल), जहाँ यह बैकग्राउंड शोर को खारिज करने में लगभग 5% बेहतर था। लेकिन लगभग हर अन्य चीज़ के लिए, शून्य से सीख रहा सरल, जेनेरिक मॉडल भी उतना ही अच्छा था। यह सुझाव देता है कि कई भौतिकी कार्यों के लिए, आपको आवश्यक रूप से जटिल, भौतिकी-विशिष्ट आर्किटेक्चर बनाने की आवश्यकता नहीं है; एक मानक, अच्छी तरह से स्केल किया गया ट्रांसफॉर्मर जिसे पर्याप्त डेटा पर प्रशिक्षित किया गया हो, वह प्रभावी रूप से काम कर सकता है।
भविष्य के लिए इसका क्या अर्थ है
शोध पत्र इन पांच मॉडलों (छोटे से लेकर अतिरिक्त बड़े तक) और पूर्ण कोड को जारी करके समाप्त होता है, ताकि अन्य वैज्ञानिक इनका उपयोग कर सकें। मुख्य निष्कर्ष यह है कि इस क्षेत्र के लिए "अनुमान लगाने और उम्मीद करने" का युग समाप्त हो गया है। वैज्ञानिक अब एक बड़े, महंगे प्रयोग के परिणाम की भविष्यवाणी करने के लिए एक छोटे, सस्ते प्रयोग का उपयोग कर सकते हैं। वे गणना कर सकते हैं कि एक विशिष्ट लक्ष्य तक पहुँचने के लिए उन्हें कितनी कंप्यूटिंग शक्ति की आवश्यकता है, जिससे समय और संसाधनों की बचत होती है। हालांकि यह पेपर यह दावा नहीं करता है कि इसने पूरी भौतिकी को हल कर दिया है, लेकिन इसने मशीन लर्निंग मॉडल को प्रशिक्षित करने के महंगे परिदृश्य में नेविगेट करने के लिए एक विश्वसनीय मानचित्र प्रदान किया है, यह सिद्ध करते हुए कि कभी-कभी, भविष्य को देखने का सबसे अच्छा तरीका छोटे से शुरुआत करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।