🔬 physics

Scaling Laws and Symmetry, Evidence from Neural Force Fields

यह शोध पत्र प्रदर्शित करता है कि इक्विवैरिएंट आर्किटेक्चर (equivariant architectures), विशेष रूप से उच्च-क्रम के निरूपणों (higher-order representations) वाले आर्किटेक्चर के माध्यम से कार्य समरूपताओं (task symmetries) को शामिल करना, अंतर-परमाणु विभवों (interatomic potentials) के लिए स्केलिंग लॉ (scaling laws) में महत्वपूर्ण सुधार करता है, जो यह सुझाव देता है कि मौलिक इंडक्टिव बायस (fundamental inductive biases) को मॉडल द्वारा स्केल होने के दौरान स्वयं खोजने के लिए छोड़ने के बजाय स्पष्ट रूप से इंजीनियर किया जाना चाहिए।

मूल लेखक: Khang Ngo, Siamak Ravanbakhsh

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Khang Ngo, Siamak Ravanbakhsh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि एक अणु (molecule) में परमाणु कैसे हिलेंगे और आपस में कैसे क्रिया करेंगे। यह कुछ ऐसा है जैसे एक बच्चे को यह समझाना कि लेगो (Lego) की एक जटिल संरचना कैसे आपस में जुड़ी रहती है। आप रोबोट को दो अलग-अलग प्रकार के निर्देश मैनुअल दे सकते हैं:

"अंधा" (Blind) मैनुअल: आप बस रोबोट को लेगो संरचनाओं की लाखों तस्वीरें दिखाते हैं और कहते हैं, "नियम खुद समझ लो।" रोबोट को सब कुछ शून्य से सीखना होगा, यहाँ तक कि उसे यह भी सीखना होगा कि यदि पूरी संरचना को घुमाया जाता है, तो भौतिकी (physics) नहीं बदलती।
"सममिति" (Symmetry) मैनुअल: आप रोबोट को एक मैनुअल देते हैं जो स्पष्ट रूप से कहता है, "हे, याद रखना, अगर तुम इस संरचना को घुमाते हो, तो यह वही संरचना रहती है। यदि तुम इसे पलटते हो, तो नियम वही रहते हैं।" आप भौतिकी के नियमों (सममिति) को सीधे रोबोट के मस्तिष्क में समाहित कर देते हैं।

लंबे समय तक, कई शोधकर्ताओं का "अंधे" दृष्टिकोण में विश्वास था। उन्हें लगा कि यदि आप रोबोट को पर्याप्त डेटा और पर्याप्त कंप्यूटिंग शक्ति (एक "बड़ा मस्तिष्क") दे देंगे, तो वह अंततः सममिति के नियमों को अपने आप समझ जाएगा। उनका मानना था कि नियमों को स्पष्ट रूप से सिखाना अनावश्यक था और एक सरल, लचीला मॉडल अंततः बराबरी कर लेगा।

यह पेपर कहता है: "वास्तव में, नहीं। 'सममिति' वाला मैनुअल बहुत बेहतर है, और जैसे-जैसे आप बड़े होते जाते हैं, यह अंतर और भी चौड़ा होता जाता है।"

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. दौड़: गति बनाम दक्षता

शोधकर्ताओं ने विभिन्न प्रकार के रोबोट मस्तिष्क (आर्किटेक्चर) के बीच एक दौड़ आयोजित की ताकि यह देखा जा सके कि परमाणुओं के बल (atomic forces) की भविष्यवाणी करना सीखने में वे कितने तेज़ हैं।

"अंधे" रोबोट (Unconstrained): ये लचीले लेकिन अक्षम हैं। उन्हें हर बार यह "पुनः सीखना" पड़ता है कि एक घूमी हुई अणु वही अणु है।
"सममिति" वाले रोबोट (Equivariant): इनमें रोटेशन और ट्रांसलेशन के नियम पहले से ही शामिल हैं। उन्हें बुनियादी भौतिकी को दोबारा सीखने में ऊर्जा बर्बाद नहीं करनी पड़ती।

निष्कर्ष: जब रोबट छोटे थे, तो अंतर बहुत बड़ा नहीं था। लेकिन, जैसे ही शोधकर्ताओं ने रोबोट को विशाल बनाया (डेटा और कंप्यूटिंग शक्ति को बढ़ाया), "सममिति" वाले रोबोट न केवल आगे रहे; बल्कि वे नाटकीय रूप से आगे निकल गए। "अंधे" रोबोट एक ऐसी दीवार से टकरा गए जहाँ अधिक डेटा देने से भी उन्हें ज्यादा मदद नहीं मिली, जबकि "सममिति" वाले रोबोट लगातार स्मार्ट होते गए।

2. सममिति का "डिग्री" (स्तर) मायने रखता है

सभी "सममिति" वाले रोबोट एक जैसे नहीं होते। कुछ केवल सरल रोटेशन समझते हैं (जैसे एक सपाट सिक्का), जबकि अन्य जटिल 3D रोटेशन समझते हैं (जैसे एक घूमता हुआ ग्लोब)।

निम्न-क्रम की सममिति (Low-Order Symmetry): बुनियादी नियम समझता है।
उच्च-क्रम की सममिति (High-Order Symmetry): 3D स्पेस में आकृतियों के बीच होने वाली बहुत जटिल और विस्तृत क्रियाओं को समझता है।

निष्कर्ष: जिस रोबोट के भीतर जितनी जटिल सममिति के नियम समाहित थे, उसने उतनी ही तेज़ी से सीखा। एक "उच्च-क्रम" वाली सममिति वाले रोबोट ने इतनी तेज़ी से सीखा कि "अंधे" रोबोट और उसके बीच का अंतर एक गहरी खाई बन गया। यह एक ऐसे छात्र की तुलना करने जैसा है जो वर्णमाला जानता है, बनाम एक ऐसे छात्र के जिसे पहले से ही भाषा का व्याकरण और शब्दावली पता है; जैसे-जैसे किताब मोटी होती जाती है, दूसरा छात्र पहले वाले को बहुत पीछे छोड़ देता है।

3. "कड़वा सबक" (The Bitter Lesson) बनाम वास्तविकता

AI में एक प्रसिद्ध विचार है जिसे "द बिटर लेसन" कहा जाता है, जो सुझाव देता है कि हमें AI में मानवीय ज्ञान (जैसे सममिति) को हार्ड-कोड करना बंद कर देना चाहिए और बस AI को कच्चे डेटा से इसे सीखने देना चाहिए क्योंकि यह सस्ता है और बेहतर तरीके से स्केल करता है।

यह पेपर तर्क देता है: परमाणुओं और अणुओं की दुनिया में, "कड़वा सबक" गलत है। यदि आप मॉडल को अपने आप सममिति खोजने की कोशिश करने देंगे, तो यह किसी को गुरुत्वाकर्षण को फिर से खोजने के लिए कहने जैसा है। यह संभव है, लेकिन यह अविश्वसनीय रूप से अक्षम है। जब तक छात्र गुरुत्वाकर्षण को समझ लेता है, तब तक गुरुत्वाकर्षण सीख चुका छात्र उड़ रहा होता है।

4. "गोल्डिलॉक्स" संतुलन (The Goldilocks Balance)

पेपर ने यह भी देखा कि कंप्यूटिंग शक्ति (कंप्यूटिंग पावर) का कुशलतापूर्वक उपयोग कैसे किया जाए।

पुराना तरीका: शायद आपको एक बड़ा मस्तिष्क (अधिक पैरामीटर्स) खरीदना चाहिए या अधिक किताबें (अधिक डेटा) लेनी चाहिए।
नया निष्कर्ष: वास्तव में आपको इन दोनों को एक साथ खरीदना होगा। यदि आप अपना डेटा दोगुना करते हैं, तो आपको अपने मॉडल का आकार भी दोगुना करना चाहिए। यह "टैंडम स्केलिंग" सभी प्रकार के रोबोटों के लिए सबसे अच्छा काम करती है, लेकिन "सममिति" वाले रोबोट इस संयुक्त शक्ति का उपयोग करने में बहुत अधिक कुशल हैं।

5. क्या "लॉस फंक्शन्स" (Loss Functions) के साथ "धोखाधड़ी" की जा सकती है?

कुछ शोधकर्ताओं ने "अंधे" रोबोटों को एक दंड स्कोर (penalty score) देकर trick करने की कोशिश की यदि उन्होंने सममिति के बारे में कोई गलती की (उदाहरण के लिए, "यदि आप कहते हैं कि एक घूमी हुई अणु अलग है, तो आपको कम ग्रेड मिलेगा")।

निष्कर्ष: यह अच्छी तरह से काम नहीं किया। यह एक छात्र को यह बताने जैसा है, "नियमों को भूलना मत," लेकिन वास्तव में उन्हें नियम सिखाना नहीं। रोबोट को अभी भी पैटर्न सीखने के लिए संघर्ष करना पड़ा। यह शुरू से ही नियम को रोबोट के मस्तिष्क में बनाने से कहीं बेहतर था।

मुख्य निष्कर्ष (The Bottom Line)

यदि आप अणुओं को समझने के लिए एक सुपर-स्मार्ट AI बनाना चाहते हैं, तो केवल एक साधारण, लचीले मॉडल पर अधिक डेटा डालने और उम्मीद करने से काम नहीं चलेगा कि वह भौतिकी के नियमों को समझ लेगा। भौतिकी के नियमों को सीधे मॉडल के डिज़ाइन में शामिल करें।

जैसे-जैसे आप विशाल स्तर तक पहुँचते हैं, वे मॉडल जो ब्रह्मांड की मौलिक सममिति (रोटेशन, ट्रांसलेशन) का सम्मान करते हैं, वे न केवल थोड़े बेहतर होंगे; बल्कि वे उन मॉडलों की तुलना में घातीय रूप से (exponentially) अधिक शक्तिशाली होंगे जो इन नियमों को शून्य से सीखने की कोशिश करते हैं। "सममिति" का दृष्टिकोण सीखने की प्रक्रिया की प्रकृति को बदल देता है, जिससे कार्य आसान हो जाता है और परिणाम बेहतर होते हैं।

समस्या विवरण
यह शोध पत्र न्यूरल नेटवर्क इंटरएटोमिक पोटेंशियल (NNIPs) के स्केलिंग व्यवहार को संबोधित करता है, जो कि डीप लर्निंग मॉडल हैं जिन्हें परमाणु प्रणालियों (विशेष रूप से विभव ऊर्जा और परमाणु बलों) के क्वांटम यांत्रिक गुणों की भविष्यवाणी करने के लिए डिज़ाइन किया गया है। जबकि प्राकृतिक भाषा और विजन के क्षेत्र में हालिया साहित्य यह सुझाव देता है कि स्केलिंग लॉ (प्रदर्शन और डेटा/पैरामीटर्स/कंप्यूट के बीच पावर-लॉ संबंध) काफी हद तक आर्किटेक्चर-स्वतंत्र होते हैं—जिसका अर्थ है कि मॉडल स्केल होने पर सममिति (symmetry) जैसे आवश्यक इंडक्टिव बायस को स्वयं सीख सकते हैं)—ज्यामितीय डोमेन में इस दृष्टिकोण पर विवाद है। लेखक यह जांचते हैं कि क्या स्पष्ट आर्किटेक्चरल इक्विवेरिएंस (घूर्णी और क्रमपरिवर्तन सममिति को लागू करना) NNIPs के लिए स्केलिंग लॉ में एक विशिष्ट लाभ प्रदान करता है, या क्या सरल, गैर-इक्विवेरिएंट मॉडल पर्याप्त कंप्यूट मिलने पर तुलनीय प्रदर्शन प्राप्त कर सकते हैं।

कार्यप्रणाली
लेखक OpenMol न्यूट्रल-मॉलिक्यूल डेटासेट (लगभग 34M प्रशिक्षण नमूने, ~9.2 × 10⁸ टोकन) पर एक व्यापक अनुभवजन्य अध्ययन आयोजित करते हैं। वे विभिन्न स्तर की सममिति बाधाओं का प्रतिनिधित्व करने वाले चार अलग-अलग आर्किटेक्चरल परिवारों की तुलना करते हैं:

अनकन्स्ट्रेंड MPNN: एक वैनिला मैसेज पासिंग न्यूरल नेटवर्क जो बिना किसी सममिति बाधा के ज्यामितीय विशेषताओं (सापेक्ष स्थितियों) को प्रोसेस करता है।
इनवेरिएंट स्कैलर्स (GemNet-OC): यह इनवेरिएंट फीचर्स (दूरी, कोण, डाइहेड्रल्स) का उपयोग करता है लेकिन एज-आधारित मैसेज पासिंग के माध्यम से इक्विवेरिएंट फंक्शन का अनुमान लगाता है; इसे 4-बॉडी, टेंसर ऑर्डर $\ell=0$ आर्किटेक्चर के रूप में वर्गीकृत किया गया है।
कार्टेशियन वेक्टर्स (EGNN): वेक्टर चैनल्स (टेंसर ऑर्डर $\ell=1$ ) का उपयोग करने वाला एक $E(n)$ -इक्विवेरिएंट GNN।
हाई-ऑर्डर स्फेरिकल टेंसर (eSEN): रोटेशन ग्रुप के उच्च-क्रम के इररेड्यूसिबल रिप्रेजेंटेशन ( $\ell \ge 2$ ) का उपयोग करने वाला एक इक्वीवैरिएंट नेटवर्क, जो टेंसर उत्पादों को स्पारसीफाइ करने के लिए फ्रेम एलाइनमेंट का उपयोग करता है।

अध्ययन एकल-एपॉक (single-epoch) प्रशिक्षण शासन का उपयोग करता है ताकि स्केलिंग लॉ साहित्य के साथ संरेखण बना रहे, और इसमें लर्निंग रेट शेड्यूलर आर्टिफैक्ट्स को कम करने के लिए शेड्यूलर-फ्री AdamW ऑप्टिमाइज़र का उपयोग किया गया है। स्केलिंग लॉ को तीन मेट्रिक्स के विरुद्ध फिट किया गया है:

कंप्यूट: सैद्धांतिक FLOPs ( $C$ ) और वॉल-क्लॉक ट्रेनिंग टाइम (GPU-घंटे, $H$ )।
डेटा: प्रशिक्षण टोकन की संख्या ( $D$ )।
पैरामीटर्स: मॉडल का आकार ( $N$ )।

लेखक सिमेट्री लॉस रेगुलाइजेशन (गैर-इक्विवेरिएंट मॉडलों में इक्विवेरिएंस से विचलन को दंडित करना), मल्टी-एपॉक ट्रेनिंग और डेटा ऑग्मेंटेशन के प्रभावों की भी जांच करते हैं।

प्रमुख योगदान

आर्किटेक्चर-डिपेंडेंट स्केलिंग एक्सपोनेंट्स: पेपर यह प्रदर्शित करता है कि स्केलिंग एक्सपोनेंट्स आर्किटेक्चर के बीच स्थिर नहीं होते हैं। जैसे-जैसे इक्विवेरिएंस का "डिग्री" बढ़ता है (अनकन्स्ट्रेंड से लो-ऑर्डर से हाई-ऑर्डर तक), डेटा ( $\beta$ ) और पैरामीटर्स ( $\alpha$ ) के लिए पावर-लॉ एक्सपोनेंट्स महत्वपूर्ण रूप से बढ़ जाते हैं।
इक्विवेरिएंट मॉडल्स का श्रेष्ठ स्केलिंग: इक्वीवैरिएंट आर्किटेक्चर, विशेष रूप से उच्च-क्रम के टेंसर रिप्रेजेंटेशन वाले (eSEN), अधिक तीव्र स्केलिंग कर्व प्रदर्शित करते हैं। इसका तात्पर्य यह है कि जैसे-जैसे कंप्यूट और डेटा स्केल होता है, इक्वीवेरिएंट और गैर-इक्विवेरिएंट मॉडलों के बीच का अंतर चौड़ा होता जाता है, जो इस धारणा का खंडन करता है कि मॉडल बाद में सममिति को "सीख" सकते हैं।
कंप्यूट-ऑप्टिमल एलोकेशन: अध्ययन पाता है कि कंप्यूट-ऑप्टिमल ट्रेनिंग के लिए, मॉडल का आकार ( $N$ ) और डेटासेट का आकार ( $D$ ) सभी आर्किटेक्चर में एक साथ स्केल होना चाहिए ( $N \propto D$ ), जो लैंग्वेज मॉडलिंग (चिंचिला स्केलिंग) के निष्कर्षों को दर्शाता है। हालांकि, प्रोपोर्शनलिटी का स्थिरांक और परिणामी लॉस रिडक्शन आर्किटेक्चर के सिमेट्री बायस के आधार पर भिन्न होता है।
सिमेट्री लॉस की प्रभावहीनता: अनकन्स्ट्रेंड मॉडलों में सिमेट्री लॉस टर्म (रेगुलराइजेशन) को लागू करने से इक्विवेरिएंस के समान स्केलिंग लाभ नहीं मिलता है। हालांकि यह डेटा दक्षता में थोड़ा सुधार करता है, लेकिन यह नेटिव इक्वीवैरिएंट मॉडलों के स्केलिंग एक्सपोनेंट्स से मेल खाने में विफल रहता है।
मल्टी-एपॉक और ऑग्मेंटेशन अंतर्दृष्टि: लो-डेटा, मल्टी-एपॉक सेटिंग्स में, ओवरफिटिंग को रोकने और पावर-लॉ स्केलिंग को पुनः प्राप्त करने के लिए डेटा ऑग्मेंटेशन आवश्यक है। हालांकि, ऑग्मेंटेशन के साथ भी, अनकन्स्ट्रेंड मॉडल इक्वीवैरिएंट मॉडलों के स्केलिंग एक्सपोनेंट्स से मेल नहीं खाते हैं।

परिणाम

स्केलिंग लॉ: वैलिडेशन लॉस एक पावर लॉ $L \propto C^{-\gamma}$ $L \propto C^{- γ}$ का पालन करता है। एक्सपोनेंट $\gamma$ $γ$ आर्किटेक्चरल जटिलता के साथ बढ़ता है:
- अनकन्स्ट्रेंड MPNN: $\gamma \approx 0.14$
- EGNN: $\gamma \approx 0.17$
- GemNet-OC: $\gamma \approx 0.25$
- eSEN (हाई-ऑर्डर): $\gamma \approx 0.40$
डेटा और पैरामीटर स्केलिंग:
- डेटा स्केलिंग एक्सपोनेंट्स ( $\beta$ ) अनकन्स्ट्रेंड (0.31) से लेकर eSEN (0.75) तक होते हैं।
- पैरामीटर स्केलिंग एक्सपोनेंट्स ( $\alpha$ ) अनकन्स्ट्रेंड (0.28) से लेकर eSEN (0.82) तक होते हैं।
सिमेट्री लॉस: अनकन्स्ट्रेंड मॉडल में सिमेट्री लॉस टर्म जोड़ने से डेटा एक्सपोनेंट ( $\beta$ ) में मामूली वृद्धि होती है लेकिन पैरामीटर एक्सपोनेंट ( $\alpha$ ) में कमी आती है, जिसके परिणामस्वरूप अनकन्स्ट्रेंड बेसलाइन की तुलना में कंप्यूट-ऑप्टिमल फ्रंटियर स्लोप में कोई शुद्ध लाभ नहीं होता है।
डेप्थ (गहराई): इक्वीवैरिएंट मॉडल्स के लिए, नेटवर्क की इष्टतम गहराई रोटेशन रिप्रेजेंटेशन के क्रम के साथ बढ़ती है, जबकि अनकन्स्ट्रेंड मॉडल्स अधिक गहराई पर ओवर-स्मूथिंग का शिकार होते हैं।

महत्व और दावे
पेपर तर्क देता है कि "बिटर लेसन" हाइपोथीसिस (जो सुझाव देता है कि मॉडलों को डेटा से इंडक्टिव बायस सीखना चाहिए) के विपरीत, स्पष्ट आर्किटेक्चरल सिमेट्री ज्यामितीय कार्यों के लिए स्केलिंग में महत्वपूर्ण है। लेखक दावा करते हैं कि सिमेट्री केवल एक डेटा-रिडक्शन तकनीक नहीं है बल्कि मौलिक रूप से कार्य की अंतर्निहित कठिनाई और उसके स्केलिंग लॉ को बदल देती है।

प्राथमिक महत्व इस खोज में निहित है कि उच्च-क्रम के इक्वीवैरिएंट रिप्रेजेंटेशन बेहतर स्केलिंग एक्सपोनेंट्स में अनुवादित होते हैं। यह सुझाव देता है कि बड़े पैमाने के NNIPs के लिए, सरल, गैर-इक्विवेरिएंट मॉडलों को स्केल करने के बजाय जटिल, सिमेट्री-जागरूक आर्किटेक्चर (जैसे eSEN) में निवेश करना अधिक प्रभावी है। लेखक निष्कर्ष निकालते हैं कि मौलिक इंडक्टिव बायस जैसे कि सिमेट्री को आर्किटेक्चर में एनकोड किया जाना चाहिए न कि मॉडल द्वारा खोजने के लिए छोड़ा जाना चाहिए, क्योंकि वे स्वयं स्केलिंग प्रक्षेपवक्र (trajectory) को बदल देते हैं।

पेपर अपने दायरे के संबंध में विनम्र बना हुआ है, जिसमें एकल-एपॉक ट्रेनिंग, उपयोग किए गए विशिष्ट डेटासेट (न्यूट्रल मॉलिक्यूल्स), और अन्य हालिया कार्यों में उपयोग की जाने वाली डिनोइजिंग प्रीट्रेनिंग रणनीतियों के फोकस जैसी सीमाओं का उल्लेख किया गया है। यह भविष्य के सैद्धांतिक कार्य के लिए आह्वान करता है कि सिमेट्री स्केलिंग एक्सपोनेंट्स को क्यों बदलती है, इसे समझाने के लिए और विविध आणविक प्रकारों और मल्टी-एपॉक व्यवस्थाओं तक इन अध्ययनों को विस्तारित करने का सुझाव देता है।