🔬 materials science

Flexible Cutoff Learning: Optimizing Machine Learning Potentials After Training

यह शोध पत्र फ्लेक्सिबल कटऑफ लर्निंग (FCL) प्रस्तुत करता है, जो रैंडमली सैंपल किए गए कटऑफ रेडियस के साथ मशीन लर्निंग इंटरएटोमिक पोटेंशियल को प्रशिक्षित करने की एक विधि है ताकि विशिष्ट अनुप्रयोगों के लिए प्रति-परमाणु कटऑफ के पोस्ट-ट्रेनिंग ऑप्टिमाइजेशन को सक्षम बनाया जा सके, जिससे बिना पुन: प्रशिक्षण के विशिष्ट अनुप्रयोगों के लिए कंप्यूटेशनल लागत को महत्वपूर्ण रूप से कम किया जा सके।

मूल लेखक: Rick Oerder (Institute for Numerical Simulation, University of Bonn, Fraunhofer Institute for Algorithms and Scientific Computing SCAI), Jan Hamaekers (Fraunhofer Institute for Algorithms and Scientif

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rick Oerder (Institute for Numerical Simulation, University of Bonn, Fraunhofer Institute for Algorithms and Scientific Computing SCAI), Jan Hamaekers (Fraunhofer Institute for Algorithms and Scientific Computing SCAI)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बड़े भोज (बैनक्वेट) के लिए एक आदर्श भोजन पकाने की कोशिश कर रहे हैं एक शेफ के रूप में। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से परमाणुओं (atoms) के व्यवहार का अनुकरण (simulate) करने के लिए, "शेफ" एक आर्टिफिशियल इंटेलिजेंस (AI) मॉडल है, और "सामग्री" परमाणु हैं।

वर्षों से, इन AI शेफ को एक बहुत ही सख्त नियम के साथ प्रशिक्षित किया गया है: "आप केवल उन सामग्रियों का स्वाद ले सकते हैं जो आपके चम्मच के 6 इंच के भीतर हैं।"

इस नियम को कटऑफ रेडियस (Cutoff Radius) कहा जाता है। यह एक सुरक्षा उपाय है। यदि AI बहुत दूर की सामग्रियों का स्वाद लेने की कोशिश करता है, तो कंप्यूटर अभिभूत (overwhelmed) हो जाता है और धीमा हो जाता है। यदि यह बहुत करीब का स्वाद लेता है, तो भोजन फीका (अशुद्ध) हो सकता है। इसलिए, वैज्ञानिक आमतौर पर एक सुरक्षित, बड़ी संख्या (जैसे 6 इंच) चुनते हैं और उसी पर टिके रहते हैं। एक बार जब शेफ को प्रशिक्षित कर दिया जाता है, तो यह नियम पत्थर की लकीर बन जाता है। यदि आप नियम बदलना चाहते हैं, तो आपको शेफ को निकालना होगा और एक नया शेफ रखना होगा, जो अविश्वसनीय रूप से महंगा और समय लेने वाला है।

समस्या: एक ही आकार सबके लिए सही नहीं होता (One Size Does Not Fit All)

समस्या यह है कि हर व्यंजन को एक ही स्वाद त्रिज्या (tasting radius) की आवश्यकता नहीं होती है।

एक नाजुक सूप (एक छोटा अणु/molecule): आपको केवल बहुत पास की सामग्रियों का स्वाद लेने की आवश्यकता है। 6 इंच की त्रिज्या बहुत अधिक है और समय बर्बाद करती है।
एक भारी स्टू (एक बड़ा क्रिस्टल): आपको स्वाद को सही करने के लिए दूर की सामग्रियों को चखने की आवश्यकता हो सकती है।

लेकिन क्योंकि AI शेफ को एक निश्चित नियम के साथ प्रशिक्षित किया गया था, आप अपने चम्मच की पहुंच को बदले बिना इसे समायोजित नहीं कर सकते, अन्यथा आपको पूरे शेफ को फिर से प्रशिक्षित करना होगा। आप एक "एक ही आकार सबके लिए" वाले दृष्टिकोण में फंस जाते हैं जो या तो बहुत धीमा है या विशिष्ट कार्यों के लिए पर्याप्त सटीक नहीं है।

समाधान: फ्लेक्सिबल कटऑफ लर्निंग (FCL)

इस पेपर के लेखक, रिक और जान ने एक नई प्रशिक्षण विधि विकसित की जिसे फ्लेक्सिबल कटऑफ लर्निंग (FCL) कहा जाता है।

इसे ऐसे समझें जैसे एक ऐसे शेफ को प्रशिक्षित करना जो न केवल यह सीखता है कि क्या चखना है, बल्कि यह भी सीखता है कि चलते-फिरते अपने चम्मच की लंबाई को कैसे समायोजित करना है।

उन्होंने इसे इस प्रकार किया:

रैंडम ट्रेनिंग: शेफ को हमेशा 6 इंच का चम्मच उपयोग करने के लिए सिखाने के बजाय, उन्होंने शेफ को प्रशिक्षण के दौरान छूने वाली प्रत्येक सामग्री के लिए एक रैंडम चम्मच की लंबाई का उपयोग करना सिखाया। कभी चम्मच 4 इंच का था, कभी 5, कभी 7।
"स्मार्ट" चम्मच: AI ने सीखा कि "स्वाद" (भविदन/prediction) इस बात पर निर्भर करता है कि वह कितनी दूर देख रहा है। इसने किसी भी दी गई चम्मच की लंबाई के अनुसार अपने मस्तिष्क को अनुकूलित करना सीखा।
परिणाम: प्रशिक्षण के बाद, आपके पास एक मास्टर शेफ है जो किसी भी स्थिति को संभाल सकता है।

जादू का खेल: पोस्ट-ट्रेनिंग ऑप्टिमाइजेशन

एक बार जब शेफ प्रशिक्षित हो जाता है, तो आपको सर्वोत्तम चम्मच की लंबाई का अनुमान लगाने की आवश्यकता नहीं होती है। आप एक विशेष "ट्यूनिंग नॉब" (गणितीय अनुकूलन) का उपयोग करके एकदम सही चम्मच की लंबाई पा सकते हैं।

परिदृश्य A (द मॉलिक्यूलर क्रिस्टल): आपके पास एक विशिष्ट प्रकार का क्रिस्टल है जिसका आप अनुकरण करना चाहते हैं। आप AI से कहते हैं, "मुझे इसकी आवश्यकता है कि यह तेज़ हो, लेकिन अभी भी सटीक हो।" AI अपने प्रशिक्षण को देखता है और कहता है, "आह, इस विशिष्ट क्रिस्टल के लिए, मैं अधिकांश परमाणुओं के लिए चम्मच को छोटा करके 3.5 इंच कर सकता हूँ और केवल कठिन वाले के लिए 5 इंच का उपयोग कर सकता हूँ।"
लाभ: ऐसा करके, उन्होंने कंप्यूटर का काम (लागत) 60% से अधिक कम कर दिया जबकि स्वाद में बहुत कम बदलाव आया (त्रुटि 1% से भी कम बढ़ी)।

यह क्यों महत्वपूर्ण है

अतीत में, यदि आप एक तेज़ सिमुलेशन चाहते थे, तो आपको एक पूरा नया, विशिष्ट AI मॉडल प्रशिक्षित करना पड़ता था। अब, FCL के साथ, आप एक सामान्य-उद्देश्य वाला मॉडल प्रशिक्षित करते हैं जिसे बाद में किसी भी काम के लिए "ट्यून" किया जा सकता है।

संक्षेप में एनालॉजी:

पुराना तरीका: आप आकार 10 के जूते खरीदते हैं। यदि आपको आकार 8 चाहिए, तो आपको एक जोड़ी नए जूते खरीदने होंगे।
FCL तरीका: आप "स्मार्ट जूते" खरीदते हैं जो किसी भी पैर के आकार में फिट होने के लिए खिंच या सिकुड़ सकते हैं। आप इन्हें दौड़ने, हाइकिंग करने या नाचने के लिए तुरंत समायोजित कर सकते हैं बिना नए जूते खरीदे।

एक चुनौती (The Catch)

पेपर नोट करता है कि यदि आप चम्मच की ऐसी लंबाई का उपयोग करने की कोशिश करते हैं जो बहुत लंबी है (जो शेफ ने प्रशिक्षण के दौरान कभी नहीं देखी), तो स्वाद थोड़ा अजीब (डेटा में दोलन/oscillations) हो सकता है। लेकिन अधिकांश वास्तविक दुनिया के अनुप्रयोगों के लिए, यह विधि वैज्ञानिकों को अपने परिणामों की गुणवत्ता से समझौता किए बिना कंप्यूटिंग शक्ति की भारी बचत करने की अनुमति देती है।

संक्षेप में: उन्होंने AI को लचीला होना सिखाया, ताकि हमें समय या पैसा बचाने के लिए इसे बार-बार फिर से प्रशिक्षित न करना पड़े।

1. समस्या विवरण (Problem Statement)

मशीन लर्निंग इंटरएटोमिक पोटेंशियल (MLIPs) कम्प्यूटेशनल मैटेरियल्स साइंस के लिए आवश्यक हैं, जो सिस्टम के आकार के सापेक्ष रैखिक स्केलिंग (linear scaling) के साथ बोर्न-ओपनहाइमर पोटेंशियल एनर्जी सरफेस के सटीक सरोगेट मॉडल प्रदान करते हैं। हालाँकि, वर्तमान फाउंडेशनल MLIPs (जैसे, MACE, SevenNet, CHGNet) एक स्थिर कटऑफ त्रिज्या ( $r_{cut}$ ) पर निर्भर करते हैं जो प्रशिक्षण के दौरान निर्धारित की जाती है।

ट्रेड-ऑफ (The Trade-off): MLIPs की कम्प्यूटेशनल लागत कटऑफ त्रिज्या के साथ महत्वपूर्ण रूप से स्केल करती है (उदाहरण के लिए, टू-बॉडी टर्म्स के लिए $O(r_{cut}^3)$ , थ्री-बॉडी टर्म्स के लिए $O(r_{cut}^6)$ )।
सीमा (The Limitation): अभ्यासकर्ता आमतौर पर विविध प्रणालियों में विश्वसनीयता सुनिश्चित करने के लिए रूढ़िवादी रूप से बड़े कटऑफ (जैसे, 6.0 Å) चुनते हैं। एक बार प्रशिक्षित होने के बाद, यह त्रिज्या स्थिर रहती है। इसे समायोजित करने के लिए पुन: प्रशिक्षण (retraining) की आवश्यकता होती है, जो बड़े मॉडलों के लिए अत्यधिक महंगा है। फलस्वरूप, वे विशिष्ट अनुप्रयोग जो छोटे कटऑफ के साथ तुलनीय सटीकता प्राप्त कर सकते हैं (और काफी कम लागत के साथ), ओवर-पैरामीटराइज्ड मॉडलों का उपयोग करने के लिए मजबूर होते हैं।

2. कार्यप्रणाली: फ्लेक्सिबल कटऑफ लर्निंग (Methodology: Flexible Cutoff Learning - FCL)

लेखक फ्लेक्सिबल कटऑफ लर्निंग (FCL) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो कटऑफ त्रिज्या को एक स्थिर हाइपरपैरामीटर के रूप में नहीं, बल्कि एक डायनेमिक इनपुट वेरिएबल के रूप में मानता है जिसे प्रशिक्षण के बाद समायोजित किया जा सकता है।

मुख्य आर्किटेक्चर संशोधन (Core Architecture Modifications)

इसे सक्षम करने के लिए, लेखकों ने MACE आर्किटेक्चर में दो प्रमुख परिवर्तनों के साथ संशोधन किया है (हालाँकि यह दृष्टिकोण मॉडल-अज्ञेय (model-agnostic) है):

प्रति-परमाणु कटऑफ इनपुट (Per-Atom Cutoff Inputs): एक वैश्विक $r_{cut}$ के बजाय, मॉडल प्रति-परमाणु कटऑफ त्रिज्याओं का एक वेक्टर $R = \{r_{cut}^{(1)}, r_{cut}^{(2)}, \dots, r_{cut}^{(n)}\}$ स्वीकार करता है।
कंडीशनिंग मैकेनिज्म (Conditioning Mechanism):
- टेपर फंक्शन (Taper Function): टेपर फंक्शन (जो सीमा के पास इंटरैक्शन को स्मूथ करने के लिए उपयोग किया जाता है) को एक द्विसंख्यिकीय (bivariate) फंक्शन $s(r_{ij}, m_{ij})$ में संशोधित किया गया है, जहाँ $m_{ij} = \mu(r_{cut}^{(i)}, r_{cut}^{(j)})$ एक मिक्सिंग रूल (अंकगणितीय माध्य) है जो परमाणु $i$ और $j$ के बीच इंटरैक्शन बाउंड्री निर्धारित करता है।
- एम्बेडिंग (Embedding): एक ट्रेन करने योग्य स्केलर एम्बेडिंग फंक्शन प्रत्येक परमाणु की विशिष्ट कटऑफ त्रिज्या को एक फीचर वेक्टर में मैप करता है, जिसे प्रारंभिक नोड फीचर्स में जोड़ा जाता है। यह मॉडल को अवलोकन पैमाने (कटऑफ) के आधार पर एक ही परमाणु वातावरण के विभिन्न निरूपणों (representations) को सीखने की अनुमति देता है।

प्रशिक्षण रणनीति (Training Strategy)

स्टोकेस्टिक सैंपलिंग (Stochastic Sampling): प्रशिक्षण के दौरान, प्रत्येक बैच में प्रत्येक परमाणु के लिए एक यूनिफॉर्म डिस्ट्रीब्यूशन $U(r_{min}, r_{max})$ (जैसे, 3.5 Å से 7.0 Å) से प्रति-परमाणु कटऑफ त्रिज्याएँ रैंडमली चुनी जाती हैं।
उद्देश्य (Objective): मॉडल विभिन्न कटऑफ कॉन्फ़िगरेशन में सामान्यीकरण (generalize) करने के लिए सीखता है, जिससे यह सुनिश्चित होता है कि विशिष्ट $r_{cut}$ के चयन के बावजूद ट्रांजिशन स्मूथ हो और सटीकता बनी रहे।
डिफरेंशिएबिलिटी (Differentiability): नेबर लिस्ट टोपोलॉजी को फॉरवर्ड पास से पहले बनाया जाता है और बैकप्रोपैगेशन के दौरान स्थिर रखा जाता है, जिससे यह सुनिश्चित होता है कि ग्रेडिएंट्स टेपर फंक्शन और मॉडल वेट्स के माध्यम से प्रवाहित हों लेकिन डिस्क्रीट नेबर सिलेक्शन के माध्यम से नहीं, जिससे कम्प्यूटेशनल दक्षता बनी रहती है।

पोस्ट-ट्रेनिंग ऑप्टिमाइजेशन (Post-Training Optimization)

एक बार प्रशिक्षित होने के बाद, FCL मॉडल बिना पुन: प्रशिक्षण के विशिष्ट लक्षित प्रणालियों के लिए सटीकता-लागत ट्रेड-ऑफ (accuracy-cost tradeoff) को अनुकूलित करने की अनुमति देते हैं:

डिफरेंशिएबल कॉस्ट मॉडल (Differentiable Cost Model): एक कॉस्ट फंक्शन $C(R_E)$ को प्रति परमाणु औसत पड़ोसी जोड़ों की संख्या के आधार पर परिभाषित किया गया है, जिसे कटऑफ त्रिज्या के घन (cube) के समानुपाती माना जाता है।
मल्टी-ऑब्जेक्टिव ऑप्टिमाइजेशन (Multi-Objective Optimization): एक स्केलरइज्ड टारगेट फंक्शन $T(R_E) = \epsilon(R_E) + \lambda \cdot C(R_E)$ को मिनिमाइज किया जाता है, जहाँ $\epsilon$ प्रेडिक्शन एरर (जैसे, फोर्स RMSE) है और $\lambda$ कम्प्यूटेशनल लागत के भार को नियंत्रित करता है।
ग्रेडिएंट-बेस्ड ट्यूनिंग (Gradient-Based Tuning): एक कैलिब्रेशन सेट का उपयोग करके, विशिष्ट अनुप्रयोग डोमेन के लिए सटीकता और लागत के बीच पैरेटो-ऑप्टिमल (Pareto-optimal) संतुलन खोजने के लिए एलिमेंट-वाइज कटऑफ त्रिज्याओं को ग्रेडिएंट डिसेंट (जैसे, Adam) के माध्यम से अनुकूलित किया जाता है।

3. मुख्य योगदान (Key Contributions)

पोस्ट-ट्रेनिंग फ्लेक्सिबिलिटी (Post-Training Flexibility): कटऑफ त्रिज्या को एक स्थिर हाइपरपैरामीटर से एक ट्यूनेबल वेरिएबल में बदलकर, यह पुन: प्रशिक्षण के बिना विशिष्ट अनुप्रयोगों के लिए अनुकूलन सक्षम बनाता है।
प्रति-परमाणु सूक्ष्मता (Per-Atom Granularity): ग्लोबल कटऑफ से आगे बढ़कर यह व्यक्तिगत परमाणुओं को अलग-अलग कटऑफ त्रिज्या रखने की अनुमति देता है, जिससे स्थानीय कम्प्यूटेशनल प्रयास पर सूक्ष्म नियंत्रण मिलता है।
प्रशिक्षण वर्कफ़्लो (Training Workflow): एक स्टोकेस्टिक सैंपलिंग ट्रेनिंग रिजीम पेश करता है जो विभिन्न कटऑफ कॉन्फ़िगरेशन के प्रति मजबूत (robust) मॉडल तैयार करता है।
व्यवस्थित अनुकूलन (Systematic Optimization): एक डिफरेंशिएबल कॉस्ट प्रॉक्सी का उपयोग करके लक्षित प्रणालियों के लिए कटऑफ को व्यवस्थित रूप से ट्यून करने के लिए एक ग्रेडिएंट-बेस्ड विधि प्रदर्शित करता है।

4. परिणाम (Results)

विधि को MAD (Massive Atomic Diversity) डेटासेट पर एक संशोधित MACE मॉडल को प्रशिक्षित करके मान्य किया गया।

सामान्य प्रदर्शन (General Performance): FCL मॉडल ने 3.7 Å से 7.0 Å की रेंज में स्मूथ सटीकता प्राप्त की। जबकि सिंगल कटऑफ पर प्रशिक्षित स्टैटिक मॉडल उस विशिष्ट कटऑफ पर थोड़ा बेहतर प्रदर्शन करते हैं, FCL मॉडल ने पूरी रेंज में उच्च सटीकता बनाए रखी, जो इसकी जनरलाइजेशन क्षमता को सिद्ध करती है।
सबसेट्स पर अनुकूलन (Optimization on Subsets): लेखकों ने चार अलग-अलग सबसेट्स के लिए कटऑफ को अनुकूलित किया: 3D इनऑर्गेनिक क्रिस्टल्स (MC3D), 2D क्रिस्टल्स (MC2D), मॉलिक्यूलर क्रिस्टल्स (SHIFTML-molcrys), और मॉलिक्यूलर फ्रैग्मेंट्स (SHIFTML-molfrags)।
- मॉलिक्यूलर क्रिस्टल्स (SHIFTML-molcrys): $\lambda = 10^{-4}$ के साथ अनुकूलन करने पर प्रति परमाणु औसत पड़ोसी जोड़ों की संख्या 90 से घटकर 35 हो गई (कम्प्यूटेशनल लागत में >60% की कमी) जबकि फोर्स RMSE में केवल 0.54% की वृद्धि हुई।
- 3D इनऑर्गेनिक क्रिस्टल्स (MC3D): जोड़े 54.4 से घटकर 29.3 रह गए (46% लागत कमी) जबकि फोर्स RMSE में नगण्य 0.83% की वृद्धि हुई।
- 2D और फ्रैग्मेंट्स: इन्होंने अलग-अलग स्तर के सुधार दिखाए, जिसमें कुछ सबसेट्स (जैसे, MC2D) ने लागत कम करने के साथ-साथ सटीकता में थोड़ा सुधार भी दिखाया।
एलिमेंट-विशिष्ट पैटर्न (Element-Specific Patterns): अनुकूलन से पता चला कि हल्के तत्वों (H, C, N, O) को अक्सर मॉलिक्यूलर फ्रैग्मेंट्स में छोटे कटऑफ की आवश्यकता होती है, जबकि भारी तत्वों या घने 3D लैटिस वाले तत्वों को बड़े कटऑफ का लाभ मिलता है। अनुकूलन प्रक्रिया ने तत्व की प्रचुरता और विशिष्ट सटीकता आवश्यकताओं के बीच सफलतापूर्वक संतुलन बनाया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

फ्लेक्सिबल कटऑफ लर्निंग फाउंडेशनल MLIPs को तैनात करने के तरीके में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

दक्षता (Efficiency): यह विभिन्न सटीकता/लागत आवश्यकताओं के लिए अलग-अलग मॉडल प्रशिक्षित करने की आवश्यकता को समाप्त करता है। एक एकल "जनरल-पर्पस" मॉडल को केवल कटऑफ त्रिज्या को समायोजित करके विशिष्ट कार्यों (जैसे, हाई-थ्रूपुट स्क्रीनिंग बनाम हाई-प्रिसिजन डायनेमिक्स) के लिए अनुकूलित किया जा सकता है।
लागत में कमी (Cost Reduction): न्यूनतम सटीकता हानि के साथ कम्प्यूटेशनल लागत को >60% तक कम करने की क्षमता बड़े पैमाने के मॉलिक्यूलर डायनेमिक्स सिमुलेशन के लिए एक बड़ी उपलब्धि है।
भविष्य की दृष्टि (Future Outlook): हालांकि वर्तमान में इसे MACE और MAD डेटासेट पर प्रदर्शित किया गया है, लेखक तर्क देते हैं कि यह दृष्टिकोण मॉडल-अज्ञेय (model-agnostic) है। भविष्य के कार्यों को इसे अन्य आर्किटेक्चरों में मान्य करने और स्टेटिक एरर मेट्रिक्स से परे भौतिक विश्वसनीयता (जैसे, लंबी MD ट्रेजेक्टरीज में स्थिरता) सुनिश्चित करने की आवश्यकता है।

संक्षेप में, FCL मॉडल प्रशिक्षण को परिनियोजन बाधाओं (deployment constraints) से अलग करता है, जिससे शोधकर्ताओं को अपने सिमुलेशन की विशिष्ट आवश्यकताओं के अनुरूप अपने पोटेंशियल के "रिसेप्टिव फील्ड" को गतिशील रूप से ट्यून करने की अनुमति मिलती है, जिससे सटीकता से समझौता किए बिना दक्षता को अधिकतम किया जा सकता है।