🔬 materials science

Open Materials Generation with Inference-Time Reinforcement Learning

यह शोध पत्र OMatG-IRL प्रस्तुत करता है, जो एक नवीन पॉलिसी-ग्रेडिएंट सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है, जो स्पष्ट स्कोर गणना की आवश्यकता के बिना कुशल, लक्ष्य-गुण-संरेखित क्रिस्टल संरचना भविष्यवाणी सक्षम करने के लिए निरंतर-समय जनरेटिव मॉडलों के वेग क्षेत्रों (velocity fields) पर सीधे कार्य करता है।

मूल लेखक: Philipp Hoellmer, Stefano Martiniani

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Philipp Hoellmer, Stefano Martiniani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर आर्किटेक्ट हैं जो एक नए प्रकार की गगनचुंबी इमारत के लिए आदर्श बिल्डिंग ब्लॉक्स डिजाइन करने की कोशिश कर रहे हैं। सामग्री विज्ञान (materials science) की दुनिया में, ये "ब्लॉक्स" क्रिस्टल हैं। लंबे समय से, कंप्यूटर मौजूदा उदाहरणों के लाखों अध्ययनों से यह सीखने में अच्छे रहे हैं कि ये ब्लॉक दिखते कैसे हैं। वे वास्तविक चीज़ों के बहुत समान दिखने वाले नए, स्थिर क्रिस्टल संरचनाएं बना सकते हैं।

हालाँकि, एक समस्या है: कंप्यूटर आकार की नकल करने में तो बहुत अच्छा है, लेकिन यह विशिष्ट निर्देशों का पालन करने में उतना अच्छा नहीं है जैसे कि, "इस क्रिस्टल को सुपर स्ट्रॉन्ग बनाओ" या "इसे बिजली का संचालन बेहतर तरीके से करने दो।" यह एक ऐसे रोबोट की तरह है जो एक आदर्श घर तो बना सकता है, लेकिन यदि आप उससे कहें कि "ऐसा घर बनाओ जिसमें आग न लगे," तो वह फिर से वही घर बना देता है क्योंकि उसे यह नहीं पता कि किसी विशिष्ट लक्ष्य को प्राथमिकता कैसे देनी है।

यह शोध पत्र इस समस्या को ठीक करने के लिए OMatG-IRL नामक एक नई विधि पेश करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "स्कोर" बनाम "वेलोसिटी" (वेग)

अधिकांश उन्नत AI मॉडल जो आकृतियाँ बनाते हैं, दो तरीकों से काम करते हैं:

"स्कोर" विधि: AI एक "स्कोर" (जैसे एक पहाड़ी पर ढलान) सीखता है जो इसे बताता है कि बेहतर आकार प्राप्त करने के लिए किस दिशा में जाना है। यह एक GPS की तरह है जो कहता है, "गंतव्य के करीब पहुँचने के लिए बाएँ मुड़ें।"
"वेलोसिटी" विधि: AI एक रैंडम शोर (noise) के ढेर से एक क्रिस्टल आकार में बदलने के लिए "वेलोसिटी" (गति और दिशा) सीखता है। यह एक नदी की तरह है जो पहाड़ से समुद्र की ओर बहती है। AI को धारा की दिशा तो पता है, लेकिन उसे अनिवार्य रूप से "स्कोर" या पहाड़ी का सटीक गणितीय ढाल (gradient) नहीं पता होता।

समस्या यह है कि AI को विशिष्ट लक्ष्यों का पालन करने के लिए सिखाने वाले सबसे शक्तिशाली उपकरण (जिन्हें रीइन्फोर्समेंट लर्निंग कहा जाता है) आमतौर पर "स्कोर" विधि की आवश्यकता रखते हैं। यदि आपके पास केवल "वेलोसिटी" विधि है, तो आप AI को ऊर्जा दक्षता जैसे विशिष्ट गुणों के लिए अनुकूलित करना आसानी से नहीं सिखा सकते।

2. समाधान: नदी को अलग तरह से बहना सिखाना

लेखकों ने एक चतुर समाधान निकाला। उन्होंने महसूस किया कि भले ही आपके पास केवल "वेलोसिटी" (नदी का बहाव) हो, फिर भी आप AI को नए लक्ष्यों का पालन करने के लिए सिखा सकते हैं, बस प्रवाह में थोड़ा सा रैंडमनेस (शोर) जोड़कर।

इसे इस तरह सोचें:

कल्पना करें कि AI एक पहाड़ी से सबसे निचले बिंदु (सबसे स्थिर क्रिस्टल) तक एक मार्बल (कंचा) लुढ़काने की कोशिश कर रहा है।
सामान्य रूप से, मार्बल AI द्वारा डिज़ाइन किए गए रास्ते पर बिल्कुल सीधा नीचे लुढ़कता है।
OMatG-IRL इस प्रवाह में एक हल्का, नियंत्रित "झोंका" जोड़ता है जो मार्बल को थोड़ा सा रास्ते से भटका देता है।
इस झोंके के कारण, मार्बल कभी-कभी थोड़े अलग स्थान पर लुढ़कता है। कंप्यूटर जाँचता है: "क्या इस नए स्थान पर ऊर्जा कम थी? क्या यह एक बेहतर क्रिस्टल था?"
यदि उत्तर "हाँ" है, तो AI सीखता है: "ठीक है, अगली बार, मार्बल को उस दिशा में थोड़ा और धकेलो।"

यह AI को जटिल "स्कोर" मैप की आवश्यकता के बिना अपनी गलतियों और सफलताओं से सीखने की अनुमति देता है। यह प्रवाह के माध्यम से प्रयोग करके सीखता है।

3. "टाइम-ट्रैवल" ट्रिक (वेलोसिटी एनीलिंग)

लेखकों ने यह भी खोजा कि AI इन क्रिस्टल को कितनी तेज़ी से बनाता है, इसके बारे में कुछ आश्चर्यजनक। आमतौर पर, एक पूर्ण क्रिस्टल प्राप्त करने के लिए, AI को सैकड़ों छोटे, धीमे कदम उठाने होते हैं (जैसे एक खड़ी सीढ़ी से सावधानी से नीचे उतरना)। इसमें बहुत समय लगता है।

लेखकों ने अपनी नई सीखने की विधि का उपयोग करके AI को एक नया स्पीड शेड्यूल सिखाया। पूरी प्रक्रिया के दौरान धीरे-धीरे चलने के बजाय, AI ने सीखा कि:

एक विशिष्ट गति के साथ शुरू करें।
बिल्कुल सही क्षणों पर तेज़ या धीमा हो जाएँ।
काम को बहुत कम समय में पूरा करें।

यह एक ऐसे धावक को सिखाने जैसा है जिसे आमतौर पर 10 मील जॉगिंग करने के लिए प्रशिक्षित किया गया है, लेकिन अचानक उसे आखिरी मील पूरी सटीकता के साथ स्प्रिंट (तेज़ दौड़) करने के लिए कहा गया है, या एक ऐसा शॉर्टकट लेने के लिए कहा गया है जो तभी काम करता है जब वह एक विशिष्ट गति से दौड़ता है। परिणाम? AI पहले की तुलना में 10 गुना तेज़ (या उससे भी अधिक) उच्च-गुणवत्ता वाले क्रिस्टल बना सकता है, और वह भी समान सटीकता के साथ।

4. क्रिस्टल के लिए यह क्यों महत्वपूर्ण है

क्रिस्टल स्ट्रक्चर प्रेडिक्शन (CSP) के विशिष्ट कार्य में—जहाँ आप AI को सामग्री की एक सूची देते हैं (जैसे कार्बन और ऑक्सीजन) और उसे सबसे अच्छा संभव क्रिस्टल बनाने के लिए कहते हैं—लेखकों ने दिखाया कि:

वे AI को कम ऊर्जा वाले क्रिस्टल बनाना सिखा सके (जिसका अर्थ है कि वे अधिक स्थिर हैं और प्रकृति में मौजूद होने की संभावना अधिक है)।
उन्होंने यह सब बिना उन जटिल "स्कोर" की गणना किए किया जिसकी अन्य विधियों को आवश्यकता होती है।
उन्होंने यह सुनिश्चित करते हुए किया कि क्रिस्टल की विविधता बनी रहे (ताकि AI केवल एक ही उत्तर को रट न ले)।
उन्होंने इस प्रक्रिया को बहुत तेज़ बना दिया, जिससे क्रिस्टल उत्पन्न करने के लिए आवश्यक समय सैकड़ों चरणों से घटकर केवल कुछ दर्जन रह गया।

सारांश

यह शोध पत्र AI को बेहतर सामग्री डिजाइन करने के लिए प्रशिक्षित करने का एक नया तरीका प्रस्तुत करता है। यह एक ऐसी नदी को सिखाने जैसा है जो स्वाभाविक रूप से एक निश्चित दिशा में बहती है, लेकिन उसे बीच-बीच में एक बेहतर गंतव्य खोजने के लिए अपना रास्ता बदलने के लिए प्रेरित किया जाता है, और वह भी पूरे परिदृश्य के विस्तृत मानचित्र की आवश्यकता के बिना। यह वैज्ञानिकों को पहले की तुलना में अधिक तेज़ी से और अधिक विशिष्ट गुणों वाली नई सामग्रियां डिजाइन करने की अनुमति देता है।

तकनीकी सारांश: इन्फरेंस-टाइम रीइन्फोर्समेंट लर्निंग के साथ ओपन मैटेरियल्स जनरेशन (OMatG-IRL)

1. समस्या विवरण

निरंतर-समय जनरेटिव मॉडल (Continuous-time generative models) इनवर्स मैटेरियल्स डिज़ाइन के लिए शक्तिशाली उपकरण के रूप में उभरे हैं, जो स्थिर क्रिस्टल संरचनाओं की भविष्यवाणी करने में सक्षम हैं। हालाँकि, एक महत्वपूर्ण सीमा बनी हुई है: विशिष्ट लक्षित गुणों (जैसे, विशिष्ट यांत्रिक, इलेक्ट्रॉनिक, या ऊर्जा संबंधी उद्देश्यों) को जनरेटिव प्रक्रिया में शामिल करना चुनौतीपूर्ण बना हुआ है। जबकि पॉलिसी-ग्रेडिएंट रीइन्फोर्समेंट लर्निंग (RL) डाउनस्ट्रीम उद्देश्यों के साथ जनरेटिव मॉडलों को संरेखित करने के लिए एक सिद्धांतगत तंत्र प्रदान करता है, फ्लो-आधारित मॉडलों पर इसका अनुप्रयोग एक तकनीकी बाधा के कारण बाधित रहा है।

मानक पॉलिसी-ग्रेडिएंट RL विधियों को आमतौर पर पॉलिसी अनुपातों (policy ratios) की गणना करने और अपडेट करने के लिए स्कोर (लॉग प्रोबेबिलिटी डेंसिटी का ग्रेडिएंट) तक पहुँच की आवश्यकता होती है। कई आधुनिक फ्लो-आधारित मॉडल, विशेष रूप से जो स्टोकेस्टिक इंटरपॉलेन्ट्स (Stochastic Interpolants - SI) या फ्लो मैचिंग का उपयोग करते हैं, केवल वेलोसिटी फील्ड्स (velocity fields) सीखते हैं और स्पष्ट रूप से स्कोर की गणना या भंडारण नहीं करते हैं। फलस्वरूप, ये मॉडल मानक RL फ्रेमवर्क के लिए अप्राप्य रहे हैं, जिससे उनकी क्षमता प्रशिक्षण वितरण की अंतर्निहित स्थिरता से परे विशिष्ट, गैर-अंतर्निहित उद्देश्यों के लिए अनुकूलन करने की सीमित हो गई है।

2. कार्यप्रणाली: OMatG-IRL

लेखक ओपन मैटेरियल्स जनरेशन विद इन्फरेंस-टाइम रीइन्फोर्समेंट लर्निंग (OMatG-IRL) पेश करते हैं, जो एक पॉलिसी-ग्रेडिएंट RL फ्रेमवर्क है जिसे निरंतर-समय जनरेटिव मॉडलों के सीखे गए वेलोसिटी फील्ड्स पर सीधे काम करने के लिए डिज़ाइन किया गया है, जिससे स्पष्ट स्कोर गणना की आवश्यकता समाप्त हो जाती है।

मुख्य तंत्र

OMatG-IRL इस अनुभवजन्य अवलोकन का लाभ उठाता है कि मानक क्रिस्टल स्ट्रक्चर प्रेडिक्शन (CSP) मूल्यांकन मेट्रिक्स अंतर्निहित ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) डायनेमिक्स में पेश किए गए छोटे स्टोकेस्टिक व्यवधानों (stochastic perturbations) के प्रति मजबूत होते हैं। यह विधि इस प्रकार आगे बढ़ती है:

सरोगेट स्टोकेस्टिक प्रोसेस (Surrogate Stochastic Process): उन मॉडलों के लिए जो केवल वेलोसिटी फील्ड $\hat{v}_\theta(t, x_t)$ सीखते हैं, नियत (deterministic) ODE इंटीग्रेशन को एक छोटे शोर शेड्यूल (noise schedule) $\sigma_{ref}(t)$ के साथ बढ़ाया जाता है। यह एक सरोगेट स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) बनाता है जो प्री-ट्रेन्ड मॉडल के बेसलाइन प्रदर्शन को बनाए रखता है और आवश्यक अन्वेषण (exploration) को सक्षम करता है।
$x_{t+\Delta t} = x_t + \hat{v}_{\theta_{ref}}(t, x_t)\Delta t + \sigma_{ref}(t)\sqrt{\Delta t}\xi$
यह सरोगेट कुलबैक-लीब्लर (KL) रेगुलराइजेशन के लिए एक संदर्भ नीति (reference policy) को परिभाषित करता है।
इन्फरेंस-टाइम एक्सप्लोरेशन (Inference-Time Exploration): RL के दौरान, मॉडल एक सुदृढ़ (reinforced) वेलोसिटी फील्ड $\hat{v}_\theta(t, x_t)$ और संभावित रूप से अन्वेषण को बढ़ाने के लिए एक अलग शोर शेड्यूल $\sigma(t)$ का उपयोग करके अन्वेषण करता है।
पॉलिसी ऑप्टिमाइज़ेशन (GRPO): फ्रेमवर्क ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करता है। एक दिए गए कंपोजिशन के लिए, कई ट्राजेक्टरीज (trajectories) निकाली जाती हैं। टर्मिनल रिवार्ड्स (जैसे, प्रति परमाणु नकारात्मक ऊर्जा) की गणना की जाती है, और पॉलिसी को अपडेट करने के लिए ग्रुप-रिलेटिव एडवांटेज की गणना की जाती है। यह दृष्टिकोण एक सीखे गए वैल्यू फंक्शन की आवश्यकता को समाप्त करता है और विषम रिवार्ड स्केल्स के बीच ऑप्टिमाइज़ेशन को स्थिर करता है।
वेलोसिटी-एनिलिंग लर्निंग (Velocity-Annealing Learning): OMatG-IRL का एक अभिनव अनुप्रयोग समय-निर्भर वेलोसिटी-एनिलिंग शेड्यूल $s_\theta(t)$ को सीखना है। हैंडक्राफ्टेड एनिलिंग शेड्यूल्स के बजाय, मॉडल फ्रीज किए गए वेलोसिटी फील्ड में एक रेसिडुअल करेक्शन सीखता है:
$x_{t+\Delta t} = x_t + [1 + s_\theta(t)]\hat{v}_{\theta_{ref}}\Delta t + \sigma(t)\hat{v}_{\theta_{ref}}\sqrt{\Delta t}\xi$
यह मॉडल को सैंपलिंग दक्षता में सुधार के लिए वेलोसिटी फील्ड को एडेप्टिवली रीस्केल करने की अनुमति देता है।

प्रयोज्यता (Applicability)

यह फ्रेमवर्क लचीला होने के लिए डिज़ाइन किया गया है:

वेलोसिटी-आधारित: उन मॉडलों पर काम करता है जो केवल वेलोसिटी फील्ड सीखते हैं (कोई स्कोर आवश्यक नहीं)।
स्कोर-आधारित: उन मॉडलों पर भी लागू किया जा सकता है जो वेलोसिटी और डिनोइज़र (स्कोर) दोनों की भविष्यवाणी करते हैं, और दोनों घटकों को संयुक्त रूप से अपडेट करते हैं।

3. प्रमुख योगदान

CSP के लिए RL का प्रथम अनुप्रयोग: यह कार्य विशेष रूप से क्रिस्टल स्ट्रक्चर प्रेडिक्शन (CSP) कार्य के लिए पॉलिसी-ग्रेडिएंट RL का पहला अनुप्रयोग प्रस्तुत करता है, जहाँ कंपोजिशन स्थिर रहता है और स्ट्रक्चर जेनरेट किया जाता है।
फ्लो मॉडल्स के लिए स्कोर-फ्री RL: OMatG-IRL उन फ्लो-आधारित जनरेटिव मॉडलों के लिए RL को सक्षम बनाता है जो केवल वेलोसिटी फील्ड सीखते हैं, उस सीमा को दूर करता है जिसने पहले RL को केवल स्कोर-आधारित डिफ्यूजन मॉडल्स तक सीमित कर दिया था।
विविधता रिवार्ड्स के बिना ऊर्जा-आधारित सुदृढ़ीकरण: De Novo Generation (DNG) कार्यों के विपरीत जिन्हें मोड कोलैप्स को रोकने के लिए स्पष्ट विविधता रिवार्ड्स की आवश्यकता होती है, CSP कार्य कंपोजिशन कंडीशनिंग के माध्यम से स्वाभाविक रूप से विविधता बनाए रखता है। लेखक प्रदर्शित करते हैं कि ऊर्जा-आधारित उद्देश्यों को अतिरिक्त विविधता दंडों के बिना प्रभावी ढंग से सुदृढ़ किया जा सकता है।
सीखे गए एनिलिंग शेड्यूल्स: पेपर RL के माध्यम से समय-निर्भर वेलोसिटी-एनिलिंग शेड्यूल्स सीखने का एक तरीका पेश करता है, जो हैंडक्राफ्टेड ह्यूरिस्टिक्स को बदल देता है।

4. प्रयोगात्मक परिणाम

लेखकों ने OMatG फ्रेमवर्क का उपयोग करके MP-20 डेटासेट (मैटेरियल्स प्रोजेक्ट) पर OMatG-IRL का मूल्यांकन किया।

ऊर्जा सुदृढ़ीकरण (Energy Reinforcement): स्कोर-आधारित और वेलोसिटी-आधारित दोनों वेरिएंट्स ने प्री-ट्रेन्ड बेसलाइन की तुलना में लगभग 0.5 eV प्रति परमाणु की कमी हासिल करते हुए, सापेक्ष ऊर्जा प्रति परमाणु को सफलतापूर्वक सुदृढ़ किया।
प्रदर्शन समानता: वेलोसिटी-आधारित दृष्टिकोण (जिसके लिए स्कोर गणना की आवश्यकता नहीं है) ने स्कोर-आधारित दृष्टिकोण के समान प्रदर्शन प्राप्त किया, जो सरोगेट स्टोकेस्टिक प्रोसेस की प्रभावकारिता की पुष्टि करता है।
सैंपलिंग दक्षता:
- RL फ्रेमवर्क ने कम इंटीग्रेशन स्टेप्स के साथ सटीक CSP की अनुमति दी।
- विशेष रूप से, वेलोसिटी-एनिलिंग OMatG-IRL वेरिएंट ने $N_t = 950$ इंटीग्रेशन स्टेप्स वाले बेसलाइन मॉडल के प्रदर्शन को केवल $N_t = 100$ स्टेप्स का उपयोग करके पुनः प्राप्त किया।
- उल्लेखनीय रूप से, सीखा गया एनिलिंग शेड्यूल तब भी मजबूत रहा जब स्टेप्स को घटाकर $N_t = 10$ कर दिया गया, जबकि हैंडक्राफ्टेड बेसलाइन आक्रामक टाइम डिस्क्रीटाइजेशन के तहत तेजी से विफल हो गया।
मजबूती (Robustness): विधि ने मैच रेट को बनाए रखा और RMSE को कम किया, जबकि जनरेशन की कम्प्यूटेशनल लागत (एक क्रम के परिमाण द्वारा) को काफी कम कर दिया।

5. महत्व और दावे

लेखक दावा करते हैं कि OMatG-IRL क्रिस्टलीय सामग्रियों के इनवर्स डिज़ाइन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है क्योंकि यह:

फ्लो मॉडल्स के लिए RL का लोकतंत्रीकरण करता है: स्पष्ट स्कोर गणना पर निर्भरता को हटाकर, यह फ्रेमवर्क RL के लाभों (विशिष्ट डाउनस्ट्रीम उद्देश्यों के लिए अनुकूलन) को फ्लो मैचिंग और सामान्य स्टोकेस्टिक इंटरपॉलेन्ट्स पर आधारित मॉडलों सहित निरंतर-समय जनरेटिव मॉडलों के एक व्यापक वर्ग तक विस्तारित करता है।
दक्षता में सुधार करता है: इष्टतम वेलोसिटी-एनिलिंग शेड्यूल्स सीखने की क्षमता, बहुत कम इंटीग्रेशन स्टेप्स के साथ सटीक स्ट्रक्चर प्रेडिक्शन की अनुमति देती है, जो सीधे मैटेरियल्स स्क्रीनिंग में कम्प्यूटेशनल बाधा को संबोधित करती है।
कार्य-विशिष्ट अनुकूलन: यह कार्य प्रदर्शित करता है कि RL कैसे CSP में भौतिक उद्देश्यों (जैसे ऊर्जा न्यूनीकरण) को संरचनात्मक विविधता से समझौता किए बिना प्रभावी ढंग से अनुकूलित कर सकता है, जो लक्षित गुणों वाले पदार्थों की खोज के लिए एक अधिक सीधा मार्ग प्रदान करता है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें यह तथ्य शामिल है कि सरोगेट स्टोकेस्टिक प्रोसेस बिल्कुल मार्जिनल-प्रिजर्विंग (marginal-preserving) नहीं है (हालांकि विसंगति छोटी शोर के लिए सीमित और नगण्य है) और वर्तमान ऊर्जा-आधारित रिवार्ड सीधे स्ट्रक्चर-मैचिंग मेट्रिक्स जैसे मैच रेट को अनुकूलित नहीं करता है, हालांकि ये मेट्रिक्स सह-संबंधित बने रहते हैं। कोड को अपडेट किए गए ओपन मैटेरियल्स जनरेशन (OMatG) फ्रेमवर्क के हिस्से के रूप में जारी किया गया है।