PLaID++: A Preference Aligned Language Model for Targeted Inorganic Materials Design

तकनीकी सारांश: PLaID++: लक्षित अकार्बनिक सामग्री डिजाइन के लिए एक प्राथमिकता-संरेखित भाषा मॉडल

समस्या विवरण

नए ठोस-अवस्था (solid-state) पदार्थों की खोज विशाल रासायनिक स्थान (chemical space) के कारण बाधित है, जहाँ पिछले अन्वेषणों में संभावित स्थिर अकार्बनिक यौगिकों के केवल एक अंश को ही खोजा जा सका है। हालाँकि वेरिएशनल ऑटोएनकोडर्स (VAEs) और डिफ्यूजन मॉडल जैसे जनरेटिव मॉडल स्थिर संरचनाओं को उत्पन्न करने के लिए लागू किए गए हैं, वे अक्सर कम्प्यूटेशनल दक्षता, स्पष्ट क्रिस्टलोग्राफिक समरूपता (crystallographic symmetry) के एन्कोडिंग और विशिष्ट बाधाओं को संतुष्ट करने की क्षमता के संबंध में चुनौतियों का सामना करते हैं ताकि 'मोड कोलैप्स' (mode collapse) से बचा जा सके।

इसके अतिरिक्त, जबकि 'वेरिफिएबल रिवॉर्ड्स फ्रॉम रीइन्फोर्समेंट लर्निंग' (RLVR) ने लार्ज लैंग्वेज मॉडल्स (LLMs) में शुद्धता में सुधार किया है, वैज्ञानिक सामग्री डिजाइन के लिए अक्सर एक एकल "सही" उत्तर के बजाय विशिष्ट बाधाओं (जैसे स्थिरता, नवीनता, विशिष्ट समरूपता) को पूरा करने वाले विविध उम्मीदवारों की आवश्यकता होती है। समन्वय-आधारित (coordinate-based) क्रिस्टल प्रतिनिधित्व पर प्राथमिकता अनुकूलन (preference optimization) के सहज अनुप्रयोग से 'मोड कोलैप्स' देखा गया है, जहाँ मॉडल स्थिर लेकिन दोहराव वाली संरचनाएँ उत्पन्न करते हैं, जिससे वे रासायनिक स्थान का प्रभावी ढंग से अन्वेषण करने में विफल रहते हैं।

कार्यप्रणाली

लेखक PLaID++ प्रस्तुत करते हैं, जो एक ढांचा है जो क्रिस्टल के लिए एक नवीन टेक्स्ट प्रतिनिधित्व को 'डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन' (DPO) पर आधारित 'रीइन्फोर्समेंट लर्निंग फ्रॉम इंटरएटोमिक पोटेंशियल' (RLIP) दृष्टिकोण के साथ जोड़ता है।

1. वायकोफ-आधारित टेक्स्ट प्रतिनिधित्व (Wyckoff-Based Text Representation)
समन्वय-आधारित (coordinate-based) प्रतिनिधित्व की सीमाओं को दूर करने के लिए, लेखक वायकोफ स्थितियों (Wyckoff positions) का उपयोग करके एक संक्षिप्त, समरूपता-सूचित टेक्स्ट प्रतिनिधित्व प्रस्तावित करते हैं।

• तंत्र: सभी परमाणु निर्देशांकों को सूचीबद्ध करने के बजाय, मॉडल स्पेस ग्रुप और एसिमेट्रिक यूनिट के भीतर परमाणुओं के भिन्नात्मक निर्देशांकों (fractional coordinates) को एनकोड करने वाला टेक्स्ट उत्पन्न करता है। पूर्ण क्रिस्टल संरचना को समरूपता ऑपरेशन्स (symmetry operations) लागू करके अप्रत्यक्ष रूप से परिभाषित किया जाता है।
• लाभ: यह प्रतिनिधित्व टोकन संख्या को कम करता है (MP-20 डेटासेट पर 14% की कमी), कम्प्यूटेशनल दक्षता में सुधार करता है, और मॉडल को भौतिक पूर्वाग्रहों (physical priors) से सामान्यीकरण करने के लिए मजबूर करता है। परमाणुओं को वायकोफ साइटों से जोड़ने से, स्थानीय परिवर्तन समरूपता ऑपरेशन्स के माध्यम से प्रसारित होते हैं, जिससे समन्वय-आधारित RL प्रशिक्षण में देखे गए मोड कोलैप्स को कम किया जा जाता है।

2. इंटरएटोमिक पोटेंशियल से रीइन्फोर्समेंट लर्निंग (RLIP)
लेखक LLM को भौतिक गुणों के साथ संरेखित करने के लिए डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) को अनुकूलित करते हैं।

• रिवॉर्ड सिग्नल: वे मशीन लर्निंग इंटरएटोमिक पोटेंशियल (MLIPs), विशेष रूप से EquiformerV2 (eqV2) और eSEN का उपयोग करते हैं, जो रिलैक्स्ड फॉर्मेशन एनर्जी ($E_{hull}$) की भविष्यवाणी करते हैं।
• प्रेफरेंस पेयर्स (Preference Pairs): प्रशिक्षण डेटासेट में निम्नलिखित श्रेणियों के प्रेफरेंस पेयर्स $(y_w, y_l)$ शामिल हैं:
  • स्थिरता (Stability): स्थिर ($E_{hull} \le 0$), मेटास्टेबल ($0 < E_{hull} \le 0.08$), और अस्थिर ($E_{hull} > 0.08$)।
  • नवीनता/विशिष्टता (Novelty/Uniqueness): जेनरेशन सेट के सापेक्ष अद्वितीय क्रिस्टल और प्रशिक्षण डेटा के सापेक्ष नवीन क्रिस्टल के बीच अंतर करना।
  • स्पेस ग्रुप कंडीशनिंग (Space Group Conditioning): विशिष्ट लक्षित स्पेस ग्रुप से मेल खाने वाली संरचनाएं उत्पन्न करना।
• पुनरावृत्ति प्रशिक्षण (Iterative Training): मॉडल एक पुनरावृत्त DPO से गुजरता है जहाँ $\pi_{ref} = \pi_{\theta-1}$ है। एंट्रॉपी कोलैप्स को रोकने और विविधता बनाए रखने के लिए, पुनरावृत्तियों के दौरान सैंपलिंग तापमान को गतिशील रूप से बढ़ाया जाता है।
• एकीकृत प्रशिक्षण (Unified Training): ढांचा अनकंडीशनल जेनरेशन और कंडीशनल जेनरेशन (विशिष्ट स्पेस ग्रुप) के लिए संयुक्त रूप से अनुकूलन करता है, जो दर्शाता है कि एक कार्य से प्राप्त प्रशिक्षण संकेत दूसरे कार्य को लाभ पहुँचाते हैं, विशेष रूप से डेटा-दुर्लभ (data-sparse) परिदृश्यों में।

प्रमुख योगदान

1. RLIP ढांचा: इंटरएटोमिक पोटेंशियल को रिवॉर्ड सिग्नल के रूप में उपयोग करके LLMs को फाइन-ट्यून करने के लिए एक विविधता-जागरूक रीइन्फोर्समेंट लर्निंग फ्रेमवर्क का परिचय।
2. समरूपता-सूचित प्रतिनिधित्व: एक नवीन वायकोफ-आधारित टेक्स्ट एन्कोडिंग का विकास जो संक्षिप्त, प्रदर्शनकारी और भौतिक रूप से प्रेरित है, जो प्राथमिकता अनुकूलन के दौरान मोड कोलैप्स को प्रभावी ढंग से रोकता है।
3. एकीकृत प्रशिक्षण प्रभावकारिता: कंडीशनल और अनकंडीशनल कार्यों के बीच एकीकृत प्रशिक्षण की प्रभावकारिता का प्रदर्शन, जो डेटा-दुर्लभ परिदृश्यों में दोनों सेटिंग्स में अत्याधुनिक (state-of-the-art) परिणाम प्राप्त करता है।

परिणाम

प्रयोग Qwen-2.5 7B बेस मॉडल का उपयोग करके MP-20 डेटासेट (45,231 अकार्बनिक मेटास्टेबल क्रिस्टलीय सामग्रियां) पर किए गए।

• अनकंडीशनल जेनरेशन: PLaID++ ने 22.27% स्थिरता दर और 7.74% S.U.N. (Stable, Unique, Novel) दर प्राप्त की। यह पूर्व के सर्वश्रेष्ठ तरीकों (जैसे जॉइंटली-ट्रेन्ड ADiT @ 5.3% S.U.N.) की तुलना में S.U.N. दर में $\sim$50% का सुधार है।
• कंडीशनल जेनरेशन: स्पेस-ग्रुप कंडीशंड कार्यों के लिए, PLaID++ ने बेस वायकोफ मॉडल की तुलना में औसत 47% अधिक S.S.U.N. (Symmetry, Stable, Unique, Novel) दर में सुधार किया। विशेष रूप से, संयुक्त प्रशिक्षण (अनकंडीशनल + कंडीशनल) अकेले कंडीशनल डेटा पर प्रशिक्षित मॉडलों की तुलना में बेहतर रहा, विशेष रूप से कम सैंपल काउंट (<400) वाले स्पेस ग्रुप्स के लिए।
• बहु-उद्देश्यीय जेनरेशन (Multi-Objective Generation): जब इसे तीसरे उद्देश्य के रूप में बल्क मॉड्यूलस (>325 GPa) को शामिल करने के लिए विस्तारित किया गया, तो संयुक्त प्रेफरेंस ऑप्टिमाइज़ेशन ने बल्क मॉड्यूलस के लिए अनुकूलित करने की तुलना में लक्ष्य को संतुष्ट करने वाले $\sim$40% अधिक S.U.N. क्रिस्टल उत्पन्न किए।
• वैलिडेशन: स्थिरता और S.U.N. दरों को 1,000 संरचनाओं के उपसमुच्चय पर डेंसिटी फंक्शनल थ्योरी (DFT) का उपयोग करके मान्य किया गया, जिससे 19.1% स्थिरता दर और 13% S.U.N. दर प्राप्त हुई, जो MLIP भविष्यवाणियों के अनुरूप है।
• दक्षता: PLaID++ एक सिंगल NVIDIA H100 GPU पर लगभग 23 मिनट में 10,000 क्रिस्टल उत्पन्न करता है, जो 27.17 S.U.N. क्रिस्टल प्रति मिनट देता है, जो FlowLLM की तुलना में 5 गुना तेज़ है।

महत्व

यह पेपर दावा करता है कि PLaID++ प्राकृतिक भाषा प्रसंस्करण (NLP) से पोस्ट-ट्रेनिंग तकनीकों को सामग्री डिजाइन के लिए अनुकूलित करने की क्षमता प्रदर्शित करता है। अंतर्निहित क्रिस्टल समरूपता और MLIPs से फीडबैक को शामिल करके, यह विधि थर्मोडायनामिक रूप से स्थिर, अद्वितीय और नवीन सामग्रियों को उत्पन्न करने की दर को महत्वपूर्ण रूप से बढ़ाता है। यह कार्य सुझाव देता है कि रीइन्फोर्समेंट लर्निंग, बिना भारी मात्रा में लेबल किए गए डेटा की आवश्यकता के, जनरेटिव मॉडल्स को रासायनिक रूप से उपयोगी संरचनाओं की ओर प्रभावी ढंग से निर्देशित कर सकता है, जो सौर सेल, बैटरी और कार्बन कैप्चर जैसे अनुप्रयोगों के लिए नवीन सामग्रियों की खोज हेतु मार्ग प्रशस्त करता है। लेखक नोट करते हैं कि जबकि वर्तमान रैंडम सर्च विधियों की स्थिर सामग्रियों को पहचानने की सफलता दर 1% से कम है, PLaID++ वास्तविक दुनिया की उपयोगिता की ओर एक महत्वपूर्ण त्वरण का प्रतिनिधित्व करता है।