🤖 machine learning

Model Agnostic Graph Prompt Learning for Crystal Property Prediction

यह शोध पत्र एक मॉडल-अज्ञेय (model-agnostic), हल्का बहु-स्तरीय सॉफ्ट प्रॉम्प्ट लर्निंग फ्रेमवर्क प्रस्तावित करता है जो अव्यक्त स्थानीय रासायनिक अर्थों (latent local chemical semantics) और वैश्विक संरचनात्मक समरूपताओं (global structural symmetries) को कैप्चर करके क्रिस्टल गुण भविष्यवाणी को बढ़ाता है, जिससे मौजूदा ग्राफ न्यूरल नेटवर्क के प्रदर्शन में महत्वपूर्ण सुधार होता है और प्रभावी क्रॉस-प्रॉपर्टी ज्ञान हस्तांतरण सक्षम होता है।

मूल लेखक: Shrimon Mukherjee, Kishalay Das, Partha Basuchowdhuri, Pawan Goyal, Niloy Ganguly

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shrimon Mukherjee, Kishalay Das, Partha Basuchowdhuri, Pawan Goyal, Niloy Ganguly

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप भविष्यवाणी करने की कोशिश कर रहे हैं कि एक क्रिस्टल कैसा व्यवहार करेगा—चाहे वह पुल बनाने के लिए पर्याप्त मजबूत हो या बिजली के सुपरहाइवे की तरह बिजली का संचालन करे। लंबे समय से, वैज्ञानिक विशाल, जटिल "क्रिस्टल मस्तिष्क" (जिन्हें ग्राफ न्यूरल नेटवर्क या GNN कहा जाता है) बना रहे हैं। ये मस्तिष्क विशाल पुस्तकालयों की तरह हैं जिनमें रसायन विज्ञान की हर किताब भरी हुई है। वे अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे भारी, लोड होने में धीमे हैं और उन्हें समझने के लिए रसायन विज्ञान में पीएचडी की आवश्यकता होती है।

समस्या क्या है? कभी-कभी, ये विशाल पुस्तकालय भी "गुप्त सॉस" (secret sauce) को मिस कर देते हैं। कुछ छिपे हुए रासायनिक संकेत और संरचनात्मक पैटर्न होते हैं जो क्रिस्टल के गुणों को प्रभावित करते हैं, लेकिन वे डेटा में स्पष्ट रूप से लिखे नहीं होते हैं। इन सभी संकेतों को मैन्युअल रूप से खोजने और जोड़ने की कोशिश करना ऐसा ही है जैसे सैंडे बनाने से पहले ब्रह्मांड में आइसक्रीम के हर संभव स्वाद को सूचीबद्ध करने की कोशिश करना—यह असंभव है और इसमें बहुत समय लगता है।

नया विचार: "जादुई स्टिकी नोट"

पूरे पुस्तकालय को फिर से लिखने के बजाय, इस शोध पत्र के लेखक एक चतुर तरकीब का सुझाव देते हैं: सॉफ्ट प्रॉम्प्ट लर्निंग (Soft Prompt Learning)।

क्रिस्टल को एक लेगो (LEGO) महल की तरह समझें। "नोड-लेवल" (Node-Level) प्रॉम्प्ट प्रत्येक व्यक्तिगत लेगो ईंट को एक छोटा, अदृश्य स्टिकी नोट देने जैसा है। ये नोट्स ईंट का रंग या आकार नहीं बदलते; वे बस उसके बारे में एक गुप्त बात फुसफुसाते हैं (उसका "व्यक्तित्व" या स्थानीय रासायनिक रहस्य) जिसे मुख्य मस्तिष्क नहीं देख पा रहा था। मस्तिष्क इन नोट्स को पढ़ना सीख जाता है ताकि वह ईंट को बेहतर ढंग से समझ सके।

फिर, "ग्राफ-लेवल" (Graph-Level) प्रॉम्प्ट आता है। यह पूरे महल पर एक लेबल लगाने जैसा है जो कहता है, "हे, यह महल एक पूर्ण घन (cube) आकार में बना है!" या "यह एक लंबा, खिंचा हुआ आयत (rectangle) है!" क्रिस्टल सात अलग-अलग "परिवारों" (जैसे क्यूबिक, हेक्सागोनल, आदि) में आते हैं, और यह लेबल मस्तिष्क को पूरे ढांचे की बड़ी संरचना (symmetry) को समझने में मदद करता है।

उन्होंने क्या पाया (अच्छी खबर)

लेखकों ने इस "स्टिकी नोट" विचार का परीक्षण क्रिस्टल के दो विशाल डेटाबेस (JARVIS-DFT और Materials Project) पर किया और इसकी तुलना वर्तमान में मौजूद छह सबसे स्मार्ट और जटिल क्रिस्टल मस्तिष्क से की।

यहाँ जादू है:

यह छोटे मस्तिष्क पर काम करता है: जब उन्होंने इसे CGCNN नामक एक सरल मॉडल में जोड़ा, तो यह गुणों की भविष्यवाणी करने में 15.11% बेहतर हो गया। अचानक, यह सरल मॉडल विशाल और जटिल मॉडलों के बराबर प्रतिस्पर्धी बन गया!
यह बड़े मस्तिष्क पर काम करता है: यहाँ तक कि अत्यधिक जटिल और भारी-भरकम मॉडलों (जैसे ALIGNN, Matformer, और PotNet) के लिए भी, इन नोट्स को जोड़ने से उनकी सटीकता 3% से 15% तक बढ़ गई।
यह अविश्वसनीय रूप से हल्का है: सबसे अच्छी बात यह है कि इन "स्टिकी नोट्स" ने मॉडल के वजन में केवल लगभग 0.32% की वृद्धि की। यह एक बैकपैक में पंख जोड़ने जैसा है जिससे आपको सुपरपावर मिल जाती है।

उन्होंने क्या खारिज किया ( "बनाना बेकार है" वाली सूची)

यह शोध पत्र स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि बेहतर परिणाम प्राप्त करने का एकमात्र तरीका अपने मॉडलों को बड़ा और अधिक जटिल बनाना है।

केवल अधिक परतें (layers) न जोड़ें: जब उन्होंने मस्तिष्क में परतों की संख्या को दोगुना करने या छिपे हुए आयामों (hidden dimensions) को बड़ा करने की कोशिश की, तो प्रदर्शन में बहुत कम बदलाव आया, लेकिन कंप्यूटर को बहुत अधिक मेहनत करनी पड़ी।
केवल "स्किप कनेक्शन" या "एडैप्टर" न जोड़ें: उन्होंने अन्य लोकप्रिय तकनीकों (जैसे मस्तिष्क में शॉर्टकट या छोटे ट्यूनिंग मॉड्यूल जोड़ना) को आजमाया, लेकिन उन्होंने प्रॉम्प्ट लर्निंग की तुलना में परिणाम बहुत कम सुधारे।
मस्तिष्क को फ्रीज (freeze) न करें: जब उन्होंने प्री-ट्रेन्ड मॉडल्स पर इन प्रॉम्प्ट्स का उपयोग किया लेकिन मुख्य मस्तिष्क को "फ्रीज" (सीखने में असमर्थ) रखा, तो परिणाम वास्तव में बदतर हो गए। शोध पत्र दिखाता है कि क्रिस्टल के लिए, आप केवल एक फ्रीज किए हुए मस्तिष्क पर नोट नहीं चिपका सकते; मस्तिष्क को नोट्स के साथ मिलकर (मॉडल और प्रॉम्प्ट्स को संयुक्त रूप से फाइन-ट्यून करना) सीखना होगा तभी सुधार दिखाई देगा।

वे कितने आश्वस्त हैं?

लेखक इन नंबरों को लेकर बहुत आश्वस्त हैं क्योंकि उन्होंने केवल अनुमान नहीं लगाया; उन्होंने बार-बार गणनाएँ कीं।

उन्होंने दो विशाल डेटासेट में 9 अलग-अलग गुणों (जैसे फॉर्मेशन एनर्जी, बैंडगैप और बल्क मॉड्यूलस) का परीक्षण किया।
उन्होंने परिणामों की पुष्टि करने के लिए कि वे केवल भाग्य नहीं थे, पांच स्वतंत्र प्रयोग चलाए।
उन्होंने एक सांख्यिकीय परीक्षण (paired t-test) का उपयोग किया और पाया कि अधिकांश गुणों के लिए, सुधार सांख्यिकीय रूप से महत्वपूर्ण था (जिसका अर्थ है कि संयोग से ऐसा होने की संभावना बहुत कम है, आमतौर पर p-वैल्यू 0.05 से नीचे है)।
उन्होंने यहाँ तक जांचा कि क्या "स्टिकी नोट्स" ने वास्तव में रसायन विज्ञान सीखा। उन्होंने पाया कि विभिन्न तत्वों के लिए नोट्स वास्तविक दुनिया के तथ्यों, जैसे परमाणुओं का आकार (कोवेलेंट रेडियस) और इलेक्ट्रोनगेटिविटी (इलेक्ट्रॉन खींचने की क्षमता) के साथ पूरी तरह से मेल खाते हैं।

"सुपरपावर" बोनस

सबसे दिलचस्प खोजों में से एक यह थी कि ये सीखे गए नोट्स ज्ञान को "ट्रांसफर" (स्थानांतरित) कर सकते हैं। यदि मॉडल एक ऐसे गुण के लिए नोट्स सीखता है जिसमें बहुत अधिक डेटा है (जैसे फॉर्मेशन एनर्जी), तो वह उसी ज्ञान का उपयोग दूसरे ऐसे गुण की भविष्यवाणी करने में मदद करने के लिए कर सकता है जिसमें बहुत कम डेटा है (जैसे बल्क मॉड्यूलस)। यह साइकिल चलाना सीखने और फिर यह महसूस करने जैसा है कि आप उन्हीं संतुलन कौशल का उपयोग यूनिसाइकिल चलाने के लिए कर सकते हैं।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि बेहतर भविष्यवाणियों के लिए हमें बड़े, भारी क्रिस्टल मस्तिष्क बनाने की आवश्यकता नहीं है। इसके बजाय, हमें बस उन्हें कुछ अतिरिक्त "स्टिकी नोट्स" पढ़ना सिखाने की आवश्यकता है जो क्रिस्टल के छिपे हुए रासायनिक और संरचनात्मक रहस्यों को पकड़ सकें। यह क्रिस्टल के भविष्य की भविष्यवाणी करने का एक हल्का, तेज़ और आश्चर्यजनक रूप से अधिक प्रभावी तरीका है।

तकनीकी सारांश: क्रिस्टल गुण भविष्यवाणी के लिए मॉडल एग्नोस्टिक ग्राफ प्रॉम्प्ट लर्निंग

समस्या विवरण

क्रिस्टल गुणों की भविष्यवाणी करना पदार्थ विज्ञान (materials science) में एक महत्वपूर्ण लेकिन चुनौतीपूर्ण कार्य है। अणुओं के विपरीत, जो अक्सर नियमित ग्राफ के रूप में मॉडल किए जाते हैं, क्रिस्टल 3D आवधिक संरचनाएं (periodic structures) हैं जो दोहराने वाले यूनिट सेल्स से बनी होती हैं। जबकि ग्राफ न्यूरल नेटवर्क (GNNs) इन संरचनाओं को मॉडल करने के लिए मानक बन गए हैं, वर्तमान अत्याधुनिक (SOTA) दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

डोमेन विशेषज्ञता पर निर्भरता: मौजूदा मॉडलों को अक्सर विशिष्ट रासायनिक और संरचनात्मक विशेषताओं (जैसे, बॉन्ड कोण, परमाणु क्षमताएं) को एनकोडर में स्पष्ट रूप से एनकोड करने की आवश्यकता होती है। इसके लिए व्यापक डोमेन ज्ञान की आवश्यकता होती है और यह मॉडल की जटिलता को बढ़ाता है।
पैरामीटर ओवरहेड और डेटा की कमी: जटिल लेटेंट फीचर्स (latent features) को कैप्चर करने के लिए, मॉडल तेजी से गहरे और पैरामीटर-भारी होते जा रहे हैं, जिससे उच्च कम्प्यूटेशनल लागत आती है। इसके अलावा, कई क्रिस्टल गुणों के लिए लेबल किए गए प्रशिक्षण डेटा की उपलब्धता सीमित होती है, जिससे बड़े मॉडलों के लिए ओवरफिटिंग के बिना प्रभावी ढंग से सामान्यीकरण (generalize) करना कठिन हो जाता है।

सभी संभावित प्रभावशाली विशेषताओं को स्पष्ट रूप से शामिल करना अक्सर अव्यावहारिक होता है क्योंकि कुछ गुणों को अभी तक पूरी तरह से समझा या खोजा नहीं गया है। फलस्वरूप, एक हल्के, मॉडल-अग्नोस्टिक दृष्टिकोण की आवश्यकता है जो पैरामीटर संख्या में उल्लेखनीय वृद्धि किए बिना या व्यापक फीचर इंजीनियरिंग की आवश्यकता के बिना इन लेटेंट फीचर्स को सीख सके।

कार्यप्रणाली (Methodology)

लेखक एक मल्टी-लेवल ग्राफ प्रॉम्प्ट लर्निंग फ्रेमवर्क प्रस्तावित करते हैं जो लेटेंट रासायनिक और संरचनात्मक अर्थों (semantics) को कैप्चर करने के लिए सीखने योग्य "सॉफ्ट प्रॉम्प्ट्स" पेश करता है। यह फ्रेमवर्क किसी भी मौजूदा GNN एनकोडर के साथ सहजता से एकीकृत होने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली दो अलग-अलग स्तरों पर कार्य करती है:

1. नोड-लेवल प्रॉम्प्ट लर्निंग (स्थानीय अर्थ/Local Semantics)

इस घटक का उद्देश्य परमाणुओं के उन अनछुए स्थानीय रासायनिक गुणों को कैप्चर करना है जो इनपुट फीचर्स में स्पष्ट रूप से प्रदान नहीं किए गए हैं।

तंत्र (Mechanism): मॉडल $k$ स्वतंत्र वेक्टर्स ( $b_1, ..., b_k$ ) सीखता है जो लेटेंट रासायनिक विशेषताओं का प्रतिनिधित्व करते हैं और $k$ लीनियर प्रोजेक्शन ( $a_1, ..., a_k$ ) सीखता है।
अटेंशन एग्रीगेशन (Attention Aggregation): प्रत्येक नोड $u$ के लिए जिसका फीचर $x_u$ है, नोड फीचर के लीनियर प्रोजेक्शन पर सॉफ्टमैक्स का उपयोग करके अटेंशन स्कोर $\alpha_{u,j}$ की गणना की जाती है।
प्रॉम्प्ट जनरेशन: एक अद्वितीय प्रॉम्प्ट वेक्टर $p_u$ को उनके अटेंशन स्कोर द्वारा भारित (weighted) $k$ लेटेंट वेक्टर्स को एकत्रित करके बनाया जाता है: $p_u = \sum \alpha_{u,j} b_j$ ।
एकीकरण: इस प्रॉम्प्ट वेक्टर को GNN एनकोडर में फीड करने से पहले मूल नोड फीचर में जोड़ा जाता है ( $x'_u = x_u + p_u$ )। हाइपरपैरामीटर $k$ को अनुभवजन्य रूप से 10 निर्धारित किया गया था।

2. ग्राफ-लेवल प्रॉम्प्ट लर्निंग (वैश्विक समरूपता/Global Symmetry)

यह घटक क्रिस्टल सामग्रियों में अंतर्निहित वैश्विक संरचनात्मक समरूपता (global structural symmetry) को संबोधित करता है, जो गुण भविष्यवाणी के लिए महत्वपूर्ण है।

तंत्र: फ्रेमवर्क यह पहचानता है कि क्रिस्टल सात क्रिस्टल सिस्टम (ट्राइक्लिनिक, मोनोक्लिनिक, ऑर्थोरोम्बिक, टेट्रागोनल, ट्रिगोनल, हेक्सागोनल, क्यूबिक) में से एक से संबंधित होते हैं।
प्रॉम्प्ट टेम्पलेट: एक सीखने योग्य एम्बेडिंग मैट्रिक्स $Q \in \mathbb{R}^{7 \times d}$ बनाए रखा जाता है, जहाँ प्रत्येक पंक्ति एक विशिष्ट क्रिस्टल सिस्टम का प्रतिनिधित्व करती है।
एकीकरण: दिए गए क्रिस्टल ग्राफ $G$ के लिए जिसकी क्रिस्टल प्रणाली $\tau_G$ है, संगत पंक्ति $q_{\tau_G}$ को प्राप्त किया जाता है और वैश्विक ग्राफ एम्बेडिंग $h_G$ में जोड़ा जाता है ( $\bar{h}_G = h_G + q_{\tau_G}$ )।

प्रशिक्षण प्रक्रिया (Training Process)

पूरा सिस्टम, जिसमें GNN बैकबोन, प्रोजेक्शन हेड और सीखने योग्य सॉफ्ट प्रॉम्प्ट्स (नोड और ग्राफ दोनों स्तरों पर) शामिल हैं, गुण भविष्यवाणी कार्यों पर सुपरवाइज्ड मीन स्क्वेर्ड एरर (MSE) लॉस का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है। प्रॉम्प्ट्स को रैंडमली इनिशियलाइज़ किया जाता है और मॉडल मापदंडों के साथ अनुकूलित (optimize) किया जाता है।

मुख्य योगदान

नया मल्टी-लेवल फ्रेमवर्क: पेपर एक एकीकृत प्रॉम्प्ट लर्निंग फ्रेमवर्क पेश करता है जो क्रिस्टल गुण भविष्यवाणी के लिए स्थानीय रासायनिक अर्थ (नोड-लेवल) और वैश्विक संरचनात्मक समरूपता (ग्राफ-लेवल) को एक साथ कैप्चर करता है।
मॉडल-अग्नोस्टिक और दक्षता: यह दृष्टिकोण हल्का है, जो Matformer जैसे मॉडलों में केवल लगभग 0.32% अतिरिक्त पैरामीटर जोड़ता है (लगभग 10k अतिरिक्त पैरामीटर)। यह किसी भी मौजूदा SOTA GNN एनकोडर के साथ संगत है।
क्रॉस-प्रॉपर्टी नॉलेज ट्रांसफर: सीखे गए सॉफ्ट प्रॉम्प्ट्स प्रचुर डेटा वाले गुणों (जैसे, फॉर्मेशन एनर्जी) से सीमित डेटा वाले गुणों (जैसे, बल्क मॉड्यूलस) तक ज्ञान स्थानांतरित करने की क्षमता प्रदर्शित करते हैं, जिससे कम-डेटा शासन (low-data regimes) में प्रदर्शन में सुधार होता है।
अभिव्यक्ति क्षमता का सत्यापन: लेखक साक्ष्य प्रदान करते हैं कि सीखे गए प्रॉम्प्ट्स रासायनिक रूप से सार्थक पैटर्न कैप्चर करते हैं, जैसे कि कोवेलेंट रेडियस, इलेक्ट्रोनेगेटिविटी और आयनीकरण ऊर्जा के साथ सहसंबंध, और क्रिस्टल सिस्टम के अनुसार क्लस्टरिंग।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन दो बेंचमार्क डेटासेट पर किया गया: JARVIS-DFT (55,722 क्रिस्टल) और Materials Project (69,239 क्रिस्टल), नौ अलग-अलग क्रिस्टल गुणों के लिए।

प्रदर्शन लाभ: प्रॉम्प्ट-इन्फ्यूज्ड वेरिएंट्स के छह SOTA मॉडल्स (CGCNN, ALIGNN, Matformer, PotNet, iComFormer, eComFormer) ने लगातार अपने वैनिला समकक्षों (counterparts) को पछाड़ दिया।
- सरल मॉडल: CGCNN में महत्वपूर्ण सुधार देखा गया (जैसे, फॉर्मेशन एनर्जी में 15.11% तक), जिससे यह अधिक जटिल मॉडलों के प्रतिस्पर्धी बन गया।
- उन्नत मॉडल: ALIGNR, Matformer और PotNet जैसे परिष्कृत मॉडलों ने भी विभिन्न गुणों में 3% से 15% तक के सुधार देखे।
विकल्पों के साथ तुलना: प्रॉम्प्ट लर्निंग दृष्टिकोण ने अन्य आर्किटेक्चरल संशोधनों जैसे कि हिडन डायमेंशन बढ़ाना, GNN लेयर्स को दोगुना करना, स्किप कनेक्शन जोड़ना, या एडैप्टर लर्निंग का उपयोग करने के मुकाबले बेहतर प्रदर्शन किया, जबकि बहुत कम पैरामीटर पेश किए।
प्री-ट्रेंड मॉडल्स: जब इसे प्री-ट्रेंड मॉडल्स (CrysGNN, Crystal Twins, DPF) पर लागू किया गया, तो प्रॉम्प्ट-इन्फ्यूज्ड फाइन-ट्यूनिंग दृष्टिकोण पारंपरिक फाइन-ट्यूनिंग और मौजूदा ग्राफ प्रॉम्प्ट ट्यूनिंग विधियों (GPF, SUPT, LEAP) दोनों से बेहतर रहा, जो अक्सर नेगेटिव ट्रांसफर या प्रदर्शन गिरावट से ग्रस्त होते हैं।
दक्षता: विधि ने कम कम्प्यूटेशनल ओवरहेड बनाए रखा, बेसलाइन मॉडलों की तुलना में प्रशिक्षण समय, GPU मेमोरी उपयोग और इन्फरेंस लेटेंसी में नगण्य वृद्धि हुई।

महत्व और दावे

पेपर का दावा है कि इसका प्रस्तावित सॉफ्ट प्रॉम्प्ट लर्निंग प्रतिमान पदार्थ विज्ञान के लिए तेजी से जटिल GNN आर्किटेक्चर विकसित करने के चलन के लिए एक हल्का और प्रभावी विकल्प प्रदान करता है। स्पष्ट डोमेन ज्ञान पर निर्भर रहने के बजाय लेटेंट फीचर्स को सीखकर, यह विधि सरल और उन्नत दोनों मॉडलों की अभिव्यंजक शक्ति (expressive power) को बढ़ाता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण:

प्रवेश की बाधा को कम करता है जिससे सरल मॉडल भी जटिल मॉडलों के प्रतिस्पर्धी बन जाते हैं।
डेटा की कमी को संबोधित करता है क्रॉस-प्रॉपर्टी नॉलेज ट्रांसफर के माध्यम से।
मैनुअल फीचर इंजीनियरिंग या बड़े पैरामीटर विस्तार की आवश्यकता के बिना आंतरिक संरचनात्मक और रासायनिक अर्थों को कैप्चर करता है।

यह कार्य सुझाव देता है कि इस प्रतिमान में पदार्थ विज्ञान के अन्य डाउनस्ट्रीम कार्यों या ग्राफ-आधारित डोमेन में विस्तार करने की क्षमता है जहाँ लेटेंट स्ट्रक्चरल और सिमेंटिक फीचर्स महत्वपूर्ण हैं।