LLEMA: Evolutionary Search with LLMs for Multi-Objective Materials Discovery

यहाँ शोध पत्र "LLEMA: Multi-Objective Materials Discovery के लिए LLMs के साथ Evolutionary Search" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सामग्री की खोज (Materials discovery) एक मौलिक चुनौती का सामना करती है: एक विशाल, उच्च-आयामी रासायनिक और संरचनात्मक स्थान में नेविगेट करना ताकि ऐसी सामग्रियाँ खोजी जा सकें जो कई, अक्सर परस्पर विरोधी उद्देश्यों (जैसे, उच्च चालकता बनाम तापीय प्रतिरोध) को संतुष्ट करती हों, जबकि सख्त भौतिक बाधाओं (ऊष्मागतिक स्थिरता, संश्लेषण क्षमता) का पालन करती हों।

मौजूदा दृष्टिकोण कई सीमाओं से ग्रस्त हैं:

• पारंपरिक जनरेटिव मॉडल (जैसे, CDVAE, MatterGen): इन्हें अक्सर कार्य-विशिष्ट पुन: प्रशिक्षण (retraining) की आवश्यकता होती है, इनमें व्यापक पूर्व ज्ञान की कमी होती है, और ये विविध सामग्री वर्गों में सामान्यीकरण करने में संघर्ष करते हैं। वे अक्सर ऐसे उम्मीदवार उत्पन्न करते हैं जो सैद्धांतिक रूप से वैध तो होते हैं लेकिन ऊष्मागतिक रूप से अस्थिर या संश्लेषण के लिए असंभव होते हैं।
• LLM-मात्र दृष्टिकोण (LLM-Only Approaches): हालांकि LLMs के पास विशाल वैज्ञानिक ज्ञान है, वे नए स्थानों की खोज करने के बजाय मौजूदा डेटा (जैसे Materials Project जैसे डेटाबेस से ज्ञात यौगिकों को दोहराना) को "याद रखने" (memorize) की प्रवृत्ति रखते हैं। इसके अलावा, उनमें अक्सर कठोर बाधा प्रवर्तन (constraint enforcement) की कमी होती है, जिससे रासायनिक रूप से अवास्तविक संरचनाएँ बनती हैं।
• एकल-उद्देश्य फोकस (Single-Objective Focus): अधिकांश वर्तमान विधियाँ एक एकल गुण के लिए अनुकूलन करती हैं, जो वास्तविक इंजीनियरिंग में आवश्यक अंतर्निहित बहु-उद्देश्यीय ट्रेड-ऑफ (जैसे, बैंडगैप और फॉर्मेशन एनर्जी के बीच संतुलन बनाना) को पकड़ने में विफल रहती हैं।

2. कार्यप्रणाली: LLEMA ढांचा (Methodology: The LLEMA Framework)

LLEMA (LLM-guided Evolution for MAterials discovery) एक एकीकृत, एजेंटिक ढांचा है जो Large Language Models (LLMs) के वैज्ञानिक पूर्व ज्ञान को रसायन-सूचित विकासवादी खोज (chemistry-informed evolutionary search), सरोगेट-असिस्टेड ओरेकल (surrogate-assisted oracles), और मेमोरी-आधारित परिशोधन (memory-based refinement) के साथ एकीकृत करता है।

यह ढांचा चार मुख्य चरणों वाले एक पुनरावृत्ति लूप (iterative loop) के माध्यम से संचालित होता है (पेपर में चित्र 1):

A. परिकल्पना पीढ़ी (Hypothesis Generation - LLM Agent)

• इनपुट: LLM को कार्य विवरण, विशिष्ट गुण बाधाएं (जैसे, "Band gap $\ge$ 2.5 eV"), और रसायन-सूचित डिजाइन सिद्धांत (Chemistry-Informed Design Principles) वाला एक प्रॉम्प्ट प्राप्त होता है।
• डिजाइन सिद्धांत: ये स्पष्ट नियम हैं (जैसे, समान समूह का तत्व प्रतिस्थापन, स्टोइकीओमेट्री संरक्षण, ऑक्सीकरण अवस्था निरंतरता) जो विकासवादी ऑपरेटरों के रूप में कार्य करते हैं। ये LLM को यादृच्छिक स्ट्रिंग्स के बजाय रासायनिक रूप से प्रशंसनीय उम्मीदवारों को उत्पन्न करने के लिए निर्देशित करते हैं।
• आउटपुट: LLM उम्मीदवारों को एक संरचित क्रिस्टलोग्राफिक इंफॉर्मेशन फाइल (CIF) प्रारूप (लैटिस, प्रजाति और निर्देशांक का JSON प्रतिनिधित्व) में उत्पन्न करता है, जिससे डाउनस्ट्रीम मूल्यांकन के लिए मशीन-पठनीयता सुनिश्चित होती है।

B. भौतिक-रासायनिक गुण भविष्यवाणी (Physicochemical Property Prediction - Surrogate Oracle)

• श्रेणीबद्ध भविष्यवाणी (Hierarchical Prediction): उम्मीदवारों का कुशलतापूर्वक मूल्यांकन करने के लिए, LLEMA दो-स्तरीय ओरेकल का उपयोग करता है:
  1. डेटाबेस लुकअप: सबसे पहले, यह सटीक या समानता-आधारित मिलान के लिए क्यूरेटेड डेटाबेस (जैसे, Materials Project) को क्वेरी करता है।
  2. सरोगेट मॉडल: आउट-ऑफ-डिस्ट्रीब्यूशन (नए) उम्मीदवारों के लिए, यह पूर्व-प्रशिक्षित ग्राफ न्यूरल नेटवर्क (विशेष रूप से CGCNN और ALIGNN) का उपयोग करता है ताकि फॉर्मेशन ऊर्जा, बैंड गैप और इलास्टिक मापांक जैसे गुणों की भविष्यवाणी की जा सके।
• यह दृष्टिकोण खोज लूप के दौरान डेंसिटी फंक्शनल थ्योरी (DFT) की कम्प्यूटेशनल लागत को बचाते हुए उच्च सटीकता बनाए रखता है।

C. फिटनेस मूल्यांकन और मेमोरी प्रबंधन (Fitness Assessment & Memory Management)

• स्कोरिंग: उम्मीदवारों को एक बहु-उद्देश्यीय फलन (function) का उपयोग करके स्कोर किया जाता है जो बाधाओं के साथ संरेखण को मापता है।
• मेमोरी पूल: उम्मीदवारों को दो पूलों में विभाजित किया जाता है:
  • सफलता पूल ($M^+$): वे उम्मीदवार जो सभी कठिन बाधाओं को पूरा करते हैं।
  • विफलता पूल ($M^-$): वे उम्मीदवार जो बाधाओं का उल्लंघन करते हैं।
• बहु-द्वीप विकास (Multi-Island Evolution): जनसंख्या को $m$ स्वतंत्र "द्वीपों" (समानांतर खोज प्रक्षेपवक्र) में विभाजित किया जाता है। यह समयपूर्व अभिसरण (premature convergence) को रोकता है और विविध अन्वेषण को प्रोत्साहित करता है।
• फीडबैक लूप: आगामी पुनरावृत्तियों में, LLM को मेमोरी पूलों से सफल और विफल उदाहरणों (प्रदर्शनों) के मिश्रण के साथ, डिजाइन नियमों के साथ प्रॉम्प्ट किया जाता है। यह LLM को निर्णय सीमाओं को सीखने और अपनी पीढ़ी रणनीति को परिष्कृत करने की अनुमति देता है।

D. एल्गोरिदम प्रवाह (Algorithm Flow)

प्रक्रिया $N$ बार पुनरावृत्त होती है। प्रत्येक चरण में, LLM पिछले पीढ़ियों की मेमोरी से नमूने लेता है (द्वीप स्कोर के आधार पर बोल्ट्ज़मैन सैंपलिंग द्वारा निर्देशित) ताकि नए उम्मीदवार उत्पन्न किए जा सकें, जिनका बाद में मूल्यांकन किया जाता है और मेमोरी में वापस फीड किया जाता है।

3. प्रमुख योगदान (Key Contributions)

1. संश्लेषणीयता-जागरूक विकासवादी ढांचा (Synthesizability-Aware Evolutionary Framework): LLEMA पहला ऐसा ढांचा है जो स्पष्ट रूप से रसायन-सूचित विकासवादी ऑपरेटरों को LLM जेनरेशन के साथ एकीकृत करता है, यह सुनिश्चित करता है कि उत्पन्न उम्मीदवार न केवल नवीन हैं बल्कि ऊष्मागतिक रूप से व्यवहार्य और संश्लेषणीय भी हैं।
2. मेमोरी-आधारित विकास (Memory-Based Evolution): यह सफलता/विफलता मेमोरी पूल और बहु-द्वीप सैंपलिंग का उपयोग करने वाले एक तंत्र को पेश करता है ताकि LLM को उच्च-प्रदर्शन वाले क्षेत्रों की ओर पुनरावृत्ति से निर्देशित किया जा सके, जबकि "मेमोरिज़ेशन" समस्या (ज्ञात डेटा को दोहराना) को सक्रिय रूप से कम किया जा सके।
3. बाधित बहु-उद्देश्यीय सूत्रीकरण (Constrained Multi-Objective Formulation): यह सामग्रियों की खोज को एक बाधित बहु-उद्देश्यीय अनुकूलन समस्या के रूप में पुनर्गठित करता है, जो एकल मेट्रिक्स को अलग से अनुकूलित करने के बजाय प्रतिस्पर्धी गुणों (जैसे, स्थिरता बनाम प्रदर्शन) को संयुक्त रूप से अनुकूलित करता है।
4. व्यापक बेंचमार्क सूट (LLEMABench): लेखक इलेक्ट्रॉनिक्स, ऊर्जा, कोटिंग्स, ऑप्टिक्स और एयरोस्पेस में फैले 14 यथार्थवादी, औद्योगिक रूप से प्रासंगिक कार्यों का एक नया बेंचमार्क पेश करते हैं। पिछले बेंचमार्क के विपरीत, ये कार्य सख्त बहु-बाधा आवश्यकताओं और ऊष्मागतिक स्थिरता को लागू करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

ढांचे का मूल्यांकन GPT-4o-mini और Mistral-Small-3.2 को बैकबोन के रूप में उपयोग करके अत्याधुनिक बेसलाइन (CDVAE, G-SchNet, DiffCSP, MatterGen, और LLMatDesign) के विरुद्ध किया गया।

• प्रदर्शन मेट्रिक्स (Performance Metrics):

  • हिट रेट (Hit Rate): LLEMA ने सभी बेसलाइन को काफी पीछे छोड़ दिया। उदाहरण के लिए, "वाइड-बैंडगैप सेमीकंडक्टर्स" कार्य में, LLEMA (GPT) ने 33.62% हिट रेट प्राप्त किया, जबकि MatterGen के लिए यह 6.56% और LLMatDesign के लिए 4.19% था।
  • स्थिरता (Stability): LLEMA ने बहुत अधिक मात्रा में ऊष्मागतिक रूप से स्थिर उम्मीदवार उत्पन्न किए (जैसे, वाइड-बैंडगैप के लिए 22.42% स्थिरता बनाम MatterGen के लिए 4.15%)।
  • पारेटो फ्रंट गुणवत्ता (Pareto Front Quality): LLEMA ने बहु-उद्देश्यीय कार्यों में पारेटो फ्रंट पर प्रभुत्व जमाया, और ऐसे समाधान खोजे जो किसी भी बेसलाइन की तुलना में प्रतिस्पर्धी उद्देश्यों को बेहतर ढंग से संतुलित करते थे।

• एब्लेशन अध्ययन (Ablation Studies):

  • नियम-निर्देशित जेनरेशन (Rule-Guided Generation): रसायन नियमों को हटाने से वैधता और स्थिरता में भारी गिरावट आई।
  • मेमोरी-आधारित परिशोधन (Memory-Based Refinement): मेमोरी के साथ LLEMA ने "मेमोरिज़ेशन रेट" (मौजूदा डेटाबेस में पाए गए उम्मीदवार) को ~95% (वैनिला LLM) से घटाकर ~16% कर दिया, जो यह सिद्ध करता है कि यह नवीन यौगिकों की खोज करता है।
  • सरोगेट मॉडल (Surrogate Models): सरोगेट मॉडल को हटाने से हिट रेट लगभग शून्य तक गिर गया, जो आउट-ऑफ-डिस्ट्रीब्यूशन उम्मीदवारों के मूल्यांकन के लिए उनकी आवश्यकता को रेखांकित करता है।

• गुणात्मक विश्लेषण (Qualitative Analysis):

  • अभिसरण (Convergence): सिस्टम ने शुरुआती पुनरावृत्तियों में मेमोरिज़ेशन से वास्तविक अन्वेषण (exploration) की ओर एक स्पष्ट संक्रमण दिखाया।
  • रासायनिक विविधता (Chemical Diversity): LLEMA ने आवर्त सारणी के व्यापक दायरे का अन्वेषण किया, जिसमें विविध संक्रमण धातुओं (transition metals) और दुर्लभ-पृथ्वी तत्वों को शामिल किया गया जिन्हें बेसलाइन मिस कर गए थे।
  • DFT सत्यापन (DFT Validation): LLEMA के उम्मीदवारों के एक उपसमुच्चय पर उच्च-निष्ठा वाले DFT गणनाओं ने पुष्टि की कि सरोगेट-अनुमानित उम्मीदवारों में से 96% ने कार्य बाधाओं को पूरा किया, जो सरोगेट-असिस्टेड लूप की विश्वसनीयता को प्रमाणित करता है।

5. महत्व (Significance)

• अंतराल को पाटना (Bridging the Gap): LLEMA सफलतापूर्वक LLMs के व्यापक ज्ञान और सामग्री विज्ञान की कठोर बाधाओं के बीच के अंतर को पाटता है। यह केवल "प्रॉम्प्ट इंजीनियरिंग" से आगे बढ़कर एक सिद्धांत-आधारित, फीडबैक-संचालित विकासवादी खोज की ओर बढ़ता है।
• खोज में तेजी लाना (Accelerating Discovery): संश्लेषण क्षमता और बहु-उद्देश्यीय ट्रेड-ऑफ को लागू करके, LLEMA केवल सैद्धांतिक उम्मीदवारों के बजाय व्यावहारिक, वास्तविक दुनिया की सामग्रियों की खोज को तेज करने का मार्ग प्रदान करता है।
• स्केलेबिलिटी (Scalability): यह ढांचा डेटा-कुशल है, जिसमें LLM या सरोगेट मॉडल के पुन: प्रशिक्षण की आवश्यकता नहीं होती है, जिससे यह डेटा-दुर्लभ शासन (data-scarce regimes) और नई सामग्री श्रेणियों के लिए लागू करने योग्य बनता है।
• भविष्य का प्रभाव (Future Impact): यह कार्य "AI for Science" के लिए एक नया प्रतिमान स्थापित करता है, जो यह प्रदर्शित करता है कि जनरेटिव AI को विकासवादी एल्गोरिदम और डोमेन-विशिष्ट नियमों के साथ जोड़कर भौतिक विज्ञान में जटिल, बहु-बाधित अनुकूलन समस्याओं को हल किया जा सकता है।

कोड और डेटा: लेखकों ने कोड को https://github.com/scientific-discovery/LLEMA पर और बेंचमार्क डेटासेट को https://huggingface.co/datasets/nikhilsa/LLEMABench पर ओपन-सोर्स कर दिया है।