Regression with Large Language Models for Materials and Molecular Property Prediction
यह शोध पत्र प्रदर्शित करता है कि केवल संरचना-आधारित (composition-based) इनपुट स्ट्रिंग्स का उपयोग करते हुए फाइन-ट्यून्ड LLaMA 3 मॉडल, QM9 डेटासेट पर मानक मशीन लर्निंग मॉडलों की सटीकता के बराबर और GPT-3.5 एवं GPT-4o से बेहतर प्रदर्शन करते हुए, आणविक और भौतिक गुणों की प्रभावी ढंग से भविष्यवाणी कर सकते हैं, जिससे बड़े भाषा मॉडलों की अपने पारंपरिक अनुप्रयोगों से परे जाने और पदार्थ विज्ञान में जटिल भौतिक घटनाओं को हल करने की क्षमता का प्रदर्शन होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-इंटेलिजेंट रोबोट लाइब्रेरियन है जिसका नाम LLaMA है। वर्षों से, यह लाइब्रेरियन एक ही चीज़ के लिए प्रसिद्ध रहा है: किताबें पढ़ना, कहानियाँ लिखना, भाषाओं का अनुवाद करना और लोगों से बातें करना। यह शब्दों का उस्ताद है।
लेकिन क्या होगा अगर आप इस शब्द-प्रेमी रोबोट को कुछ बिल्कुल अलग करने के लिए कहें? क्या होगा अगर आप उससे एक वैज्ञानिक की तरह काम करने और सामग्रियों के भौतिक गुणों (physical properties) की भविष्यवाणी करने के लिए कहें—जैसे कि एक धातु कितनी मजबूत है, एक बैटरी बिजली का संचालन कितनी अच्छी तरह करती है, या एक अणु (molecule) कितनी ऊर्जा रखता है?
यह शोध पत्र उस प्रयोग की कहानी है जहाँ शोधकर्ताओं ने LLaMA को एक "शब्द जादूगर" से बदलकर एक "विज्ञान भविष्यवक्ता" (science predictor) बनाने की कोशिश की।
बड़ा प्रयोग: क्या एक लाइब्रेरियन गणित कर सकता है?
आमतौर पर, किसी सामग्री के व्यवहार की भविष्यवाणी करने के लिए, वैज्ञानिक जटिल गणितीय मॉडल का उपयोग करते हैं जिन्हें सामग्री के बहुत विस्तृत "ब्लूप्रिंट" की आवश्यकता होती है। उन्हें यह जानने की आवश्यकता होती है कि प्रत्येक परमाणु वास्तव में कहाँ स्थित है, जैसे कि एक शहर का 3D मानचित्र।
लेकिन शोधकर्ता यह देखना चाहते थे कि क्या LLaMA इसे केवल एक नाम के साथ कर सकता है।
- इनपुट (Input): 3D मानचित्र के बजाय, उन्होंने LLaMA को केवल एक टेक्स्ट स्ट्रिंग दी। एक धातु के लिए, यह केवल एक रासायनिक रेसिपी थी (जैसे, "Al2O3")। एक अणु के लिए, यह एक टेक्स्ट कोड था जिसे SMILES कहा जाता है (जो परमाणुओं के जुड़ने का एक संक्षिप्त रूप है)।
- कार्य (Task): उन्होंने LLaMA से उस टेक्स्ट स्ट्रिंग को पढ़ने और एक संख्या का अनुमान लगाने के लिए कहा (जैसे, "यह धातु 1200 डिग्री पर पिघलेगी")।
परिणाम: "अच्छा, बेहतर और सर्वश्रेष्ठ"
यहाँ बताया गया है कि LLaMA ने कैसा प्रदर्शन किया, कुछ सरल उपमाओं (analogies) का उपयोग करते हुए:
1. "जीरो-शॉट" प्रयास (अप्रशिक्षित लाइब्रेरियन)
सबसे पहले, उन्होंने LLaMA को बिना किसी प्रशिक्षण के अनुमान लगाने के लिए कहा। यह एक आपदा थी। लाइब्रेरियन बस खाली आँखों से देखता रहा, कुछ नहीं बोला, या "-1000 डिग्री" जैसे अजीब नंबर बताने लगा।
- सबक: आप एक शब्द-विशेषज्ञ को पहले उसे नियम सिखाए बिना विज्ञान करने के लिए नहीं कह सकते।
2. "फाइन-ट्यूनिंग" प्रयास (प्रशिक्षित लाइब्रेरियन)
फिर, उन्होंने LLaMA को "फाइन-ट्यून" किया। कल्पना कीजिए कि आप उसे हजारों उदाहरण दे रहे हैं: "यह टेक्स्ट 'Al2O3' है, और यहाँ सही उत्तर है: 'पिघलने का बिंदु 2072°C है'।" उन्होंने सैकड़ों हजारों उदाहरणों के लिए ऐसा किया।
- परिणाम: LLaMA वास्तव में अच्छा हो गया! इसने आश्चर्यजनक सटीकता के साथ संख्याओं की भविष्यवाणी करना शुरू कर दिया।
- तुलना:
- रैंडम गेसिंग (Random Guessing) के मुकाबले: LLaMA ने इसे बुरी तरह हरा दिया।
- मानक कंप्यूटर मॉडल (Random Forests) के मुकाबले: LLaMA प्रतिस्पर्धी था। यह अक्सर उन मानक कंप्यूटर मॉडलों के समान या उनसे थोड़ा बेहतर था जिनका उपयोग वर्षों से किया जा जा रहा है।
- "सुपर-साइंटिस्ट्स" (State-of-the-Art AI) के मुकाबले: यहीं पर LLaMA लड़खड़ा गया। दुनिया के सबसे अच्छे AI मॉडल (जैसे PAMNet) परमाणुओं के उन विस्तृत 3D मानचित्रों का उपयोग करते हैं। क्योंकि LLaMA के पास केवल "टेक्स्ट रेसिपी" थी और "3D मैप" नहीं था, इसलिए वह "सुपर-साइंटिस्ट्स" की तुलना में लगभग 5 से 10 गुना कम सटीक था।
3. "टेक्स्ट फॉर्मेट" की बहस (SMILES बनाम InChI)
शोधकर्ताओं ने LLaMA को अलग-अलग प्रकार की टेक्स्ट रेसिपी देने की कोशिश की।
- SMILES: एक छोटा, सरल टेक्स्ट कोड।
- InChI: एक लंबा, अधिक जटिल टेक्स्ट कोड।
- विजेता: LLaMA ने SMILES के साथ बहुत तेज़ी से और बेहतर तरीके से सीखा। यह ऐसा है जैसे किसी रेसिपी को सामग्री की एक छोटी, प्रभावशाली सूची (SMILES) से सीखने की कोशिश करना बनाम एक लंबे, कानूनी दस्तावेज़ (InChI) से सीखना। छोटा, सरल टेक्स्ट रोबोट के समझने के लिए आसान था।
4. "कोऑर्डिनेट्स" टेस्ट (3D मैप देना)
उन्होंने यह देखने के लिए LLaMA को परमाणुओं के पूर्ण 3D निर्देशांक (विस्तृत ब्लूप्रिंट) दिए कि क्या इससे मदद मिलेगी।
- आश्चर्य: इससे ज्यादा मदद नहीं मिली! पूर्ण 3D मैप के साथ भी, LLaMA में कोई महत्वपूर्ण सुधार नहीं हुआ। यह सुझाव देता है कि LLaMA टेक्स्ट में पैटर्न खोजने में बहुत अच्छा है, लेकिन यह अभी भी जटिल 3D ज्यामिति (geometry) को प्रोसेस करने के लिए सबसे अच्छा उपकरण नहीं हो सकता है।
यह क्यों मायने रखता है?
इसे इस तरह सोचिए:
- पारंपरिक AI एक विशेष मैकेनिक की तरह है। यदि आप एक विशिष्ट कार इंजन को ठीक करना चाहते हैं, तो वे सबसे अच्छे हैं। लेकिन यदि आप उनके पास एक नाव का इंजन लाते हैं, तो शायद उन्हें नहीं पता होगा कि क्या करना है। उन्हें हर काम के लिए विशिष्ट उपकरणों (विस्तृत डेटा) की आवश्यकता होती है।
- LLaMA (एक LLM) एक यूनिवर्सल ट्रांसलेटर की तरह है। इसके पास विशिष्ट उपकरण नहीं हैं, लेकिन यह समस्या की भाषा को समझता है। यदि आप किसी सामग्री को टेक्स्ट में वर्णित कर सकते हैं, तो LLaMA विवरण और परिणाम के बीच के संबंध को सीख सकता है।
मुख्य निष्कर्ष (Takeaway):
यह पेपर साबित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) बहुमुखी (versatile) हैं। वे केवल ईमेल लिखने या चैट करने के लिए नहीं हैं; वे वास्तव में टेक्स्ट विवरण पढ़कर भौतिक विज्ञान के तथ्यों की भविष्यवाणी करना सीख सकते हैं।
- पक्ष (Pros): आपको जटिल 3D मॉडल या भारी डेटा इंजीनियरिंग की आवश्यकता नहीं है। आपको बस सामग्री के टेक्स्ट नाम की आवश्यकता है। यह विज्ञान के लिए एक "प्लग-एंड-प्ले" दृष्टिकोण है।
- विपक्ष (Cons): यह वर्तमान में उन विशेष "सुपर-साइंटिस्ट" AI मॉडलों की तुलना में धीमा और कम सटीक है जो विस्तृत 3D डेटा का उपयोग करते हैं।
निचोड़ (The Bottom Line)
शोधकर्ता कह रहे हैं: "हमने इन AI चैटबॉट्स का उपयोग करने का एक नया तरीका खोजा है। वे अभी तक पूर्ण वैज्ञानिक नहीं हैं, लेकिन वे केवल अपने नाम पढ़कर सामग्रियों के गुणों का अनुमान लगाने में आश्चर्यजनक रूप से अच्छे हैं। यह रसायन विज्ञान और सामग्री विज्ञान में इन शक्तिशाली, लचीले उपकरणों का उपयोग करने का मार्ग खोलता है, जिससे भविष्य में नई सामग्रियों की खोज करना आसान हो सकता है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।