Weight-Space Programming for Materials Science
यह शोध पत्र प्रदर्शित करता है कि एक सामान्य-उद्देश्य वाला भाषा मॉडल सामग्री विज्ञान कार्यों के टेक्स्ट विवरणों से एक छोटे न्यूरल नेटवर्क के भार (weights) को सीधे उत्पन्न कर सकता है, जो एक ऐसा ज़ीरो-शॉट प्रायर (zero-shot prior) बनाता है जो पारंपरिक डिस्क्रिप्टर्स से काफी बेहतर प्रदर्शन करता है और किसी भी प्रायोगिक लेबल की उपलब्धता से पहले ही उम्मीदवारों को रैंक करके और बायेसियन ऑप्टिमाइज़ेशन रिग्रेट (Bayesian optimization regret) को कम करके प्रारंभिक-चरण की खोज को तेज़ करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
नए पदार्थों की खोज अक्सर एक गहन अनिश्चितता के स्थान से शुरू होती है। कल्पना कीजिए कि एक धातुविद् (metallurgist) धातु मिश्र धातुओं (metal alloys) के विशाल, अज्ञात परिदृश्य के सामने खड़ा है, जो एक विशिष्ट संयोजन खोजने की कोशिश कर रहा है जो मजबूत, हल्का और ताप-प्रतिरोधी हो। इस क्षेत्र में नेविगेट करने के लिए, वे आमतौर पर डेटा से बने मानचित्र पर भरोसा करते हैं, लेकिन एक नए अभियान की शुरुआत में, वह मानचित्र खाली होता है। अभी तक कोई माप नहीं हुआ है, न ही कोई प्रयोगात्मक परिणाम हैं जो मार्ग दिखा सकें। पारंपरिक रूप से, पहले कुछ दर्जन प्रयोग उन बुनियादी नियमों को फिर से खोजने में खर्च होते हैं जिन्हें विशेषज्ञ दशकों से जानते हैं, जैसे कि यह तथ्य कि कुछ तत्वों को मिलाने से टाइटेनियम कठोर हो जाता है। यह शुरुआत करने का एक धीमा और महंगा तरीका है, जो स्पष्ट चीजों पर कीमती संसाधनों को बर्बाद करता है जबकि वास्तविक नवीन खोजें छिपी रह जाती हैं। चुनौती यह है कि खोज को एक शुरुआती बढ़त दी जाए, यानी एक बूंद धातु पिघलाने से पहले ही परिदृश्य का एक कच्चा खाका प्रदान किया जाए।
टेक्सास ए एंड एम यूनिवर्सिटी के शोधकर्ताओं के एक दल ने इस समस्या के एक आश्चर्यजनक समाधान की खोज की है, जो आर्टिफिशियल इंटेलिजेंस के तीव्र उदय से प्रेरित है। उन्होंने एक बड़े लैंग्वेज मॉडल (large language model) से—एक ऐसा कंप्यूटर प्रोग्राम जिसे मानव पाठ की एक विशाल लाइब्रेरी, जिसमें वैज्ञानिक शोध पत्र और पाठ्यपुस्तकें शामिल हैं, पर प्रशिक्षित किया गया है—कुछ ऐसा करने के लिए कहा जो उसे स्पष्ट रूप से नहीं सिखाया गया था: एक छोटे कंप्यूटर प्रोग्राम के आंतरिक निर्देशों को लिखना जो पदार्थ के गुणों की भविष्यवाणी करता है। मॉडल को सीखने के लिए डेटा खिलाने के बजाय, उन्होंने बस शब्दों में कार्य का वर्णन किया, जैसे कि "टाइटेनियम मिश्र धातु की कठोरता की भविष्यवाणी करें," और मॉडल से उन विशिष्ट संख्याओं को उत्पन्न करने के लिए कहा जो एक छोटे नेटवर्क को कार्यशील बना सकें। यह प्रक्रिया, जिसे लेखक 'वेट-स्पेस प्रोग्रामिंग' (weight-space programming) कहते हैं, मॉडल को उदाहरणों से सीखने वाले छात्र के रूप में नहीं, बल्कि एक जानकार विशेषज्ञ के रूप में देखती है जो पदार्थ विज्ञान के सामान्य सिद्धांतों को याद कर सकता है और उन्हें सीधे एक कार्यात्मक उपकरण में अनुवादित कर सकता है। परिणाम एक ऐसा भविष्यवक्ता (predictor) है जिसने उस विशिष्ट मिश्र धातु का एक भी लेबल वाला उदाहरण नहीं देखा है जिसका उसे मूल्यांकन करने के लिए कहा जा रहा है, फिर भी इसमें धातुओं के बारे में उसने जो कुछ भी पढ़ा है, उसका संचित ज्ञान समाहित है।
शोधकर्ताओं ने विभिन्न कठिन कार्यों पर इस दृष्टिकोण का परीक्षण किया, जिसमें प्रयोगात्मक मिश्र धातुओं की यांत्रिक शक्ति से लेकर जटिल क्रिस्टल संरचनाओं के गलनांक (melting points) तक शामिल थे। हर मामले में, उन्होंने लैंग्वेज मॉडल के आउटपुट की तुलना उन सबसे सरल अनुमानों से की जो एक मानव बिना किसी डेटा के लगा सकता है, जैसे कि यह मानना कि किसी पदार्थ की मजबूती उसके अवयवों का औसत होती है। परिणाम चौंकाने वाले थे। हजारों संभावित मिश्र धातुओं को रैंक करने के लिए पूछे जाने पर, जब सबसे मजबूत धातुओं को ढूँढा गया, तो लैंग्वेज मॉडल द्वारा लिखे गए नेटवर्क सरल नियमों की तुलना में सही क्रम का अनुमान लगाने में काफी बेहतर थे। उदाहरण के लिए, टाइटेनियम मिश्र धातुओं से जुड़े एक परीक्षण में, मॉडल की भविष्यवाणियां मानक "रूल ऑफ मिक्सचर्स" (rule of mixtures) की तुलना में बहुत अधिक सटीक थीं, जो अक्सर तत्वों के बीच जटिल अंतःक्रियाओं को पकड़ने में विफल रहता है। कुछ मामलों में, उम्मीदवारों को रैंक करने की मॉडल की क्षमता एक परिष्कृत कंप्यूटर मॉडल के समान थी जिसे सैकड़ों वास्तविक दुनिया के मापों पर प्रशिक्षित किया गया था, भले ही लैंग्वेज मॉडल ने शून्य माप देखे थे।
हालाँकि, इस पद्धति की असली ताकत इस बात में निहित है कि यह वैज्ञानिकों की मदद कैसे करती है जब वे अंततः डेटा एकत्र करना शुरू करते हैं। एक विशिष्ट खोज अभियान में, वैज्ञानिक यह तय करने के लिए एक सांख्यिकीय उपकरण का उपयोग करते हैं जिसे 'गौसियन प्रोसेस' (Gaussian process) कहा जाता है कि अगला प्रयोग कौन सा किया जाए। इस उपकरण को काम करने के लिए एक शुरुआती बिंदु, एक "प्रायर" (prior) अनुमान की आवश्यकता होती है। आमतौर पर, यह अनुमान सपाट और गैर-सूचनात्मक होता है, जिसका अर्थ है कि जब तक पहले कुछ डेटा बिंदु नहीं आ जाते, तब तक यह कुछ भी नहीं सीख पाता। इस शोधकर्ता के नेटवर्क को इस शुरुआती बिंदु के रूप में उपयोग करके, शोधकर्ताओं ने पाया कि खोज नाटकीय रूप रूप से अधिक कुशल हो गई। केवल पांच प्रयोगात्मक मापों के साथ, लैंग्वेज मॉडल के पूर्व ज्ञान द्वारा निर्देशित प्रणाली ने शून्य से शुरू होने वाली प्रणाली की तुलना में कहीं अधिक तेज़ी से बेहतर उम्मीदवारों को खोजा। इसने चार में से पांच प्रयोगात्मक कार्यों में, जो प्रयोग बर्बाद हुए या "रिग्रेट" (regret) हुए, उन्हें कम कर दिया। मॉडल ने केवल रैंडम नंबरों का अनुमान नहीं लगाया; इसने वास्तविक भौतिक रुझानों को एनकोड किया, जैसे कि कैसे कुछ तत्व धातु को मजबूत करते हैं या कैसे विशिष्ट चरणों (phases) की उपस्थिति गलनांक को प्रभावित करती है, प्रभावी रूप से एक जानकार मार्गदर्शक के रूप में कार्य किया जो हाइकर के पहला कदम उठाने से पहले ही परिदृश्य को जानता है।
यह लाभ खोज के शुरुआती चरणों में सबसे अधिक स्पष्ट होता है, जब डेटा दुर्लभ होता है। जैसे-जैसे अधिक माप एकत्र किए जाते हैं, सिस्टम स्वाभाविक रूप से लैंग्वेज मॉडल के अनुमान पर कम और वास्तविक डेटा पर अधिक निर्भर होता जाता है, जिससे यह सुनिश्चित होता है कि अंतिम परिणाम वास्तविकता पर आधारित हों। शोधकर्ताओं ने यह भी परीक्षण किया कि क्या यह दृष्टिकोण कंप्यूटर द्वारा निर्मित लाखों क्रिस्टल संरचनाओं में से छानने में मदद कर सकता है, एक ऐसा कार्य जहाँ अधिकांश उम्मीदवार बेकार होते हैं। लैंग्वेज मॉडल के नेटवर्क ने सबसे आशाजनक क्रिस्टल की सफलतापूर्वक पहचान की, और उन मानक मॉडलों के समान प्रदर्शन किया जिन्हें सैकड़ों लेबल वाले उदाहरणों पर प्रशिक्षित किया गया था। यह सुझाव देता है कि मॉडल ने तत्वों के नामों और कार्य के विवरण से ही एक मजबूत पदार्थ के सूक्ष्म संकेतों को पहचानना सीख लिया था।
हालाँकि, अध्ययन ने इस दृष्टिकोण की सीमाओं को भी उजागर किया। लैंग्वेज मॉडल कोई जादुई भविष्यवक्ता नहीं है; यह नई भौतिकी का आविष्कार नहीं कर सकता या उन समस्याओं को हल नहीं कर सकता जहाँ उत्तर पूरी तरह से विशिष्ट, अनदेखे डेटा पर निर्भर करता है। कुछ कार्यों पर, जैसे कि किसी पदार्थ की ऊष्मा क्षमता (heat capacity) की भविष्यवाणी करना, सरल भौतिक नियम लैंग्वेज मॉडल के समान ही प्रभावी थे, और कुछ अन्य मामलों में, मॉडल सटीक मूल्यों की भविष्यवाणी करने में संघर्ष करता था, भले ही वह सामान्य रैंकिंग को सही ढंग से प्राप्त कर लेता था। शोधकर्ताओं ने पाया कि मॉडल की सफलता खुद लैंग्वेज मॉडल की गुणवत्ता पर बहुत अधिक निर्भर थी; सबसे मजबूत मॉडलों ने सबसे उपयोगी नेटवर्क बनाए, जबकि कमजोर मॉडलों ने बहुत कम मदद की। इसके अलावा, यह पद्धति तब सबसे अच्छा काम करती है जब इनपुट स्पष्ट रूप से नामित भौतिक मात्राएं हों, जैसे स्टील में कार्बन का प्रतिशत, न कि अमूर्त संख्याएं जिनका कोई भौतिक अर्थ नहीं है।
अंततः, यह कार्य प्रदर्शित करता है कि आधुनिक लैंग्वेज मॉडल्स के प्रशिक्षण डेटा के भीतर मौजूद विशाल ज्ञान को वैज्ञानिक खोज को गति देने के लिए निकाला और पुन: उपयोग किया जा सकता है। मॉडल के आंतरिक ज्ञान को उन संख्याओं के सेट में बदलकर जो एक भविष्यवाणी को संचालित करती हैं, शोधकर्ता बुनियादी रुझानों को सीखने के धीमे और डेटा-भूखे चरण को दरकिनार कर सकते हैं। लैंग्वेज मॉडल मानव विज्ञान के सामूहिक ज्ञान और एक नए सामग्री अभियान की विशिष्ट, डेटा-रहित जरूरतों के बीच एक सेतु के रूप में कार्य करता है। यह प्रयोगों या डेटा के सावधानीपूर्वक विश्लेषण की आवश्यकता को प्रतिस्थापित नहीं करता है, बल्कि यह एक शक्तिशाली, डेटा-मुक्त शुरुआती बिंदु प्रदान करता है जो वैज्ञानिकों को स्पष्ट चीजों को छोड़कर तुरंत अज्ञात पर ध्यान केंद्रित करने की अनुमति देता है। एक ऐसे क्षेत्र में जहाँ प्रत्येक प्रयोग में समय और पैसा खर्च होता है, खोज एल्गोरिदम को उस आधार पर एक शुरुआती बढ़त देना जो उसने पहले ही पढ़ लिया है, एक दशक की भटकने और कुछ महीनों में एक बड़ी सफलता के बीच का अंतर हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।