Transformers Discover Molecular Structure Without Graph Priors
यह शोध पत्र प्रदर्शित करता है कि सामान्य-उद्देश्य वाले ट्रांसफॉर्मर मॉडल, जब बिना किसी स्पष्ट ग्राफ-आधारित भौतिक पूर्वधारणाओं (priors) के प्रशिक्षित किए जाते हैं, तो वे केवल डेटा से ही प्रमुख आणविक संरचनाओं और अंतःक्रिया पैटर्न को स्वायत्त रूप से खोज सकते हैं, जिससे भौतिकी-सूचित आर्किटेक्चर के प्रतिस्पर्धी सटीकता प्राप्त होती है और यह सुझाव मिलता है कि ऐसे इंडक्टिव बायस (inductive biases) सीखने योग्य हो सकते हैं न कि अनिवार्य रूप से आवश्यक।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक लंबे समय से भौतिक दुनिया कैसे काम करती है, इसे समझने के लिए कंप्यूटर सिमुलेशन पर भरोसा करते आए हैं, जैसे कि परमाणु कैसे जुड़कर अणु बनाते हैं या तनाव के तहत सामग्रियां कैसे प्रतिक्रिया करती हैं। पारंपरिक रूप से, इन सिमुलेशन को भौतिकी के ज्ञात नियमों को सीधे सॉफ्टवेयर में हाथ से कोड करके बनाया जाता है। यह दृष्टिकोण सुनिश्चित करता है कि परिणाम तर्कसंगत हों, लेकिन यह अक्सर धीमा और महंगा होता है। हाल के वर्षों में, एक अलग पद्धति उभरी है: नियमों का पालन करने के बजाय डेटा में पैटर्न खोजने के लिए मशीन लर्निंग का उपयोग करना। हालांकि इस डेटा-संचालित दृष्टिकोण ने भाषा और छवि पहचान जैसे क्षेत्रों में क्रांति ला दी है, लेकिन भौतिकी में इसके अनुप्रयोग को सावधानी से देखा गया है। कई विशेषज्ञों का मानना था कि बिना कंप्यूटर को ज्यामिति और बल के नियमों के बारे में स्पष्ट रूप से सिखाए, वह परमाणुओं के जटिल नृत्य को समझने में विफल रहेगा। प्रचलित विचार यह था कि एक मशीन लर्निंग मॉडल को विश्वसनीय परिणाम उत्पन्न करने के लिए परमाणुओं के बीच परस्पर क्रिया के एक अंतर्निहित मानचित्र की आवश्यकता होती है।
कैलिफोर्निया विश्वविद्यालय, बर्कले और लॉरेंस बर्कले नेशनल लेबोरेटरी के शोधकर्ताओं की एक टीम ने इस धारणा की सीमाओं का परीक्षण करने का निर्णय लिया। उन्होंने एक मौलिक प्रश्न पूछा: यदि आप एक शक्तिशाली कंप्यूटर मॉडल को अणुओं के बारे में भारी मात्रा में डेटा देते हैं, लेकिन उसे भौतिकी के किसी भी पूर्व-प्रोग्राम किए गए नियमों का उपयोग करने से रोकते हैं, तो क्या वह फिर भी खुद से समझ सकता है कि भौतिक दुनिया कैसे काम करती है? इसका उत्तर खोजने के लिए, उन्होंने आणविक संरचनाओं के एक विशाल डेटासेट पर 'ट्रांसफॉर्मर' नामक एक प्रकार के आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित किया। यह डेटासेट, जिसे OMol25 कहा जाता है, विभिन्न विन्यासों में व्यवस्थित परमाणुओं के लाखों उदाहरणों के साथ-साथ प्रत्येक व्यवस्था से जुड़ी ऊर्जा और बलों को समाहित करता है। महत्वपूर्ण रूप से, शोधकर्ताओं ने मॉडल को परमाणुओं के व्यवहार के बारे में कोई विशेष निर्देश नहीं दिए, न ही उन्हें परमाणुओं को एक विशिष्ट ज्यामितीय क्रम में देखने के लिए मजबूर किया। उन्होंने बस इसे कच्चे निर्देशांक (raw coordinates) दिए और इसे सीखने दिया।
परिणाम आश्चर्यजनक थे। मॉडल, जिसने भौतिकी के बिना शुरुआत की थी, उसने स्वायत्त रूप से उन्हीं पैटर्नों की खोज की जिन्हें वैज्ञानिकों ने दशकों तक हाथ से कोड करने में बिताया था। जैसे-जैसे मॉडल ने डेटा को प्रोसेस किया, इसने एक-दूसरे से दूरी के आधार पर परमाणुओं के बीच के संबंधों को अलग-अलग महत्व देने के लिए सीखा। अपने सीखने के शुरुआती चरणों में, मॉडल ने पास के परमाणुओं पर तीव्रता से ध्यान केंद्रित किया, और जैसे-जैसे दूरी बढ़ी, उसका ध्यान तेजी से कम हो गया। यह व्यवहार उस तरीके को दर्शाता है जिससे भौतिक बल, जैसे कि इलेक्ट्रोस्टैटिक रिपल्शन (स्थिर वैद्युत प्रतिकर्षण), कम दूरी पर तेजी से कमजोर होते हैं। जैसे-जैसे मॉडल अधिक गहरा और जटिल होता गया, इसने लंबी दूरी की परस्पर क्रियाओं को शामिल करने के लिए अपना ध्यान केंद्रित किया, और अंततः एक ऐसा पैटर्न सीखा जो शास्त्रीय भौतिकी में दूरी के साथ ऊर्जा के क्षय (decay) के तरीके से मेल खाता है। उल्लेखनीय रूप से, मॉडल ने यह भी पता लगा लिया कि एक परमाणु के वातावरण को समझने के लिए उसे कितनी दूर तक देखने की आवश्यकता है—एक कटऑफ दूरी जो पारंपरिक मॉडलों के लिए मानव विशेषज्ञों द्वारा मैन्युअल रूप से चुने गए मूल्यों के साथ पूरी तरह से मेल खाती है।
शोधकर्ताओं ने यह भी देखा कि मॉडल अपने दृष्टिकोण में कठोर नहीं था। एक परमाणु के चारों ओर देखने के लिए एक निश्चित नियम का उपयोग करने के बजाय, इसने आसपास के स्थान के घनत्व के आधार पर अपने व्यवहार को अनुकूलित किया। भीड़भाड़ वाले क्षेत्रों में जहाँ परमाणु कसकर पैक थे, मॉडल ने अपने निकटतम पड़ोसियों पर ध्यान केंद्रित किया। विरल क्षेत्रों में जहाँ परमाणु अलग-थलग थे, इसने दूर के साथियों को शामिल करने के लिए अपने फोकस का विस्तार किया। इस लचीलेपन ने मॉडल को एक कठोर, पूर्व-प्रोग्राम किए गए सिस्टम की तुलना में विभिन्न आणविक वातावरणों को अधिक प्रभावी ढंग से संभालने की अनुमति दी। इसके अलावा, मॉडल ने रासायनिक तत्वों को आवर्त सारणी (periodic table) को प्रतिबिंबित करने वाले तरीके से व्यवस्थित करना सीखा, जिसमें उत्कृष्ट गैसों को एक साथ रखा गया और धातुओं को उनके रासायनिक परिवारों के आधार पर क्रमबद्ध किया गया, और यह सब बिना कभी यह जाने कि आवर्त सारणी क्या है।
यह सुनिश्चित करने के लिए कि ये निष्कर्ष केवल विशिष्ट डेटासेट का एक संयोग नहीं हैं, टीम ने मॉडल की स्केलिंग क्षमता का परीक्षण किया। उन्होंने पाया कि जैसे-जैसे उन्होंने डेटा की मात्रा और मॉडल का आकार बढ़ाया, इसके प्रदर्शन में एक अनुमानित और सुसंगत सुधार हुआ। यह व्यवहार, जिसे 'स्केलिंग लॉ' कहा जाता है, शक्तिशाली मशीन लर्निंग प्रणालियों की एक पहचान है और यह सुझाव देता है कि मॉडल की भौतिकी की समझ वास्तविक और मजबूत थी। उन परीक्षणों में, जहाँ मॉडल को पानी के अणुओं की ऊर्जा की भविष्यवाणी करने के लिए कहा गया था, इसने ऐसे परिणाम दिए जो उच्च-स्तरीय भौतिक सिमुलेशन और वास्तविक दुनिया के प्रयोगात्मक मापों दोनों से मेल खाते थे। इससे भी अधिक आश्चर्यजनक रूप से, जब शोधकर्ताओं ने मॉडल के एक बहुत बड़े संस्करण को प्रशिक्षित किया, तो इसने सटीकता के मामले में उन विशिष्ट मॉडलों के बराबर प्रदर्शन किया जिन्हें विशेष रूप से उनके आर्किटेक्चर में भौतिक नियमों को शामिल करने के लिए डिज़ाइन किया गया था।
ये निष्कर्ष बताते हैं कि मानव-अभिय engineered नियमों और सीखे गए ज्ञान के बीच की सीमा पहले की तुलना में अधिक तरल है। अध्ययन इंगित करता है कि पर्याप्त डेटा के साथ, सामान्य-उद्देश्य वाले मशीन लर्निंग मॉडल स्वयं भौतिक अंतःक्रिया के मौलिक सिद्धांतों की खोज कर सकते हैं। इसका मतलब यह नहीं है कि मानव-निर्मित मॉडल अप्रचलित हो गए हैं; बल्कि, यह सुझाव देता है कि सामान्य-उद्देश्य वाले आर्किटेक्चर वैज्ञानिक मॉडलिंग के लिए एक मजबूत शुरुआती बिंदु के रूप में कार्य कर सकते हैं। डेटा पर संरचना को प्रकट करने के लिए निर्भर करके, वैज्ञानिक उन लचीले समाधानों को उजागर कर सकते हैं जो अनुमान लगाना कठिन है या जिन्हें पहले से लिखना मुश्किल है। यह कार्य वैज्ञानिक खोज के एक नए मार्ग को खोलता है, जहाँ कंप्यूटर केवल निर्देशों का पालन करने वाला कैलकुलेटर नहीं है, बल्कि डेटा के भीतर ब्रह्मांड के नियमों को खोजने में सक्षम एक शिक्षार्थी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।