Comparative study of ensemble-based uncertainty quantification methods for neural network interatomic potentials
यह अध्ययन न्यूरल नेटवर्क इंटरएटॉमिक पोटेंशियल के लिए एन्सेम्बल-आधारित अनिश्चितता परिमाणीकरण विधियों का व्यवस्थित रूप से मूल्यांकन करता है और यह प्रकट करता है कि आउट-ऑफ-डिस्ट्रीब्यूशन व्यवस्थाओं में भविष्य कहनेवाला परिशुद्धता अक्सर सटीकता को विश्वसनीय रूप से दर्शाने में विफल रहती है, जो त्रुटियों के बढ़ने के साथ अक्सर स्थिर हो जाती है या घट जाती है, जिससे बड़े पैमाने के सामग्री सिमुलेशन में सटीकता के प्रॉक्सी के रूप में अनिश्चितता अनुमानों के उपयोग की मौलिक सीमाओं को उजागर किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: कंप्यूटर को यह सिखाना कि परमाणु कैसे व्यवहार करते हैं
कल्पना कीजिए कि आप एक कंप्यूटर को यह सिखाने की कोशिश कर रहे हैं कि कोई पदार्थ (जैसे हीरा या ग्रेफाइट) कैसा व्यवहार करेगा। ऐसा करने के लिए, कंप्यूटर को एक "नियम पुस्तिका" की आवश्यकता होगी जिसे इंटरएटॉमिक पोटेंशियल (Interatomic Potential) कहा जाता है।
परंपरागत रूप से, वैज्ञानिकों ने दो प्रकार की नियम पुस्तिकाओं का उपयोग किया:
- "अति-सटीक" नियम पुस्तिका (क्वांटम भौतिकी): यह अविश्वसनीय रूप से सटीक है लेकिन केवल कुछ परमाणुओं की गणना करने के लिए भी सुपरकंप्यूटर को वर्षों लग जाते हैं। यह बड़े प्रोजेक्टों के लिए बहुत धीमी है।
- "तेज़ और सरल" नियम पुस्तिका (शास्त्रीय भौतिकी): यह बहुत तेज़ है लेकिन अक्सर गलतियाँ करती है क्योंकि यह बहुत सरल होती है।
मशीन लर्निंग (ML) एक नया मध्य मार्ग है। यह एक छात्र की तरह है जो "अति-सटीक" नियम पुस्तिका को हजारों बार पढ़ता है और फिर अपने स्वयं के "तेज़ और सरल" संस्करण को लिखना सीख जाता है जो लगभग उतना ही अच्छा होता है लेकिन सेकंडों में चलता है। इन्हें मशीन लर्निंग इंटरएटॉमिक पोटेंशियल (MLIPs) कहा जाता है।
समस्या: "आत्मविश्वासी मूर्ख" (The Confident Fool)
मुख्य समस्या जिसका यह पेपर समाधान करता है, वह है विश्वास (Trust)।
जब एक छात्र (AI) एक पाठ्यपुस्तक से सीखता है, तो वह उन सवालों के जवाब देने में माहिर होता है जो बिल्कुल किताब में दिए गए सवालों जैसे दिखते हैं। इसे "इन-डिस्ट्रीब्यूशन" (In-Distribution - ID) कहा जाता है। यदि आप पूछते हैं, "कमरे के तापमान पर हीरे के परमाणु की ऊर्जा क्या है?" और AI ने इसे अपने प्रशिक्षण (training) में देखा है, तो वह संभवतः सही उत्तर देगा।
लेकिन क्या होगा यदि आप AI से ऐसा सवाल पूछें जो उसने कभी नहीं देखा है? शायद आप अत्यधिक दबाव में स्थित हीरे के बारे में पूछते हैं, या किसी अजीब आकार के बारे में जिसका उसने पहले कभी सामना नहीं किया? इसे "आउट-ऑफ-डिस्ट्रीब्यूशन" (Out-of-Distribution - OOD) कहा जाता है।
पेपर पूछता है: क्या AI हमें बता सकता है कि वह कब केवल अनुमान लगा रहा है?
AI की दुनिया में, हम अनिश्चितता को एक "कॉन्फिडेंस मीटर" (आत्मविश्वास मापने वाला यंत्र) के रूप में उपयोग करते हैं।
- उच्च अनिश्चितता (High Uncertainty): "मुझे इस उत्तर के बारे में यकीन नहीं है। मैं गलत हो सकता हूँ।" (यह अच्छा है! यह हमें सावधान करता है।)
- कम अनिश्चितता (Low Uncertainty): "मैं 100% निश्चित हूँ!" (यह अच्छा है यदि उत्तर सही है, लेकिन खतरनाक है यदि उत्तर गलत है।)
इस पेपर का लक्ष्य यह देखना है कि क्या AI का "कॉन्फिडेंस मीटर" वास्तव में काम करता है जब AI को नए और अजीब डेटा पर अनुमान लगाने के लिए मजबूर किया जाता है।
प्रयोग: "स्टडी ग्रुप" की उपमा
इसकी जांच करने के लिए, शोधकर्ताओं ने केवल एक AI को प्रशिक्षित नहीं किया। उन्होंने एक ही AI के 100 अलग-अलग संस्करण प्रशिक्षित किए। इसे 100 छात्रों के एक स्टडी ग्रुप के रूप में सोचें जिन्होंने एक ही पाठ्यपुस्तक का अध्ययन किया है, लेकिन उन्होंने अलग-अलग तरीकों से नोट्स लिए हैं, इसलिए उन्होंने थोड़ा अलग सीखा है।
उन्होंने इस "स्टडी ग्रुप" (Ensembles) को बनाने के चार अलग-अलग तरीके इस्तेमाल किए:
- बूटस्ट्रैप (Bootstrap): प्रत्येक छात्र को अभ्यास समस्याओं का एक थोड़ा अलग सेट देना (डेटा का पुन: नमूना लेना)।
- ड्रॉपआउट (Dropout): परीक्षण के दौरान, कुछ छात्रों को याद से "चुप रहने" के लिए कहना (उनके ज्ञान के कुछ हिस्सों को अनदेखा करना) ताकि समूह को अलग-अलग विचारों पर निर्भर रहना पड़े।
- रैंडम इनिशियलाइजेशन (Random Initialization): प्रत्येक छात्र को पढ़ाई शुरू करने से पहले एक अलग "शुरुआती दिमाग" (रैंडम वेट्स) देना।
- स्नैपशॉट्स (Snapshots): एक छात्र के मस्तिष्क की उसकी पढ़ाई के दौरान अलग-अलग समय पर फोटो लेना और उन फोटोओं को अलग-अलग छात्रों के रूप में मानना।
फिर शोधकर्ताओं ने इन सभी 100 छात्रों से कार्बन परमाणुओं के तीन रूपों: हीरा (Diamond), ग्रेफाइट (Graphite) और ग्राफीन (Graphene) के व्यवहार की भविष्यवाणी करने के लिए कहा।
परिणाम: "आत्मविश्वासी मूर्ख" फिर से सामने आया
यहाँ उन्हें क्या मिला, इसे सरल भाषा में समझा गया है:
1. जब AI अपने "कंफर्ट ज़ोन" में होता है (In-Distribution)
जब सवाल उन चीजों के समान थे जिनका अध्ययन AI ने किया था, तो "कॉन्फिडेंस मीटर" ठीक से काम कर रहा था। यदि AI अनिश्चित था, तो वह आमतौर पर इसलिए था क्योंकि उत्तर वास्तव में कठिन था। यदि वह आत्मविश्वासी था, तो वह आमतौर पर सही था। यहाँ अलग-अलग स्टडी ग्रुप्स (ensembles) का प्रदर्शन समान था।
2. जब AI को किनारे तक धकेला जाता है (Out-of-Distribution)
यहीं से चीजें अजीब और खतरनाक हो गईं। शोधकर्ताओं ने AI से पूछा कि क्या होता है जब सामग्रियों को चरम स्थितियों (जैसे हीरे को इतना दबाना कि वह बहुत छोटा हो जाए) में खींचा या दबाया जाता है।
- AI ने उत्तर गलत दिया। (भविdeteชัน वास्तविकता से मेल नहीं खाती थी)।
- AI ने कहा, "मैं 100% सुनिश्चित हूँ कि मैं सही हूँ!" (अनिश्चितता मीटर कम ही रहा)।
यह "आत्मविश्वासी मूर्ख" की समस्या है। AI आत्मविश्वास के साथ तथ्य गढ़ रहा है।
3. एक विरोधाभासी मोड़ (The Counter-Intuitive Twist)
आमतौर पर, आप उम्मीद करेंगे कि जैसे-जैसे AI उस चीज़ से दूर जाएगा जो वह जानता है, उसका "कॉन्फिडेंस मीटर" बढ़ना चाहिए (उसे कहना चाहिए, "ओह, यह अजीब है, मुझे यकीन नहीं है!")।
लेकिन पेपर में इसके विपरीत पाया गया।
जैसे-जैसे AI को अज्ञात की ओर और अधिक धकेला गया (अत्यधिक खिंचाव या दबाव), उसका आत्मविश्वास नहीं बढ़ा। वास्तव में, कभी-कभी यह कम हो गया या स्थिर रहा।
- उपमा: कल्पना कीजिए कि एक ड्राइवर है जिसने केवल एक सीधे हाईवे पर गाड़ी चलाई है। यदि आप अचानक उसे एक खड़ी, बर्फीली पहाड़ी राह पर गाड़ी चलाने के लिए कहते हैं, तो एक समझदार ड्राइवर कहेगा, "मुझे नहीं पता कि यह कैसे करना है!"
- AI ड्राइवर: इसके बजाय, AI ड्राइवर कहता है, "मैं एक विशेषज्ञ हूँ!" और 100 मील प्रति घंटे की रफ्तार से गाड़ी चलाता रहता है, भले ही वह दुर्घटनाग्रस्त होने वाला हो। स्थिति जितनी खतरनाक होती गई, "अनिश्चितता" उतनी ही घटती गई।
ऐसा क्यों होता है?
शोधकर्ताओं ने यह समझने की कोशिश की कि AI गलत होने पर भी इतना आत्मविश्वासी क्यों हो जाता है। उनके पास कुछ सिद्धांत थे:
- "सैचुरेटेड ब्रेन" (Saturated Brain): AI एक गणितीय फंक्शन का उपयोग करता है (जैसे एक स्विच जो या तो पूरी तरह से "ऑन" हो सकता है या "ऑफ")। जब इनपुट बहुत चरम हो जाता है, तो स्विच बस "ऑन" पर अटक जाता है, जिससे AI को लगता है कि वह उत्तर को पूरी तरह से जानता है, भले ही वह केवल अनुमान लगा रहा हो।
- "ग्रुपथिंक" प्रभाव (Groupthink Effect): भले ही उनके पास 100 अलग-अलग AI मॉडल थे, लेकिन एक पूरी तरह से नई स्थिति का सामना करते समय, वे सभी एक ही गलत अनुमान लगाने लगे। क्योंकि वे सभी एक-दूसरे से सहमत थे, सिस्टम ने सोचा, "चूंकि हम 100 लोग सहमत हैं, इसलिए हम सही ही होंगे!"
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हम उन चीजों के बारे में भविष्यवाणियां करने के लिए AI के "कॉन्फिडेंस मीटर" पर आँख मूंदकर भरोसा नहीं कर सकते जिन्हें उसने पहले नहीं देखा है।
- यदि AI कहता है, "मुझे यकीन नहीं है," तो यह एक अच्छा संकेत है।
- लेकिन यदि AI कहता है, "मैं 100% सुनिश्चित हूँ," तो वह झूठ बोल रहा हो सकता है। वह आत्मविश्वास के साथ कुछ पूरी तरह से गलत बता रहा हो सकता है।
लेखक चेतावनी देते हैं कि वैज्ञानिकों को बड़े, नए प्रयोगों के लिए इन AI उपकरणों का उपयोग करते समय बहुत सावधान रहने की आवश्यकता है। सिर्फ इसलिए कि कंप्यूटर कहता है कि वह सटीक है, इसका मतलब यह नहीं है कि वह वास्तव में है, खासकर जब कंप्यूटर को वह काम करने के लिए कहा जा रहा हो जिसके लिए उसे प्रशिक्षित नहीं किया गया था।
मुख्य बात: मशीन लर्निंग मटेरियल साइंस की दुनिया में, सटीकता (Precision/Confidence) का अर्थ सत्य (Accuracy/Truth) नहीं है। आप एक ही समय में बहुत सटीक और पूरी तरह से गलत भी हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।