How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls
यह शोधपत्र यह प्रदर्शित करता है कि यूनिवर्सल मशीन-लर्नड इंटरएटॉमिक पोटेंशियल (uMLIPs) के वर्तमान बेंचमार्क अक्सर डेटाबेस कन्वेंशन और DFT शोर जैसे अनियंत्रित चरों के कारण अविश्वसनीय होते हैं, जो यह प्रकट करता है कि कठोर नियंत्रण लागू करने से बेंचमार्क आर्टिफैक्ट्स उजागर होते हैं और यह दर्शाता है कि कोई भी एकल मीट्रिक इन मॉडलों को मिश्र धातु स्थिरता (alloy stability) के लिए सटीक रूप से रैंक नहीं कर सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ वैज्ञानिक जेट इंजनों के लिए नए अति-मजबूत मिश्र धातुओं (alloys) या अत्यधिक कुशल बैटरी को बिना लैब में धातु के एक भी टुकड़े को पिघलाए डिजाइन कर सकते हैं। इसके बजाय, वे शक्तिशाली कंप्यूटर सिमुलेशन का उपयोग करते हैं ताकि यह अनुमान लगाया जा सके कि परमाणु कैसे व्यवहार करेंगे। इन भविष्यवाणियों के लिए स्वर्ण मानक (gold standard) 'डेंसिटी फंक्शनल थ्योरी' (DFT) नामक एक जटिल गणितीय विधि है। DFT को एक मास्टर शेफ के रूप में सोचें जो किसी भी सामग्री के लिए सही रेसिपी तैयार कर सकता है, लेकिन एक अकेला व्यंजन बनाने में उसे घंटों लग जाते हैं। यह सटीक है, लेकिन बहुत धीमा है।
काम को तेज करने के लिए, शोधकर्ताओं ने "मशीन-लर्नड इंटरएटॉमिक पोटेंशियल" (या MLIPs) बनाए हैं। आप इन्हें 'सू-शेफ' (सहायक रसोइया) के रूप में देख सकते हैं। उन्होंने मास्टर शेफ की रेसिपी का इतनी गहराई से अध्ययन किया है कि वे पलक झपकते ही भोजन तैयार कर सकते हैं, और उसका स्वाद लगभग वैसा ही होता है। ये AI मॉडल बेहतर होते जा रहे हैं, और वैज्ञानिक यह देखने की दौड़ में हैं कि उनमें से सर्वश्रेष्ठ कौन सा है। वे आमतौर पर एक स्कोरबोर्ड देखकर इनका निर्णय लेते हैं: वह मॉडल जो ऊर्जा (energy) की भविष्यवाणी करने में सबसे कम गलतियाँ करता है, शीर्ष स्थान प्राप्त करता है। लेकिन यहाँ एक पेंच है: क्या होगा अगर स्कोरबोर्ड खुद ही पक्षपाती हो? क्या होगा अगर "गलतियाँ" इसलिए नहीं हैं क्योंकि सू-शेफ खराब खाना बना रहा है, बल्कि इसलिए हैं क्योंकि वह जज के अलग मापने वाले कप (measuring cup) का उपयोग कर रहा है?
यह ठीक वही पहेली है जिसे गस हार्ट और जैकब पर्सली के एक नए अध्ययन में सुलझाया गया है। उन्होंने केवल लीडरबोर्ड को सच मानकर छोड़ देने के बजाय, जासूस की तरह काम करने का फैसला किया। उन्होंने चौदह सबसे लोकप्रिय AI मॉडलों को इकट्ठा किया और उन्हें एक विशिष्ट प्रकार की सामग्री: धात्विक मिश्र धातुओं (metallic alloys) पर परखा। लेकिन केवल उनके ऊर्जा स्कोर की जाँच करने के बजाय, उन्होंने "नियंत्रणों" (controls) की एक श्रृंखला पेश की—जैसे कि एक वैज्ञानिक अपने परिणाम पर भरोसा करने से पहले अपने उपकरणों की जाँच करता है। उन्होंने पूछा: क्या ये मॉडल वास्तव में परमाणुओं के भौतिक विज्ञान (physics) को सीख रहे हैं, या वे केवल उस डेटाबेस के विशिष्ट नियमों और परंपराओं को याद कर रहे हैं जिस पर उन्हें प्रशिक्षित किया गया था?
परिणाम चौंकाने वाले थे। शोध पत्र बताता है कि इन AI मॉडलों को रैंक करने का वर्तमान तरीका गहराई से त्रुटिपूर्ण है। जो मॉडल सार्वजनिक लीडरबोर्ड पर "विजेता" दिखते हैं, वे अक्सर इसलिए नहीं जीतते क्योंकि वे अधिक बुद्धिमान हैं; वे इसलिए जीतते हैं क्योंकि उन्हें संयोग से उसी डेटाबेस की विशिष्ट परंपराओं का लाभ मिला जिसका उपयोग उन्हें टेस्ट करने के लिए किया गया था। जब शोधकर्ताओं ने इन कृत्रिम लाभों को हटा दिया, तो रैंकिंग नाटकीय रूप से बदल गई। कुछ मॉडल जो विफल दिख रहे थे, वे वास्तव में काफी अच्छे निकले, जबकि "चैंपियंस" का नेतृत्व काफी कम हो गया।
यहाँ अध्ययन के वास्तविक निष्कर्ष दिए गए हैं, जिन्हें जांच की कहानी के रूप में विभाजित किया गया है:
"मापने वाले कप" की समस्या
कल्प Imagine कीजिए कि आप एक बेकिंग प्रतियोगिता का निर्णय ले रहे हैं। जज कहता है, "विजेता वह है जिसका केक सबसे कम वजन का है।" लेकिन पता चलता है कि जज का तराजू कैलिब्रेटेड है और वह वास्तविक वजन से 50 ग्राम अधिक दिखा रहा है। यदि कोई बेकर उसी तराजू का उपयोग करता है, तो उसका केक एकदम सही दिखेगा। यदि दूसरा बेकर एक अलग तराजू का उपयोग करता है, तो उसका केक बुरा दिखेगा, भले ही वह समान आकार का हो।
परमाणुओं की दुनिया में, "वजन" सामग्री की ऊर्जा है। अध्ययन में पाया गया कि कई AI मॉडल एक विशिष्ट डेटाबेस (जैसे कि Materials Project) पर प्रशिक्षित थे जो इन ऊर्जाओं की गणना के लिए नियमों का एक विशिष्ट सेट उपयोग करता है। जब शोधकर्ताओं ने इन मॉडलों का परीक्षण एक पूरी तरह से अलग, स्वतंत्र डेटाबेस (जिसे AFLOW कहा जाता है) के विरुद्ध किया, तो मॉडल खराब दिखे। लेकिन जब शोधकर्ताओं ने मॉडलों को "पुनः कैलिब्रेट" किया—अनिवार्य रूप से उन्हें यह बताया कि, "हे, नए जज के समान मापने वाले कप का उपयोग करें"—तो त्रुटियाँ गायब हो गईं।
उदाहरण के लिए, एक मॉडल जिसे CHGNet कहा जाता है, ऐसा लग रहा था कि वह बड़ी गलतियाँ (लगभग 126 meV/atom) कर रहा है। लेकिन एक बार जब शोधकर्ताओं ने "मापने वाले कप" के अंतर को ठीक कर दिया, तो त्रुटि घटकर 73 meV/atom रह गई। इसकी "विफलता" का आधे से अधिक हिस्सा केवल हिसाब-किताब (bookkeeping) का अंतर था, न कि कौशल की कमी।
"रिलैक्सेशन" का जाल
एक और चाल परीक्षण में थी। जब मॉडलों से परमाणु व्यवस्था के आकार की भविष्यवाणी करने के लिए कहा गया, तो कुछ मॉडलों को "रिलैक्स" (परमाणुओं को सबसे आरामदायक स्थिति खोजने के लिए हिलने-डुलने) की अनुमति दी गई, जबकि अन्य को उसी सटीक स्थिति में रहने के लिए मजबूर किया गया जो जज ने दी थी। एक मॉडल, eqV2, जज के दिमाग को पढ़ने में इतना अच्छा था कि वह बहुत कम हिला। उसे उच्च स्कोर मिला क्योंकि उसे बहुत अधिक काम नहीं करना पड़ा।
शोधकर्ताओं ने महसूस किया कि यह अनुचित था। उन्होंने परीक्षण को फिर से चलाया ताकि प्रत्येक मॉडल एक ही स्थान से शुरू करे और समान मात्रा में कार्य करे। जब उन्होंने ऐसा किया, तो "विजेता" का नेतृत्व आधा रह गया। यह पता चला कि शीर्ष मॉडल आवश्यक रूप से बेहतर भौतिकी नहीं जानता था; उसके पास बस एक बढ़त थी क्योंकि टेस्ट को जिस तरह से सेट किया गया था।
"नॉइज़ फ्लोर" (Noise Floor) का वास्तविकता परीक्षण
लेखकों ने एक मौलिक प्रश्न भी पूछा: एक मॉडल कितना अच्छा हो सकता है? उन्होंने "परफेक्ट" गणनाओं के तीन अलग-अलग, स्वतंत्र डेटाबेस (AFLOW, Alexandria, और OQBD) की तुलना की। उन्होंने पाया कि ये "परफेक्ट" डेटाबेस भी एक-दूसरे से पूरी तरह सहमत नहीं हैं। वे विशिष्ट संरचनाओं पर लगभग 6 से 8 meV/atom के बीच असहमत होते हैं, और जब स्थितियाँ जटिल होती हैं, तो यह 24–28 meV/atom तक पहुँच जाता है।
इसका अर्थ है कि एक "नॉइज़ फ्लोर" (शोर की सीमा) मौजूद है। कोई भी AI कितना भी स्मार्ट क्यों न हो, वह दो मानव-निर्मित, पूर्ण गणनाओं के बीच के मतभेद से अधिक सटीक नहीं हो सकता। अध्ययन में पाया गया कि सर्वश्रेष्ठ मॉडल अब इस सीमा तक पहुँच रहे हैं। वे उतने ही सटीक हैं जितना कि संदर्भ डेटा (reference data) अनुमति देता है। लेकिन पत्र चेतावनी देता है कि हम उन्हें एक meV के सूक्ष्म अंश से भी अधिक बारीकी से रैंक नहीं कर सकते। यदि दो मॉडल के बीच का अंतर बहुत कम है, तो यह केवल रैंडम नॉइज़ हो सकता है, न कि गुणवत्ता में वास्तविक अंतर।
"खराब संदर्भ" का रहस्य
सबसे आश्चर्यजनक निष्कर्षों में से एक "खराब" डेटा से संबंधित था। शोधकर्ताओं ने देखा कि लगभग 15,000 संरचनाओं के लिए, AI मॉडल बहुत गलत लग रहे थे, और लक्ष्य से बहुत पीछे थे। ऐसा लग रहा था कि मॉडल बुरी तरह विफल हो रहे हैं।
लेकिन जब उन्होंने करीब से देखा, तो उन्हें एहसास हुआ कि मॉडल वास्तव में सही थे, और "जज" (संदर्भ डेटाबेस) गलत था। मॉडल एक-दूसरे के साथ सहमत थे, लेकिन संदर्भ डेटाबेस एक आउटलायर (outlier) था। एक "कंसेंसस डिटेक्टर" (consensus detector) का उपयोग करके (यह पूछना कि मॉडल क्या सोचते हैं और देखना कि क्या जज उनसे सहमत है), उन्होंने पाया कि अधिकांश "विफलताएं" वास्तव में संदर्भ डेटा में त्रुटियां थीं, न कि मॉडलों में। एक बार जब उन्होंने इन्हें फ़िल्टर कर दिया, तो "बुरे संदर्भों" की संख्या 15,000 से घटकर केवल 1,700 रह गई।
वास्तविक विजेता और हारने वाले
सभी नियंत्रण लागू करने के बाद—मापने वाले कपों को ठीक करना, शुरुआती स्थितियों को समान बनाना और खराब डेटा को फ़िल्टर करना—लीडरबोर्ड बहुत अलग दिखता है।
- नए, बड़े डेटासेट ( "OMat" पीढ़ी) पर प्रशिक्षित मॉडल आम तौर पर बेहतर प्रदर्शन करते थे और नई, अनदेखी संरचनाओं के लिए सामान्यीकरण (generalize) करने में सक्षम थे।
- पुराने डेटा ( "MP" पीढ़ी) पर प्रशिक्षित मॉडल संघर्ष करते थे, लेकिन MACE-MPA जैसे कुछ मॉडल, "मापने वाले कप" के पूर्वाग्रह को हटाने के बाद स्थिरता की भविष्यवाणी करने में काफी अच्छे थे।
- कच्चे ऊर्जा स्कोर का "विजेता", eqV2, अभी भी अच्छा प्रदर्शन करता था, लेकिन उसकी बढ़त उतनी विशाल नहीं थी जितनी दिख रही थी। वास्तव में, जब अन्य महत्वपूर्ण गुणों जैसे कि सामग्री कितनी सख्त है (elasticity) या यह कितनी अच्छी तरह से स्थिर आकृतियों की भविष्यवाणी करता है, को देखा गया, तो रैंकिंग पूरी तरह से बदल गई।
निष्कर्ष
पत्र यह निष्कर्ष निकालता है कि एक बेंचमार्क केवल अपने नियंत्रणों (controls) के भरोसे ही विश्वसनीय होता है। आप केवल स्कोरबोर्ड पर एक संख्या को देखकर विजेता घोषित नहीं कर सकते। "सर्वश्रेष्ठ" मॉडल पूरी तरह से इस बात पर निर्भर करता है कि आप क्या माप रहे हैं। यदि आप जानना चाहते हैं कि कौन सा मॉडल ऊर्जा की भविष्यवाणी करने में सबसे अच्छा है, तो एक जीत सकता है। यदि आप जानना चाहते हैं कि कौन सा मॉडल स्थिरता की भविष्यवाणी करने में सबसे अच्छा है, तो दूसरा जीत सकता है।
लेखक तर्क देते हैं कि क्षेत्र को केवल एक "सर्वश्रेष्ठ" मॉडल के पीछे भागने के बजाय एक "वेक्टर" (vector) के रूप में मेट्रिक्स का उपयोग करने की आवश्यकता है—विभिन्न स्कोर की एक सूची जो पूरी कहानी बताती है। वे यह भी सुझाव देते हैं कि अगली पीढ़ी के मॉडलों को केवल एक कम त्रुटि संख्या प्राप्त करने की कोशिश नहीं करनी चाहिए; उन्हें स्वतंत्र डेटा के विरुद्ध परखा जाना चाहिए, मानव गणनाओं के "नॉइज़ फ्लोर" के विरुद्ध कैलिब्रेट किया जाना चाहिए, और उस जटिल, वास्तविक दुनिया की केमिस्ट्री को संभालने की क्षमता पर परखा जाना चाहिए जो केवल प्रशिक्षण डेटा की पुनरावृत्ति नहीं है।
संक्षेप में, AI मॉडल अविश्वसनीय रूप से अच्छे हो रहे हैं—इतने अच्छे कि वे हमारी अपनी मानव गणनाओं की सीमाओं से टकरा रहे हैं। लेकिन यह जानने के लिए कि वास्तव में सर्वश्रेष्ठ कौन है, हमें अपने मापने वाले कपों के साथ धोखाधड़ी करना बंद करना होगा और पूरी तस्वीर को देखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।