Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

कंक्रीट पृथ्वी पर सबसे व्यापक रूप से उपयोग की जाने वाली निर्माण सामग्री है, फिर भी इसका उत्पादन वैश्विक कार्बन उत्सर्जन का एक प्रमुख स्रोत है। इसे अधिक हरा-भरा (ग्रीन) बनाने के लिए, इंजीनियर अक्सर इसमें फ्लाई ऐश, सिलिका फ्यूम, या चावल की भूसी की राख जैसे कृषि अपशिष्ट जैसे पूरक पदार्थों को मिलाते हैं। ये अदिitifves सीमेंट के कुछ हिस्से को प्रतिस्थापित करते हैं, जिससे कार्बन फुटप्रिंट कम होता है और अक्सर रासायनिक हमलों का प्रतिरोध करने की कंक्रीट की क्षमता में सुधार होता है। कंक्रीट संरचनाओं के लिए सबसे विनाशकारी खतरों में से एक सल्फेट हमला है, जो तब होता है जब मिट्टी, भूजल या समुद्री जल से सल्फेट आयन सामग्री में रिस जाते हैं। ये आयन सीमेंट के साथ प्रतिक्रिया करते हैं, जिससे क्रिस्टल बनते हैं जो कंक्रीट को अंदर से फैलाते हैं और उसमें दरारें डाल देते हैं, जिससे अंततः वह ढह जाता है। ऐसी कठोर परिस्थितियों में कंक्रीट का एक विशिष्ट मिश्रण कितने समय तक टिकेगा, इसका पूर्वानुमान लगाना सुरक्षा और स्थिरता के लिए महत्वपूर्ण है, लेकिन पारंपरिक परीक्षण विधियां धीमी हैं, जिनमें परिणाम देने में कभी-कभी वर्षों लग जाते हैं।

हाल के वर्षों में, वैज्ञानिकों ने अपनी भविष्यवाणियों को तेज करने के लिए मशीन लर्निंग की ओर रुख किया है। सैकड़ों पिछले प्रयोगों से प्राप्त डेटा को कंप्यूटर एल्गोरिदम में फीड करके, शोधकर्ता इस उम्मीद में हैं कि वे ऐसे मॉडल बना सकें जो सल्फेट के संपर्क में आने के बाद एक नए कंक्रीट मिश्रण की मजबूती का तुरंत अनुमान लगा सकें। इन मॉडलों को उनकी उच्च सटीकता के लिए सराहा गया है, जो अक्सर लगभग पूर्ण सटीकता के साथ परिणामों का अनुमान लगाने का दावा करते हैं। हालांकि, एक नया जांच यह सुझाव देती है कि यह प्रशंसित सटीकता एक भ्रम हो सकती है। अध्ययन से पता चलता है कि मॉडल वास्तव में कंक्रीट के जटिल रसायन विज्ञान को नहीं सीख रहे हैं; इसके बजाय, वे केवल उन विशिष्ट प्रयोगशालाओं को याद कर रहे हैं जिन्होंने डेटा तैयार किया था। जब वास्तव में नई स्थितियों पर इनका परीक्षण किया जाता है, तो ये मॉडल पूरी तरह से विफल हो जाते हैं, जिससे इंजीनियरिंग में आर्टिफिशियल इंटेलिजेंस की विश्वसनीयता का मूल्यांकन करने के तरीके पर गंभीर सवाल उठते हैं।

इस अध्ययन के पीछे के शोधकर्ताओं ने तीन अलग-अलग, सहकर्मी-समीक्षित (पीयर-रिव्यूड) वैज्ञानिक शोध पत्रों से संकलित एक डेटासेट की जांच करने का निर्णय लिया। इन शोध पत्रों में विभिन्न पूरक सामग्रियों वाले मोर्टार मिश्रणों के लिए संपीड़न शक्ति (compressive strength)—वह बल जो एक नमूने को कुचलने के लिए आवश्यक है—के माप शामिल थे। डेटा में विभिन्न प्रकार के एडिटिव्स, प्रतिस्थापन के विभिन्न स्तर और कुछ दिनों से लेकर एक वर्ष से अधिक की अवधि तक सल्फेट समाधानों के संपर्क को कवर किया गया था। कुल मिलाकर, टीम ने 94 विशिष्ट अवलोकन एकत्र किए। उन्होंने इस संयुक्त डेटा पर एक मानक मशीन लर्निंग मॉडल को 'रैंडम स्प्लिटिंग' नामक तकनीक का उपयोग करके प्रशिक्षित किया, जो उद्योग का मानक है। इस पद्धति में, कंप्यूटर सभी डेटा बिंदुओं को शफल (क्रमबद्ध) करता है और परीक्षण के लिए 20 प्रतिशत हिस्सा अलग रख देता है, जबकि शेष 80 प्रतिशत का उपयोग प्रशिक्षण के लिए किया जाता है। चूंकि डेटा विभिन्न अध्ययनों से आया था, इसलिए इस रैंडम शफल ने यह सुनिश्चित किया कि प्रशिक्षण और परीक्षण दोनों सेटों में मूल तीन स्रोतों में से सभी के नमूने शामिल हों।

जब शोधकर्ताओं ने इस मानक रैंडम पद्धति का उपयोग करके मॉडल का मूल्यांकन किया, तो परिणाम शानदार थे। मॉडल ने एक ऐसा स्कोर प्राप्त किया जो यह दर्शाता था कि वह डेटा में लगभग 97 प्रतिशत भिन्नता की व्याख्या कर सकता है। प्रदर्शन का यह स्तर ठीक वही है जो वैज्ञानिक साहित्य में रिपोर्ट किया जाता है, और यह सुझाव देता है कि मॉडल ने कंक्रीट के घटकों और उनकी स्थायित्व के बीच के संबंध में महारत हासिल कर ली है। मॉडल ऐसा प्रतीत हुआ जैसे उसने यह सीख लिया है कि कुछ एडिटिव्स, जैसे सिलिका फ्यूम, आम तौर पर मजबूत कंक्रीट की ओर ले जाते हैं, जबकि अन्य इसे कमजोर कर सकते हैं। ऐसा लगा जैसे उसने रासायनिक हमले के तहत कंक्रीट के व्यवहार को नियंत्रित करने वाले नियमों को सफलतापूर्वक डिकोड कर लिया है।

हालांकि, शोधकर्ताओं को संदेह था कि यह उच्च स्कोर भ्रामक है। वे जानते थे कि प्रत्येक तीन मूल अध्ययनों ने अपनी अनूठी सेट स्थितियों का उपयोग किया था: विभिन्न प्रकार का सीमेंट, विभिन्न मिश्रण प्रक्रियाएं, विभिन्न क्यूरिंग वातावरण, और महत्वपूर्ण रूप से, सल्फेट समाधानों की विभिन्न सांद्रता। वास्तविक दुनिया में, एक मॉडल जो एक सेट स्थितियों के डेटा पर प्रशिक्षित है, उसे पूरी तरह से एक नए सेट की स्थितियों के परिणाम की भविष्यवाणी करने में सक्षम होना चाहिए। इसका परीक्षण करने के लिए, शोधकर्ताओं ने अपनी सत्यापन विधि बदल दी। व्यक्तिगत डेटा बिंदुओं को रैंडमली शफल करने के बजाय, उन्होंने पूरे अध्ययनों को रोकने (withhold) का निर्णय लिया। उन्होंने दो अध्ययनों पर मॉडल को प्रशिक्षित किया और फिर तीसरे अध्ययन के परिणामों की भविष्यवाणी करने के लिए कहा, जिसे उसने पहले कभी नहीं देखा था। उन्होंने यह प्रक्रिया तीन बार दोहराई, हर बार एक अलग अध्ययन को छोड़कर।

इस सख्त परीक्षण के परिणाम पूरी तरह से पतन की ओर थे। जब मॉडल ने उस अध्ययन के कंक्रीट की मजबूती का अनुमान लगाने की कोशिश की जिस पर उसे प्रशिक्षित नहीं किया गया था, तो उसका प्रदर्शन गिर गया। एक उच्च स्कोर के बजाय, मॉडल ने नकारात्मक स्कोर दिए, जो एक गणितीय संकेत है कि यह केवल औसत मजबूती का अनुमान लगाने से भी खराब प्रदर्शन कर रहा था। एक विशिष्ट मामले में, मॉडल एक ऐसे कंक्रीट की भविष्यवाणी करने की कोशिश कर रहा था जिसकी मापी गई मजबूती 6 और 21 मेगापास्कल के बीच थी, लेकिन इसने 42 मेगापास्कल जितनी बड़ी त्रुटियां कीं। इसका मतलब है कि मॉडल ने सामग्री की वास्तविक मजबूती से दोगुने से भी अधिक मानों की भविष्यवाणी की, या नकारात्मक मजबूती की भविष्यवाणी की, जो भौतिक रूप से असंभव है। मॉडल ने कंक्रीट के भौतिक विज्ञान (फिजिक्स) को नहीं सीखा था; उसने उस विशिष्ट प्रयोगशाला के "फिंगरप्रिंट" को पहचानना सीख लिया था जिसने डेटा उत्पन्न किया था।

जांच ने यह समझने के लिए गहराई से काम किया कि ऐसा क्यों हुआ। शोधकर्ताओं ने डेटा में कुल भिन्नता का विश्लेषण किया और पाया कि मजबूती में 96 प्रतिशत अंतर स्वयं अध्ययनों के बीच के अंतर से आया था, न कि एक ही अध्ययन के भीतर सामग्रियों के बीच के अंतर से। एक अध्ययन में एक विशिष्ट प्रकार का सीमेंट और कम सल्फेट सांद्रता का उपयोग किया गया था, जिसके परिणामस्वरूप बहुत कमजोर कंक्रीट प्राप्त हुआ। दूसरे अध्ययन में एक अलग सीमेंट और उच्च सांद्रता का उपयोग किया गया, जिसके परिणामस्वरूप बहुत मजबूत कंक्रीट प्राप्त हुआ। क्योंकि मॉडल ने इन विशिष्ट पैटर्न को बार-बार देखा, इसलिए उसने अध्ययन के विशिष्ट संयोजन को उस अध्ययन के समग्र मजबूती स्तर के साथ जोड़ने का काम सीखा। यह अनिवार्य रूप से यह सीखने जैसा था कि, "यदि यह डेटा स्टडी A जैसा दिखता है, तो मजबूती कम होगी," बजाय इसके कि "यदि इस कंक्रीट में सिलिका फ्यूम है, तो यह मजबूत होगा।"

यह भ्रम इस तथ्य से और बढ़ गया कि परीक्षण किए गए विशिष्ट एडिटिव्स अक्सर एक ही अध्ययन के लिए अद्वितीय थे। ग्यारह प्रकार के पूरक सामग्रियों में से दस केवल तीन शोध पत्रों में से एक में ही दिखाई दिए। फलस्वरूप, मॉडल यह अंतर नहीं कर सका कि मजबूती में परिवर्तन सामग्री के कारण हुआ या उस अध्ययन के कारण जिससे वह संबंधित था। उस एक सामग्री के लिए भी जो दो अध्ययनों में दिखाई दी, उनके बीच औसत मजबूती काफी भिन्न थी क्योंकि आधारभूत स्थितियां, जैसे कि उपयोग किए गए सल्फेट नमक का प्रकार, अलग-अलग थे। मॉडल की उच्च सटीकता डेटा की संरचना का एक आर्टिफैक्ट (कृत्रिम प्रभाव) थी, न कि वास्तविक भविष्य कहने वाली शक्ति का प्रतिबिंब। यह एक सांख्यिकीय मृगतृष्णा थी जो डेटा को समूहीकृत करने और परीक्षण करने के तरीके से निर्मित हुई थी।

इन निष्कर्षों के सामग्री विज्ञान (मटेरियल्स साइंस) में मशीन लर्निंग के अनुप्रयोग पर गहरे निहितार्थ हैं। यह अध्ययन प्रदर्शित करता है कि जब डेटा कई स्रोतों से संकलित किया जाता है, तो प्रशिक्षण और परीक्षण सेटों को रैंडमली विभाजित करने की मानक विधि अपर्याप्त है। यह मॉडल को वास्तविक विज्ञान सीखने के बजाय स्रोत-विशिष्ट पैटर्न पर निर्भर रहने की अनुमति देती है। यह जानने के लिए कि क्या कोई मॉडल उपयोगी है, इसे पूरी तरह से नए स्रोतों के डेटा पर परीक्षण किया जाना चाहिए, जिसे 'लीव-वन-सोर्स-आउट वैलिडेशन' (leave-one-source-out validation) कहा जाता है। इसके अलावा, शोधकर्ताओं को यह रिपोर्ट करना चाहिए कि उनके डेटा में कितनी भिन्नता अध्ययनों के बीच के अंतर से बनाम उनके भीतर के अंतर से आती है। यदि अधिकांश भिन्नता अध्ययनों के कारण है, जैसा कि इस मामले में था, तो उच्च सटीकता स्कोर हमें मॉडल की वास्तविक दुनिया की स्थायित्व की भविष्यवाणी करने की क्षमता के बारे में कुछ भी नहीं बताता है।

अंततः, यह शोध एक ऐसे क्षेत्र के लिए एक आवश्यक सुधार के रूप में कार्य करता है जो बहुत तेजी से आगे बढ़ रहा है। यह यह सुझाव नहीं देता है कि मशीन लर्निंग इंजीनियरों को बेहतर कंक्रीट डिजाइन करने में मदद नहीं कर सकती, बल्कि यह जोर देता है कि हमें इस बात के प्रति ईमानदार होना चाहिए कि हमारे मॉडल वास्तव में क्या कर रहे हैं। एक मॉडल जो कागज पर तो उत्तम दिखता है लेकिन एक नई प्रयोगशाला के सामने विफल हो जाता है, वह खोज का उपकरण नहीं है; वह डेटा की सीमाओं का प्रतिबिंब है। क्षेत्र के आगे बढ़ने के लिए, समुदाय को सख्त परीक्षण मानकों को अपनाना चाहिए जो मांग करते हैं कि मॉडल यह सिद्ध करें कि वे उन विशिष्ट प्रयोगों से परे सामान्यीकरण (generalize) कर सकते हैं जिन पर उन्हें प्रशिक्षित किया गया है। तभी हम इन डिजिटल उपकरणों पर एक अधिक टिकाऊ और सुदृढ़ भविष्य बनाने के लिए भरोसा कर सकते हैं।