SHIELD reduces information leakage in data splits through joint structural optimization

वैज्ञानिक खोज के लिए कृत्रिम बुद्धिमत्ता (AI) का उपयोग करने की दौड़ में, शोधकर्ता कंप्यूटर को उन सामग्रियों, दवाओं और रासायनिक प्रतिक्रियाओं के गुणों की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं जो पहले कभी नहीं देखी गई हैं। लक्ष्य केवल पहले से मापे गए डेटा को याद रखना नहीं है, बल्कि अंतर्निहित नियमों को सीखना है ताकि कंप्यूटर अज्ञात के बारे में सही अनुमान लगा सके। यह परीक्षण करने के लिए कि क्या कंप्यूटर ने वास्तव में इन नियमों को सीखा है, वैज्ञानिक अपने डेटा को दो हिस्सों में विभाजित करते हैं: एक कंप्यूटर को प्रशिक्षित (training) करने के लिए और एक उसका परीक्षण (testing) करने के लिए। यदि परीक्षण वाले हिस्से में ऐसी वस्तुएं हैं जो प्रशिक्षण वाले हिस्से के बहुत समान हैं, तो कंप्यूटर समस्या को हल करने के बजाय परिचित पैटर्न को पहचानने पर निर्भर हो सकता है। यह एक ऐसे छात्र की तरह है जो एक ऐसी परीक्षा दे रहा है जहाँ प्रश्न उसके होमवर्क के थोड़े से बदले हुए रूप में हैं; वह पूर्ण अंक प्राप्त करता है, लेकिन उसने वास्तव में विषय को नहीं सीखा है। दशकों तक, डेटा को विभाजित करने का मानक तरीका सब कुछ बेतरतीब ढंग से मिला देना रहा है, जिससे अक्सर ये खतरनाक, अत्यधिक समान जोड़े विभाजन के दूसरी ओर रह जाते हैं, जो इस बात का झूठा विश्वास पैदा करते हैं कि मॉडल वास्तविक दुनिया में कितने अच्छे काम करेंगे।

हमाद बिन खलीफा यूनिवर्सिटी के शोधकर्ताओं ने इस समस्या को ठीक करने के लिए SHIELD नामक एक नई विधि विकसित की है। डेटा को बेतरतीब ढंग से मिलाने या अलग करने के लिए किसी एक नियम का उपयोग करने के बजाय, SHIELD एक परिष्कृत संगठक (organizer) के रूप में कार्य करता है जो एक साथ तीन अलग-अलग दृष्टिकोणों से डेटा को देखता है। यह इस बात पर विचार करता है कि वस्तुएं परिवारों में कैसे समूहबद्ध हैं, जटिल विशेषताओं के जाल में वे एक-दूसरे के कितने करीब स्थित हैं, और उनके समग्र वितरण (distributions) की तुलना कैसे होती है। फिर सिस्टम डेटा को काटने का एक ऐसा तरीका ढूंढता है जो इन सभी संबंधों का एक साथ सम्मान करता है, यह सुनिश्चित करते हुए कि परीक्षण सेट (test set), प्रशिक्षण सेट (training set) से वास्तव में भिन्न हो। शोधकर्ताओं ने धातु मिश्र धातुओं (metal alloys) के अध्ययन से लेकर क्वांटम रसायन विज्ञान में सूक्ष्म अणुओं के व्यवहार तक, आठ अलग-अलग वैज्ञानिक डेटासेट्स पर इस दृष्टिकोण का परीक्षण किया। उन्होंने पाया कि SHIELD ने मौजूदा तरीकों की तुलना में लगातार बहुत अधिक सख्त और यथार्थवादी परीक्षण स्थितियां बनाईं, जिससे यह पता चला कि कई मॉडल जो रैंडम टेस्टिंग के तहत सफल दिखाई देते थे, वास्तव में नए डेटा का सामना करने पर विफल हो जाते हैं।

समस्या का मूल कारण यह है कि वैज्ञानिक डेटा कैसे संरचित होता है। जीव विज्ञान या सामग्री विज्ञान जैसे क्षेत्रों में, डेटा बिंदु शायद ही कभी स्वतंत्र होते हैं। एक नया दवा अणु पुराने अणु का एक थोड़ा सा रूपांतर हो सकता है, या एक धातु मिश्र धातु उन सामग्रियों के एक विशिष्ट परिवार से संबंधित हो सकती है जिनका एक साझा इतिहास है। जब एक कंप्यूटर मॉडल को एक अणु के एक संस्करण पर प्रशिक्षित किया जाता है और दूसरे लगभग समान संस्करण पर परीक्षण किया जाता है, तो उसे रसायन विज्ञान समझने की आवश्यकता नहीं होती; उसे बस समानता को पहचानने की आवश्यकता होती है। इसे 'सूचना रिसाव' (information leakage) कहा जाता है, और यह अत्यधिक आशावादी भविष्यवाणियों की ओर ले जाता है। शोधकर्ताओं ने दिखाया कि मानक तरीके, जो अक्सर सरल क्लस्टरिंग या यादृच्छिक चयन (random selection) पर निर्भर करते हैं, अक्सर इन छिपे हुए कनेक्शनों को तोड़ने में विफल रहते हैं। उदाहरण के लिए, लेजर पाउडर बेड फ्यूजन (laser powder bed fusion)—जो धातु के पुर्जों को परत दर परत बनाने की एक प्रक्रिया है—के डेटासेट में, डेटा को बेतरतीब ढंग से विभाजित करने से प्रशिक्षण और परीक्षण सेट इतने मिश्रित हो गए कि कंप्यूटर मशीन के उपयोग या मिश्र धातु के प्रकार के आधार पर परिणाम का आसानी से अनुमान लगा सकता था, न कि उस प्रक्रिया के वास्तविक भौतिकी (physics) के आधार पर।

इस समस्या को हल करने के लिए, SHIELD फ्रेमवर्क को सूचना रिसाव का कारण बनने वाले तीन विशिष्ट प्रकार के संबंधों को संभालने के लिए डिज़ाइन किया गया था। पहला, यह पदानुक्रमित समावेशन (hierarchical containment) को देखता है, जो संबंधित समूहों, जैसे मिश्र धातुओं के परिवार या प्रोटीन वेरिएंट के सेट को एक ही ढेर में रखता है ताकि वे दूसरे में लीक न हो सकें। दूसरा, यह फीचर मैनिफोल्ड (feature manifold) की जांच करता है, जो यह मानचित्रण करने का एक तरीका है कि विभिन्न डेटा बिंदु उनकी विशेषताओं के आधार पर एक-दूसरे के कितने करीब हैं, यह सुनिश्चित करते हुए कि मानचित्र में पड़ोसियों को अलग न किया जाए। तीसरा, यह वितरण (distribution) का प्रबंधन करता है, यह सुनिश्चित करते हुए कि डेटा का समग्र प्रसार या तो ज्ञात भविष्य के परिदृश्य के साथ एक नियंत्रित मिलान है या एक पूरी तरह से अज्ञात परिदृश्य का अनुकरण करने के लिए एक जानबूझकर किया गया बदलाव है। नवाचार यह है कि SHIELD इन नियमों को एक के बाद एक लागू नहीं करता है, जो पिछले चरण के काम को निष्प्रभावी कर सकता है; इसके बजाय, यह तीनों को एक साथ अनुकूलित (optimize) करता है, एक ऐसा संतुलन पाता है जहाँ डेटा को पृथक्करण की आवश्यकता को संतुष्ट किए बिना वैज्ञानिक संरचना को तोड़े बिना विभाजित किया जा सकता है।

टीम ने इस पद्धति को वैज्ञानिक विषयों की एक विस्तृत श्रृंखला में मान्य किया। ग्लास-फॉर्मिंग अलॉय (glass-forming alloys) के अध्ययन में, उन्होंने पाया कि जबकि कुछ मौजूदा तरीके डेटा को प्रभावी ढंग से अलग कर सकते थे, वे अक्सर वर्गों (classes) के संतुलन को बिगाड़ देते थे, जिससे भ्रामक परिणाम मिलते थे। SHIELD ने वर्गों को संतुलित रखते हुए भी एक कठिन परीक्षण वातावरण बनाना सफलतापूर्वक प्रबंधित किया। क्वांटम रसायन विज्ञान के क्षेत्र में, जहाँ लक्ष्य छोटे कार्बनिक अणुओं की ऊर्जा अवस्थाओं की भविष्यवाणी करना है, इस नई विधि ने प्रशिक्षण और परीक्षण सेटों को इस तरह से अलग किया कि कंप्यूटर मॉडलों को वास्तव में एक्सट्रपलेशन (extrapolate) करने के लिए मजबूर होना पड़ा। जब शोधकर्ताओं ने नए स्प्लिट्स पर मानक मशीन लर्निंग मॉडलों का परीक्षण किया, तो परिणाम काफी स्पष्ट थे। रैंडम स्प्लिट्स के साथ उच्च सटीकता दिखाने वाले मॉडलों के प्रदर्शन में भारी गिरावट आई, और वे कभी-कभी पूरी तरह से विफल हो गए। प्रदर्शन में यह गिरावट मॉडलों के टूटने का संकेत नहीं थी, बल्कि यह कि पिछले परीक्षण बहुत आसान थे। इन नए स्प्लिट्स ने मॉडलों की उस क्षमता को उजागर किया जो वास्तव में उनके प्रशिक्षण अनुभव से बाहर के डेटा को संभालने में असमर्थ थी।

सबसे आश्चर्यजनक निष्कर्षों में से एक एडिटिव मैन्युफैक्चरिंग (additive manufacturing) डेटासेट से आया, जिसमें छह अलग-अलग मिश्र धातुओं और 45 अलग-अलग प्रिंटर मॉडल से बने धातु के पुर्जों के 1,579 बिल्ड्स शामिल थे। जब शोधकर्ताओं ने SHIELD का उपयोग करके प्रशिक्षण डेटा से मिश्र धातुओं के पूरे परिवारों को अलग रखा, तो कंप्यूटर मॉडल संघर्ष करने लगे। एक न्यूरल नेटवर्क मॉडल, जिसने अन्य स्प्लिट्स पर अच्छा प्रदर्शन किया था, पूरी तरह से विफल हो गया, जिससे भविष्यवाणियां बेहद गलत हुईं। ऐसा इसलिए हुआ क्योंकि मॉडल ने पहले उस विशिष्ट प्रकार की मिश्र धातु को नहीं देखा था और वह साधारण पैटर्न मिलान पर भरोसा नहीं कर सका। इसके विपरीत, जब शोधकर्ताओं ने एक विशिष्ट प्रिंटर मॉडल को अलग रखा, तो मॉडल बेहतर प्रदर्शन करते रहे। यह विषमता (asymmetry) एक महत्वपूर्ण अंतर्दृष्टि प्रदान करती है: मिश्र धातुओं के परिवार ने एक मौलिक भौतिक बाधा का प्रतिनिधित्व किया जिसे मॉडल पार नहीं कर सका, जबकि प्रिंटर की पहचान एक कम महत्वपूर्ण चर (variable) थी। SHIELD फ्रेमवर्क इन दो प्रकार की चुनौतियों के बीच अंतर करने में सक्षम था, जिससे वैज्ञानिकों को यह समझने में मदद मिली कि उनके डेटा के कौन से पहलू वास्तव में कठिन भविष्यवाणी करने योग्य थे।

शोधकर्ताओं ने यह भी प्रदर्शित किया कि उनकी विधि 'कोर्सनिंग' (coarsening) नामक तकनीक का उपयोग करके विशाल डेटासेट्स को संभाल सकती है। बहुत बड़े डेटा संग्रहों के लिए, प्रत्येक एकल बिंदु के बीच संबंधों की गणना करना कम्प्यूटेशनल रूप से असंभव है। SHIELD इसे हल करने के लिए, विभाजन करने से पहले पदानुक्रम के आधार पर संबंधित वस्तुओं को बड़े "सुपर-नोड्स" (super-nodes) में समूहित करता है। इसने एक परीक्षण में समस्या के आकार को 1,600 गुना से अधिक कम कर दिया, फिर भी विभाजन की गुणवत्ता उतनी ही सख्त रही जितनी कि हर एक डेटा बिंदु को व्यक्तिगत रूप से संसाधित करने पर होती। यह स्केलेबिलिटी (scalability) सुनिश्चित करती है कि इस पद्धति को बड़े वैज्ञानिक डेटासेट्स पर बिना रिसाव का पता लगाने की अपनी क्षमता खोए लागू किया जा सकता है। टीम ने विभाजन की कठिनाई को मापने का एक नया तरीका भी पेश किया, जिसे 'डिस्कवरी नॉर्मलाइज्ड स्क्वेर्ड एरर' (Discovery Normalized Squared Error) कहा जाता है। यह मीट्रिक इस बात को देखता है कि प्रशिक्षण डेटा से परीक्षण डेटा की ओर बढ़ते समय त्रुटि (error) कितनी बढ़ती है, जो इस बात की स्पष्ट तस्वीर देता है कि मॉडल अज्ञात का सामना करने पर कैसा प्रदर्शन करेगा।

अध्ययन का निष्कर्ष यह है कि डेटा को विभाजित करने का तरीका केवल एक तकनीकी विवरण नहीं है, बल्कि पूछे जा रहे वैज्ञानिक प्रश्न का एक मौलिक हिस्सा है। यदि विभाजन सूचना को लीक होने देता है, तो बेंचमार्क गलत चीज़ को माप रहा है। डेटा के संरचनात्मक संबंधों को संयुक्त रूप से अनुकूलित करके, SHIELD नए ज्ञान की खोज करने की एक मॉडल की क्षमता का अधिक ईमानदार मूल्यांकन प्रदान करता है। शोधकर्ता इस बात पर जोर देते हैं कि यह सभी समस्याओं को ठीक करने वाला कोई जादुई समाधान नहीं है, बल्कि एक ऐसा उपकरण है जो वैज्ञानिकों को यह परीक्षण करने के लिए मजबूर करता है कि वे क्या परीक्षण कर रहे हैं। परिणाम बताते हैं कि वर्तमान में वैज्ञानिक साहित्य में सराहे जाने वाले कई मॉडल वास्तव में प्रकृति के नियमों को सीखने के बजाय अपने प्रशिक्षण डेटा की बारीकियों (quirks) के प्रति ओवरफिट (overfit) हो रहे हैं। वैज्ञानिक डेटा की वास्तविक संरचना का सम्मान करने वाली विधि का उपयोग करके, शोधकर्ता वास्तव में खोज की चुनौतियों के लिए तैयार मॉडल बना सकते हैं, यह सुनिश्चित करते हुए कि जब कोई कंप्यूटर एक नई सामग्री या नई दवा की भविष्यवाणी करता है, तो वह एक भाग्यशाली अनुमान के बजाय वास्तविक समझ पर आधारित हो।