No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI
यह शोध पत्र साहित्य से निकाले गए (literature-mined) AI डेटासेट में त्रुटिपूर्ण डेटा की गंभीर चुनौती को संबोधित करते हुए निष्कर्षण त्रुटियों (extraction errors) का एक वर्गीकरण और एक स्तरीय सत्यापन ढांचा प्रस्तावित करता है जो भौतिकी के नियमों, सांख्यिकीय सर्वसम्मति और उत्पत्ति संबंधी जांच (provenance checks) को जोड़कर मॉडल की सटीकता में उल्लेखनीय सुधार करता है और सामग्री विज्ञान एवं संबंधित क्षेत्रों में गलत खोजों को रोकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
तेज़ कंप्यूटरों, लंबे समय तक चलने वाली बैटरियों या अधिक प्रभावी दवाओं की खोज के लिए वैज्ञानिक तेजी से आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) का सहारा ले रहे हैं। ये डिजिटल सहायक डेटा के विशाल संग्रह का अध्ययन करके सीखते हैं, इस उम्मीद में कि वे उन पैटर्न को खोज लेंगे जो यह प्रकट कर सकें कि कौन से रासायनिक संयोजन सबसे अच्छा काम करेंगे। कई गुणों के लिए, जैसे कि एक बैटरी कितनी ऊर्जा धारण कर सकती है या एक क्रिस्टल प्रकाश को कैसे मोड़ता है, ये संख्याएँ केवल हजारों प्रकाशित वैज्ञानिक शोध पत्रों में बिखरी हुई होती हैं। शोधकर्ताओं ने इन शोध पत्रों को स्वचालित रूप से पढ़ने के लिए उपकरण बनाए हैं, जो संख्याओं को निकाल लेते हैं और उन्हें ऐसे डेटाबेस में बदल देते हैं जिन्हें मशीनें समझ सकें। हालाँकि, एक छपे हुए पृष्ठ को पढ़ने और उसे संख्याओं की एक स्वच्छ सूची में बदलने की प्रक्रिया पूर्णतः सटीक नहीं है। एक दशमलव बिंदु गायब हो सकता है, माप की एक इकाई को दूसरी इकाई के साथ भ्रमित किया जा सकता है, या एक मान (वैल्यू) को पूरी तरह से गलत सामग्री के साथ जोड़ा जा सकता है। यदि कोई कंप्यूटर इन गलतियों से सीखता है, तो वह केवल छोटी त्रुटियाँ ही नहीं करेगा; वह आत्मविश्वास के साथ शोधकर्ताओं को गलत खोजों की ओर निर्देशित करेगा, अक्सर सबसे चरम और गलत संख्याओं को ही सर्वश्रेष्ठ उम्मीदवार के रूप में चुनेगा।
दिबाकर दत्ता प्रयोगशाला के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए हाथ मिलाया, जहाँ उन्होंने डेटा त्रुटियों को एक दुर्लभ गड़बड़ी के बजाय, प्रक्रिया के एक अपेक्षित हिस्से के रूप में देखा। उन्होंने इलेक्ट्रो-ऑप्टिक सामग्रियों पर ध्यान केंद्रित किया, जो ऐसे क्रिस्टल हैं जो विद्युत वोल्टेज लागू होने पर प्रकाश को मोड़ने के अपने तरीके को बदल देते हैं। ये सामग्रियाँ उन फाइबर-ऑप्टिक नेटवर्क के लिए महत्वपूर्ण हैं जो दुनिया भर में डेटा ले जाते हैं और भविष्य के क्वांटटन कंप्यूटरों के लिए भी आवश्यक हैं। टीम ने इन सामग्रियों के लिए वैज्ञानिक साहित्य से मान निकालने के लिए एक प्रणाली बनाई, लेकिन उन्होंने इसे एक विशिष्ट दर्शन के साथ डिज़ाइन किया: एक गलत मान की तुलना में कोई मान न होना बेहतर है। हर संख्या को पूरी तरह से निकालने की कोशिश करने के बजाय, जो उन्हें असंभव लगा, उन्होंने गलतियों को पकड़ने के लिए एक बहु-स्तरीय सुरक्षा जाल बनाया ताकि वे आर्टिफिशियल इंटेलिजेंस मॉडल को दूषित न कर सकें।
शोधकर्ताओं ने पहचान की कि त्रुटियाँ डेटाबेस में कई अलग-अलग चरणों में प्रवेश करती हैं। कभी गलती मूल शोध पत्र में होती है, जहाँ एक मान गलत तरीके से मुद्रित होता है या किसी पुराने अध्ययन से गलत तरीके से कॉपी किया जाता है। अन्य समय में, त्रुटि तब होती है जब कोई कंप्यूटर प्रोग्राम स्कैन किए गए दस्तावेज़ को पढ़ने की कोशिश करता है, जैसे शून्य को अक्षर 'O' समझ लेना या ऋण चिह्न (नेगेटिव साइन) खो देना। यहाँ तक कि जब पाठ को सही ढंग से पढ़ा जाता है, तब भी कंप्यूटर एक संख्या को गलत लेबल के साथ जोड़ सकता है, एक सामग्री के माप को दूसरी के साथ भ्रमित कर सकता है, या वह उन विशिष्ट स्थितियों को भूल सकता है जिनके तहत माप लिया गया था, जैसे कि तापमान या दबाव। इसे संभालने के लिए, टीम ने एक पांच-चरणीय फ़िल्टरिंग प्रक्रिया बनाई। पहला चरण यह जाँचता है कि क्या डेटा सतह पर सही दिखता है, यह सुनिश्चित करता है कि इकाइयाँ सही हैं और वह संख्या वास्तव में स्रोत पाठ में मौजूद है। दूसरा चरण भौतिकी के नियमों को लागू करता है, यह जाँचता है कि क्या कोई मान भौतिक रूप से संभव है, जैसे कि यह सुनिश्चित करना कि क्रिस्टल के समरूपता (सिमेट्री) के नियमों का उल्लंघन नहीं हो रहा है या बैटरी की क्षमता उसकी सैद्धांतिक सीमा से अधिक नहीं है।
तीसरा चरण विभिन्न अध्ययनों के बीच सहमति की तलाश करता है। यदि दस शोध पत्र एक ही सामग्री के लिए एक मान रिपोर्ट करते हैं, तो सही संख्याएँ एक साथ क्लस्टर (समूह) बनाएंगी, जबकि यादृच्छिक त्रुटियाँ बाहरी (आउटलियर्स) के रूप में अलग दिखेंगी। चौथा चरण समान सामग्रियों की तुलना में अजीब दिखने वाले मानों को पहचानने के लिए शेष डेटा पर प्रशिक्षित एक आर्टिफिशियल इंटेलिजेंस मॉडल का उपयोग करता है। अंतिम चरण एक मानव विशेषज्ञ द्वारा लक्षित समीक्षा है, जो केवल उन्हीं मानों को देखता है जिन्हें पिछले चरणों ने संदिग्ध के रूप में चिह्नित किया है। यह दृष्टिकोण टीम को प्रत्येक संख्या की जाँच करने के लिए मानव की आवश्यकता के बिना कुशलतापूर्वक त्रुटियों को संभालने की अनुमति देता है। उनके नवीनतम रन में, इस प्रणाली ने 816 संभावित मानों में से 402 को रोका, और प्रत्येक को क्यों खारिज किया गया या समीक्षा के लिए क्यों रोका गया, इसका एक विशिष्ट कारण भी दर्ज किया।
इन सख्त फिल्टरों के बावजूद, शोधकर्ताओं ने पाया कि त्रुटियाँ फिर भी निकल गईं। जब उन्होंने अपने द्वारा स्वीकृत मानों की तुलना एक सावधानीपूर्वक तैयार किए गए संदर्भ सेट (रेफरेंस सेट) से की, तो उन्होंने पाया कि स्वीकृत मानों का लगभग 27 प्रतिशत अभी भी दोषपूर्ण था। सरल जाँचों ने, जिनमें संदर्भ डेटाबेस की आवश्यकता नहीं थी, जैसे कि यह सत्यापित करना कि क्रिस्टल के समरूपता नियमों का पालन किया गया है या नहीं, इन शेष गलतियों के 70 प्रतिशत को पकड़ लिया। एक नियंत्रित परीक्षण में जहाँ वे जानते थे कि कौन सी संख्याएँ गलत थीं, उनके स्तरित सिस्टम ने उच्च सटीकता के साथ 81 प्रतिशत त्रुटियों को खोज निकाला। महत्वपूर्ण रूप से, उन्होंने दिखाया कि इस सफाई प्रक्रिया के बिना, आर्टिफिशियल इंटेलिजेंस मॉडल पूरी तरह से गुमराह हो जाते। उनके बिना-साफ किए गए डेटा में, बीस सबसे बड़े मानों में से 89 प्रतिशत त्रुटियाँ थीं। चूंकि सर्वोत्तम सामग्रियों को खोजने के लिए डिज़ाइन किए गए AI मॉडल स्वाभाविक रूप से सबसे बड़े मानों की तलाश करते हैं, इसलिए एक बिना-साफ किया गया डेटाबेस शोधकर्ताओं को सबसे खराब उम्मीदवारों की ओर ले जाएगा, एक विशाल त्रुटि को एक बड़ी खोज समझने की गलती करेगा।
अध्ययन ने एक दूसरी, अधिक सूक्ष्म समस्या भी उजागर की। यहाँ तक कि गलत नंबरों को हटाने के बाद भी, शोधकर्ताओं ने पाया कि कई रिकॉर्ड अभी भी संदर्भ (कॉन्टेक्स्ट) की कमी के कारण उपयोगी नहीं थे। उदाहरण के लिए, दो रिकॉर्ड एक ही सामग्री और एक ही मान सूचीबद्ध कर सकते हैं, लेकिन एक उच्च दबाव में मापा गया था और दूसरा कमरे के तापमान पर, और सिस्टम उन्हें अलग नहीं कर सका क्योंकि दबाव की जानकारी पाठ में गायब थी। संदर्भ की इस कमी को, जिसे शोधकर्ताओं ने अविभाज्य रिकॉर्ड के अंश के रूप में मापा, AI के सीखने की क्षमता पर मुख्य सीमा बन गया। टीम ने निष्कर्ष निकाला कि डेटा-संचालित विज्ञान का भविष्य न केवल अधिक संख्याएँ खोजने पर, बल्कि ऐसे डेटाबेस बनाने पर निर्भर है जो अपनी गुणवत्ता को ट्रैक करें, अपनी त्रुटियों की रिपोर्ट करें और प्रत्येक माप के लिए विशिष्ट स्थितियों को संग्रहीत करें। यह स्वीकार करके कि त्रुटियाँ अपरिहार्य हैं और उन्हें पकड़ने के लिए सिस्टम बनाकर, वैज्ञानिक यह सुनिश्चित कर सकते हैं कि आर्टिफिशियल इंटेलिजेंस जिस पर वे भरोसा कर रहे हैं, वह गलतियों के संग्रह से नहीं, बल्कि वास्तविकता से सीख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।