Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

सूक्ष्म इमेजिंग (microscopic imaging) की दुनिया में, वैज्ञानिक अक्सर डेटा की कमी का सामना करते हैं। उन्हें कंप्यूटर को धातु की सतहों पर सूक्ष्म दोषों या क्रिस्टल पर व्यक्तिगत परमाणुओं को पहचानना सिखाना होता है, लेकिन उनके पास इसे करने के लिए पर्याप्त तस्वीरें नहीं होती हैं। एक एकल स्कैन में घंटों लग सकते हैं, और एक शोधकर्ता किसी विशिष्ट दोष की केवल एक दर्जन उच्च-गुणवत्ता वाली छवियां ही प्राप्त कर पाता है। इस कमी को दूर करने के लिए, शोधकर्ता 'डेटा ऑग्मेंटेशन' (data augmentation) नामक एक मानक तकनीक का उपयोग करते हैं। वे उन कुछ मूल छवियों को गणितीय रूप से बदलते हैं—उन्हें घुमाते हैं, पलटते हैं, उनकी चमक बदलते हैं, या उन्हें थोड़ा धुंधला करते हैं—ताकि सैकड़ों या हजारों नए प्रशिक्षण उदाहरण बनाए जा सकें। यह एक पेड़ की एक अकेली तस्वीर लेने और फिर उस छात्र को यह सिखाने जैसा है कि पेड़ कैसा दिखता है, जिसके लिए उसी पेड़ के थोड़े अलग संस्करणों का एक पूरा जंगल बनाया गया है।

इस प्रशिक्षण का लक्ष्य एक ऐसा मॉडल बनाना है जो एक नई, अनदेखी छवि को देख सके और सही ढंग से दोष की पहचान कर सके। मॉडल काम करता है या नहीं, यह साबित करने के लिए, वैज्ञानिक अपने डेटा को दो ढेरों में विभाजित करते हैं: एक सिखाने के लिए और एक परीक्षण के लिए। मॉडल पहले ढेर से सीखता है और फिर दूसरे ढेर पर उसकी ग्रेडिंग की जाती है। यदि मॉडल का स्कोर उच्च है, तो यह माना जाता है कि वह समझदार है और वास्तविक दुनिया के उपयोग के लिए तैयार है। हालांकि, एक महत्वपूर्ण प्रश्न बना रहता है: क्या मॉडल वास्तव में दोष की अवधारणा को समझता है, या इसने केवल उन विशिष्ट छवियों को याद कर लिया है जो इसे दिखाई गई थीं? यह अंतर वास्तविक सीखने और केवल पहचान करने के बीच का अंतर है।

हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी के शाओक्सुआन झांग द्वारा किया गया एक हालिया अध्ययन इस बात की जांच करता है कि इस प्रक्रिया को अक्सर कैसे गलत तरीके से किया जाता है। शोधकर्ता ने पाया कि जब वैज्ञानिक कुछ मूल छवियों से हजारों प्रशिक्षण छवियां बनाते हैं, तो वे अक्सर सिखाने वाले ढेर और परीक्षण वाले ढेर को अलग करने के तरीके में गलती करते हैं। मूल स्रोत छवियों को अलग रखने के बजाय, वे सभी मुड़ी-तुड़ी (twisted) संस्करणों को एक साथ मिला देते हैं और फिर उन्हें यादृच्छिक (randomly) रूप से बांट देते हैं। इसका अर्थ यह है कि परीक्षण के लिए उपयोग की जाने वाली तस्वीर उस तस्वीर की एक थोड़ी घूमी हुई या चमक बदली हुई प्रति (copy) हो सकती है जिसे मॉडल ने प्रशिक्षण के दौरान देखा था। मॉडल का परीक्षण नई स्थितियों में सामान्यीकरण (generalize) करने की उसकी क्षमता पर नहीं किया जा रहा है; बल्कि इसका परीक्षण उस चीज़ को पहचानने की क्षमता पर किया जा रहा है जो पहले देखी गई चीज़ की एक लगभग समान प्रति है। अध्ययन सटीक रूप से मापता है कि यह गलती रिपोर्ट की गई सफलता दर को कितना बढ़ा देती है और रिपोर्टिंग मानकों को ठीक करने के लिए एक सरल तरीका प्रस्तावित करता है।

इस समस्या के आकार को मापने के लिए, शोधकर्ता ने दो अलग-अलग प्रकार के सूक्ष्म डेटा का उपयोग करके एक नियंत्रित प्रयोग स्थापित किया। एक डेटासेट में स्टील की सतहों पर दोषों की छवियां थीं, और दूसरे में स्कैनिंग टनलिंग माइक्रोस्कोप द्वारा कैप्चर किए गए क्रिस्टल पर पॉइंट डिफेक्ट्स की छवियां थीं। दोनों मामलों में, शोधकर्ता ने मूल छवियों की एक छोटी संख्या से शुरुआत की, जिन्हें 'एक्विजिशन' (acquisitions) कहा जाता है। प्रत्येक मूल छवि के लिए, उन्होंने मानक कंप्यूटर ट्रिक्स का उपयोग करके अस्सी अलग-अलग रूपांतर (variations) उत्पन्न किए। इसके बाद, उन्होंने इन छवियों के पूल को दो अलग-अलग तरीकों से विभाजित किया। पहला तरीका, जो कई वर्तमान शोध पत्रों में सामान्य है, ने सभी मूल छवियों के सभी रूपांतरों को लिया, उन्हें एक बड़े बर्तन में मिला दिया, और उनमें से कुछ को प्रशिक्षण और कुछ को परीक्षण के लिए यादृच्छिक रूप से चुना। दूसरा तरीका अधिक सख्त था: इसने मूल छवियों को अलग रखा। इसने परीक्षण के लिए एक पूरी मूल छवि को सुरक्षित रखा और केवल शेष मूल छवियों के रूपांतरों का उपयोग प्रशिक्षण के लिए किया। इसने यह सुनिश्चित किया कि मॉडल ने परीक्षण वाली छवि से संबंधित कुछ भी पहले नहीं देखा था।

परिणामों ने दोनों विधियों के बीच एक विशाल अंतर दिखाया। जब मॉडल को यादृच्छिक मिश्रण विधि (random mixing method) का उपयोग करके प्रशिक्षित और परीक्षण किया गया, तो इसने लगभग पूर्ण स्कोर प्राप्त किया। स्टील की सतह वाले डेटासेट पर, मॉडल ने 1.000 का स्कोर प्राप्त किया, जिसका अर्थ है कि उसने हर उस दोष को ढूंढ लिया जिसे उसे ढूंढना था। हालांकि, जब उसी मॉडल का परीक्षण सख्त विधि का उपयोग करके किया गया जिसने मूल स्रोतों को अलग रखा था, तो स्कोर नाटकीय रूप से गिर गया। सबसे कम डेटा बजट पर, जहाँ प्रत्येक प्रकार के दोष के लिए केवल दो मूल छवियां थीं, यादृच्छिक विधि ने मॉडल के प्रदर्शन को 1.0 के पैमाने पर आधे अंक से अधिक बढ़ा दिया। यहाँ तक कि दस मूल छवियों की संख्या बढ़ाने पर भी, यादृच्छिक विधि ने प्रदर्शन को काफी हद से बढ़ाकर दिखाया। मॉडल सीखने में विफल नहीं हो रहा था; वह पहले से पढ़े गए अध्ययन की प्रतियों को पहचानने में बहुत सफल हो रहा था।

अध्ययन ने यह भी खुलासा किया कि यह वृद्धि सभी प्रकार के दोषों में समान नहीं थी। कुछ दोष ऐसे थे जिन्हें केवल उनकी बनावट (texture) से पहचाना जा सकता था, और मॉडल उन पर दोनों विधियों के बावजूद अच्छा प्रदर्शन करता था। हालांकि, उन दोषों के लिए जो मूल स्कैन के विशिष्ट स्वरूप पर निर्भर थे, यादृच्छिक विधि ने मॉडल को एक जीनियस की तरह दिखाया, जबकि सख्त विधि ने दिखाया कि वह संघर्ष कर रहा है। यह सुझाव देता है कि इन अध्ययनों में उच्च स्कोर का मतलब यह नहीं हो सकता कि मॉडल ने सामान्य रूप से दोषों को खोजना सीख लिया है, बल्कि यह कि उसने उन विशिष्ट आर्टिफैक्ट्स (artifacts) को पहचानना सीख लिया है जो उसके प्रशिक्षण के दौरान देखी गई कुछ छवियों में थे। जैसे-जैसे मूल छवियों की संख्या बढ़ाई गई, दोनों विधियों के बीच का अंतर थोड़ा कम हुआ, लेकिन यह समाप्त नहीं हुआ। दस मूल छवियों के साथ भी, यादृच्छिक विधि ने एक ऐसा स्कोर दिया जो सख्त विधि से तीस अंक अधिक था, जो दर्शाता है कि समस्या अधिक डेटा के साथ भी बनी रहती है।

शोधकर्ता ने इस मुद्दे का पता लगाने के लिए एक सरल उपकरण भी विकसित किया, जिसमें मॉडल को प्रशिक्षित करने की आवश्यकता नहीं है। परीक्षण सेट की छवियों की तुलना प्रशिक्षण सेट की छवियों से करके, यह उपकरण गणना कर सकता है कि कितनी परीक्षण छवियों का प्रशिक्षण सेट में एक "सिबलिंग" (sibling/सहोदर) है। सिबलिंग केवल उसी मूल छवि का एक रूपांतर है। यदि बड़ी संख्या में परीक्षण छवियों के प्रशिक्षण सेट में सिबलिंग हैं, तो यह स्पष्ट संकेत है कि मूल्यांकन त्रुटिपूर्ण है। यह जाँच केवल कुछ सेकंड में पूरी हो जाती है और इसके लिए किसी विशेष हार्डवेयर की आवश्यकता नहीं होती है। अध्ययन में पाया गया कि त्रुटिपूर्ण यादृच्छिक विभाजनों में, लगभग हर परीक्षण छवि का प्रशिक्षण सेट में एक सिबलिंग था, जबकि सख्त विभाजनों में, कोई भी नहीं था।

इन निष्कर्षों के आधार पर, पेपर एक नया मानक प्रस्तावित करता है कि शोधकर्ताओं को अपना काम कैसे रिपोर्ट करना चाहिए। केवल यह बताने के बजाय कि कितनी छवियों का उपयोग किया गया था, लेखकों को यह रिपोर्ट करना चाहिए कि वे कितने मूल, स्वतंत्र एक्विजिशन (acquisitions) से शुरू हुए थे। उन्हें स्पष्ट रूप से बताना चाहिए कि छवियों को मोड़ने और विस्तारित करने से पहले या बाद में डेटा को विभाजित किया गया था। उन्हें विभाजन की इकाई निर्दिष्ट करनी चाहिए, जैसे कि क्या उन्होंने व्यक्तिगत छवि या मूल स्रोत द्वारा अलग किया था। अंत में, उन्हें एक सरल जाँच शामिल करनी चाहिए जिससे यह पता चले कि कितनी परीक्षण छवियों के प्रशिक्षण सेट में सिबलिंग हैं। ये चार जानकारियां प्रदान करना आसान है और ये छोटे-डेटा अध्ययनों की सीमाओं को छिपाने के बजाय दृश्यमान बना देंगी।

अध्ययन निष्कर्ष निकालता है कि छोटे-डेटा इमेजिंग के क्षेत्र में, जहाँ शोधकर्ताओं के पास अक्सर केवल कुछ मूल स्कैन होते हैं, मॉडलों का मूल्यांकन करने का वर्तमान तरीका भ्रामक है। कई शोध पत्रों में रिपोर्ट किए गए उच्च स्कोर अक्सर मॉडल की नई, अनदेखी स्थितियों में दोषों को खोजने की क्षमता के बजाय, प्रशिक्षण डेटा की प्रतियों को पहचानने की क्षमता का वर्णन करते हैं। जैसे-जैसे ये कंप्यूटर सिस्टम ऑफलाइन विश्लेषण से वास्तविक प्रयोगों को नियंत्रित करने की ओर बढ़ रहे हैं, इन बढ़े हुए (inflated) स्कोरों पर भरोसा करना गलत निर्णय लेने का कारण बन सकता है। समाधान आवश्यक रूप से एक नया एल्गोरिदम या अधिक शक्तिशाली कंप्यूटर नहीं है, बल्कि डेटा को संभालने और रिपोर्ट करने के तरीके में बदलाव है। मूल स्रोतों को अलग रखकर और अपनी प्रक्रिया के बारे में पारदर्शी होकर, वैज्ञानिक समुदाय यह सुनिश्चित कर सकता है कि उनके द्वारा बनाए गए मॉडल वास्तव में वास्तविक दुनिया के लिए तैयार हैं।