Classical baselines outperform released deep-learning ITS classifiers, which collapse on ITS2 where predictions follow the flanking regions
यह अध्ययन प्रदर्शित करता है कि जहाँ पूर्ण-लंबाई वाले संदर्भों पर फंगल ITS अनुक्रमों के लिए डीप-लर्निंग क्लासिफायर उच्च सटीकता प्राप्त करते हैं, वहीं वे आमतौर पर उपयोग किए जाने वाले ITS2 सबरीजन पर नाटकीय रूप से विफल हो जाते हैं क्योंकि वे स्वयं बारकोड के बजाय उसके आस-पास के क्षेत्रों (फ्लैंकिंग रीजन्स) पर निर्भर करते हैं, जिससे वास्तविक पर्यावरणीय मेटाबारकोडिंग परिदृश्यों में शास्त्रीय बेसलाइन विधियाँ उन्हें महत्वपूर्ण रूप से पीछे छोड़ देती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कवक (फंगस) की सूक्ष्म दुनिया में, वैज्ञानिक प्रजातियों की पहचान करने के लिए आनुवंशिक कोड के एक विशिष्ट हिस्से पर भरोसा करते हैं, ठीक वैसे ही जैसे एक लाइब्रेरियन किताबों को छाँटने के लिए बारकोड का उपयोग करता है। यह कोड, जिसे 'इंटरनल ट्रांसक्राइब्ड स्पेसर' या ITS कहा जाता है, कवक के डीएनए में अन्य जीन के बीच स्थित होता है और विभिन्न प्रजातियों के बीच इतना भिन्न होता है कि यह एक अद्वितीय पहचानकर्ता के रूप में कार्य कर सकता है। दशकों से, शोधकर्ता हमारे चारों ओर मौजूद अदृश्य कवक जीवन को सूचीबद्ध करने के लिए इस क्षेत्र का उपयोग करते आए हैं, जंगल में मशरूम से लेकर घर में उगने वाले मोल्ड (फफूंद) तक। हालाँकि, आधुनिक तकनीक ने इस कोड के केवल एक छोटे, सुविधाजनक टुकड़े—विशेष रूप से ITS2 नामक एक खंड—को अनुक्रमित (सीक्वेंस) करना संभव बना दिया है, न कि पूरे आनुवंशिक रिकॉर्ड को। यह शॉर्टकट तेज़ और सस्ता है, जिससे वैज्ञानिक एक साथ हजारों नमूनों को प्रोसेस कर सकते हैं, लेकिन यह एक महत्वपूर्ण प्रश्न खड़ा करता है: क्या सबसे उन्नत कंप्यूटर प्रोग्राम, जिन्हें पूर्ण आनुवंशिक रिकॉर्ड पर प्रशिक्षित किया गया है, अभी भी कवक को पहचान पाएंगे जब वे केवल इस छोटे से टुकड़े को देखते हैं?
हाल ही में, शोधकर्ताओं के एक दल ने इस क्षेत्र में आर्टिफिशियल इंटेलिजेंस (AI) की सीमाओं का परीक्षण करने का प्रयास किया। उन्होंने दो शक्तिशाली डीप-लर्निंग क्लासिफायर (deep-learning classifiers) की जांच की, जो परिष्कृत कंप्यूटर मॉडल हैं और जिन्हें लाखों कवक अनुक्रमों पर प्रजातियों के नाम उच्च सटीकता के साथ अनुमान लगाने के लिए प्रशिक्षित किया गया था। ये मॉडल 90 प्रतिशत से अधिक सटीकता के साथ कवक की पहचान करने की अपनी क्षमता के लिए सराहे गए थे, लेकिन उन्हें पूर्ण-लंबाई वाले आनुवंशिक रिकॉर्ड पर प्रशिक्षित किया गया था। शोधकर्ता यह जानना चाहते थे कि क्या ये समान मॉडल तब भी काम करेंगे जब उन्हें उन छोटे, आंशिक अनुक्रमों को दिया जाए जो पर्यावरणीय सर्वेक्षण वास्तव में उत्पन्न करते हैं। यह पता लगाने के लिए, उन्होंने हजारों कवक अनुक्रमों का उपयोग करके एक निष्पक्ष परीक्षण बनाया, जिसमें उन्होंने जटिल शिक्षण के बजाय प्रत्यक्ष तुलना पर निर्भर रहने वाले पुराने, अधिक पारंपरिक तरीकों के मुकाबले आर्टिफिशियल इंटेलिजेंस के प्रदर्शन की तुलना की।
परिणामों ने आर्टिफिशियल इंटेलिजेंस की एक गंभीर विफलता को उजागर किया। जब शोधकर्ताओं ने मॉडलों को पूर्ण-लंबाई वाले आनुवंशिक रिकॉर्ड दिए, तो डीप-लर्निंग क्लासिफायर सम्मानजनक प्रदर्शन कर रहे थे, हालांकि वे अभी भी पारंपरिक तरीकों की तुलना में थोड़े कम सटीक थे। हालाँकि, जैसे ही इनपुट को केवल छोटे ITS2 खंड तक सीमित कर दिया गया, आर्टिफिशियल इंटेलिजेंस का प्रदर्शन पूरी तरह से ध्वस्त हो गया। इस छोटे खंड पर, डीप-लर्निंग मॉडल की सटीकता गिरकर लगभग 18 से 28 प्रतिशत रह गई, जो पारंपरिक तरीकों की तुलना में एक विनाशकारी विफलता थी, जो लगभग 90 प्रतिशत पर मजबूत और सटीक बने रहे। आर्टिफिशियल इंटेलिजेंस मॉडल, जिन्हें कवक की पहचान के भविष्य के रूप में प्रचारित किया गया था, वास्तविक दुनिया में सबसे अधिक संभावित डेटा का सामना करते ही प्रभावी रूप से काम करना बंद कर चुके थे।
शोधकर्ताओं ने फिर इसकी जांच की कि ऐसा क्यों हुआ, उन्हें संदेह था कि मॉडल वास्तव में उस बारकोड को नहीं पढ़ रहे थे जिसे उन्हें पहचानना था। उन्होंने एक चतुर प्रयोग किया जहाँ उन्होंने एक कवक से छोटा ITS2 खंड लिया और उसे पूरी तरह से एक अलग प्रकार के कवक के बगल वाले (flanking) आनुवंशिक क्षेत्रों से घेर दिया। यदि मॉडल वास्तव में मूल कवक के ITS2 बारकोड को पढ़ रहे होते, तो उन्हें मूल कवक की पहचान करनी चाहिए थी। इसके बजाय, मॉडलों ने भारी बहुमत के साथ 'डोनर' (दाता) कवक की पहचान की, जिसका परिवेश संबंधी आनुवंशिक पदार्थ उनके साथ जोड़ा गया था। एक मामले में, मॉडल ने लगभग 64 प्रतिशत प्रश्नों के लिए डोनर के परिवार की सही पहचान की, जबकि वास्तविक कवक की पहचान 1 प्रतिशत से भी कम मामलों में की। इससे यह सिद्ध हुआ कि मॉडल स्वयं बारकोड को नहीं देख रहे थे, बल्कि वे आसपास के आनुवंशिक संदर्भ पर निर्भर थे, जो छोटे पर्यावरणीय नमूनों में पूरी तरह से अनुपस्थित था।
यह खोज स्पष्ट करती है कि वे इतने नाटकीय रूप से क्यों विफल हुए। आर्टिफिशियल इंटेलिजेंस ने कवक को पहचानने के लिए पूरे आनुवंशिक रिकॉर्ड, जिसमें बारकोड के पहले और बाद के क्षेत्र शामिल थे, को देखने के लिए सीखा था। जब उन्हें अकेले छोटे खंड के साथ प्रस्तुत किया गया, तो मॉडल प्रभावी रूप से अंधे हो गए, वे उन विशेषताओं को खोजने में असमर्थ थे जिन्हें पहचानने के लिए उन्हें प्रशिक्षित किया गया था। इससे भी बुरा यह था कि मॉडलों ने अपनी उलझन को स्वीकार नहीं किया। उनके 'कॉन्फिडेंस स्कोर' (विश्वास स्कोर) ने परिचित कवक और नवीन कवक के बीच अंतर करने की क्षमता खो दी, जिसका अर्थ है कि आउटपुट ने कोई चेतावनी नहीं दी कि भविष्यवाणी गलत होने की संभावना है। एक मॉडल के मामले में, वह अत्यधिक आत्मविश्वासी बना रहा, जिससे शोधकर्ताओं को गलत होने के बावजूद सुरक्षा का झूठा अहसास हुआ। अध्ययन निष्कर्ष निकालता है कि इन डीप-लर्निंग उपकरणों की रिपोर्ट की गई उच्च सटीकता एक भ्रम है जो डेटा पर परीक्षण करके पैदा किया गया है जो वास्तविक दुनिया की स्थितियों से मेल नहीं खाता है। इन उपकरणों के उपयोगी होने के लिए, उन्हें या तो पुन: प्रशिक्षित या पुन: डिज़ाइन किया जाना चाहिए ताकि वे समझ सकें कि उन्हें प्राप्त छोटे खंड मौलिक रूप से उन पूर्ण रिकॉर्डों से भिन्न हैं जिन पर उन्हें बनाया गया है, अन्यथा वैज्ञानिकों को सरल, अधिक विश्वसनीय तरीकों पर ही भरोसा करना चाहिए जो समय की कसौटी पर खरे उतरे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।