An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks
यह शोध पत्र डीप लर्निंग लॉस फंक्शन सीक्वेंसों का विश्लेषण करके गलत तरीके से लेबल की गई मेडिकल छवियों की पहचान करने के लिए एक स्वचालित विधि का प्रस्ताव और सत्यापन करता है, जो यह प्रदर्शित करता है कि इन त्रुटियों को सुधारने से डायबिटिक रेटिनोपैथी स्क्रीनिंग में डेटासेट की गुणवत्ता और मॉडल के प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के फलों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, लेकिन कुछ तस्वीरों पर गलत नाम के टैग लगे हुए हैं। उदाहरण के लिए, आप गलती से केले को सेब के रूप में लेबल कर सकते हैं। यदि आप रोबोट को इन गलत टैगों का अध्ययन करने देते हैं, तो वह भ्रमित हो जाएगा और गलत चीजें सीख लेगा।
चिकित्सा जगत में, आंखों के स्कैन का विश्लेषण करने वाले AI के साथ बिल्कुल ऐसा ही होता है। डॉक्टरों को इन AI सिस्टम को प्रशिक्षित करने के लिए हजारों छवियों को मैन्युअल रूप से लेबल करना पड़ता है। लेकिन डॉक्टर भी इंसान हैं; वे थक जाते हैं, छवियां धुंधली हो सकती हैं, या स्थितियां बहुत समान दिख सकती हैं। इस शोध पत्र के लेखक अनुमान लगाते हैं कि इनमें से 10% तक मेडिकल लेबल गलत हो सकते हैं।
समस्या: "भ्रमित" छात्र
शोधकर्ताओं ने गौर किया कि AI कैसे "सीखता" है। जब एक AI सही लेबल वाली तस्वीर को देखता है, तो वह जल्दी ही आत्मविश्वासी हो जाता है। उसका "गलती स्कोर" (जिसे लॉस फंक्शन कहा जाता है) सुचारू रूप से नीचे गिरता है, जैसे कि एक छात्र जो पाठ को समझता है और हर दिन बेहतर ग्रेड प्राप्त करता है।
हालाँकि, जब एक AI गलत लेबल वाली तस्वीर को देखता है, तो वह भ्रम के एक लूप में फंस जाता है। वह सीखने की कोशिश करता है, विफल होता है, फिर से प्रयास करता है, और फिर विफल होता है। उसका "गलती स्कोर" बेतहाशा ऊपर-नीचे होता रहता है या उच्च बना रहता है, जैसे कि एक छात्र जो शिक्षक के निर्देशों से लगातार भ्रमित हो रहा हो।
समाधान: AI की "धड़कन" को सुनना
यह शोध पत्र इन खराब लेबलों को खोजने के लिए एक चतुर, स्वचालित तरीका प्रस्तावित करता है, जिसमें हर एक छवि की जांच करने के लिए मानव की आवश्यकता नहीं है। उन्होंने इसे इस प्रकार किया:
- लंबी दौड़: उन्होंने AI को डेटासेट का कई बार अध्ययन करने दिया (जैसे प्रशिक्षण सत्रों का मैराथन चलाना)।
- स्कोर की कहानी: केवल अंतिम परिणाम को देखने के बजाय, उन्होंने प्रत्येक प्रशिक्षण सत्र के बाद AI के "गलती स्कोर" को रिकॉर्ड किया। इसने प्रत्येक छवि के लिए एक अद्वितीय "कहानी" या अनुक्रम (sequence) बनाया।
- पैटर्न खोजना: उन्होंने इन कहानियों को देखने के लिए एक गणितीय उपकरण का उपयोग किया। उन्होंने पाया कि सही ढंग से लेबल की गई छवियों की कहानियाँ बहुत समान दिखती थीं (एक चिकनी ढलान की तरह)। गलत लेबल वाली छवियों की कहानियाँ बिल्कुल अलग थीं (ऊबड़-खाबड़, सपाट या अराजक)।
- छंटनी: उन्होंने इन कहानियों को दो ढेरों में समूहबद्ध करने के लिए एक कंप्यूटर एल्गोरिदम का उपयोग किया: "भ्रमित वाले" (संभावित रूप से गलत लेबल) और "आत्मविश्वासी वाले" (संभावित रूप से सही लेबल)।
प्रयोग: कक्षा की सफाई करना
यह परीक्षण करने के लिए कि क्या यह काम करता है, शोधकर्ताओं ने 10,788 आंखों की छवियों के एक आदर्श सेट को लिया और गुप्त रूप से उनमें से 6% (648 छवियों) के लेबल बदल दिए, मानो वे वास्तविक दुनिया की गलतियाँ हों।
- खोज: उन्होंने इस अव्यवस्थपूर्ण डेटासेट पर अपनी नई विधि चलाई। इसने सफलतापूर्वक बदले गए लेबलों में से 75% को ढूंढ निकाला।
- सुरक्षा जाल: महत्वपूर्ण बात यह है कि इसने बहुत अधिक बार गलत आरोप नहीं लगाया। इसने सही लेबलों में से केवल लगभग 5% को ही गलत बताया।
- सफाई: उन्होंने उन छवियों को लिया जिन्हें कंप्यूटर ने चिह्नित किया था, वरिष्ठ डॉक्टरों से केवल उन्हीं विशिष्ट छवियों की समीक्षा करवाई, और लेबलों को ठीक किया। इससे पूरे डेटासेट की त्रुटि दर 6% से घटकर 1.5% रह गई।
परिणाम: एक स्मार्ट AI
अंत में, उन्होंने इस "साफ किए गए" डेटासेट का उपयोग करके AI को फिर से प्रशिक्षित किया। परिणाम यह हुआ कि AI अपने काम में बेहतर हो गया। एक टेस्ट सेट पर इसकी सटीकता 95.93% से बढ़कर 96.50% हो गई। हालांकि यह संख्या छोटी लग सकती है, लेकिन मेडिकल AI की दुनिया में, "परफेक्ट" स्कोर (जो मूल, अछूते डेटा पर प्रशिक्षित होने पर 96.57% था) के करीब पहुंचना एक बड़ी बात है।
सारांश में
यह शोध पत्र दिखाता है कि AI के "गलती स्कोर" में समय के साथ होने वाले बदलावों को सुनकर, हम स्वचालित रूप से उन छवियों का पता लगा सकते हैं जिनके साथ गलत नाम जुड़े हुए हैं। यह डॉक्टरों को अपना समय केवल उन्हीं छवियों पर केंद्रित करने की अनुमति देता है जिन्हें ठीक करने की आवश्यकता है, जिससे अंतिम डेटासेट अधिक स्वच्छ बनता है और परिणामी मेडिकल AI अधिक सटीक होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।