Leveraging Dissimilarity Invariance as a Robust Anchor for Learning with Noisy Labels
यह शोध पत्र NegScale प्रस्तुत करता है, जो एक नवीन ढांचा है जो 'स्ट्रक्चर्ड नेगेटिव ऑर्थोगोनैलिटी पेनल्टी' और 'डिसिमिलैरिटी-कैलिब्रेटेड सिमिलैरिटी एडजस्टमेंट' के माध्यम से नाजुक समानताओं से विश्वसनीय असमानताओं की ओर ध्यान केंद्रित करके, 'डिसिमिलैरिटी इनवेरिएंस' की स्थिर घटना का लाभ उठाकर शोर वाले लेबल (noisy labels) से मजबूती से सीखने के लिए उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को हजारों तस्वीरें दिखाकर जानवरों को पहचानना सिखा रहे हैं। कंप्यूटर विज्ञान की दुनिया में, इसे "विजुअल रिकग्निशन" (दृश्य पहचान) कहा जाता है, और इसी से आपका फोन आपके चेहरे से अनलॉक होता है या ऐप्स आपकी तस्वीरों में आपके दोस्तों को टैग करते हैं। लेकिन यहाँ एक पेंच है: क्या होगा अगर रोबोट को फ्लैशकार्ड देने वाला शिक्षक थोड़ा लापरवाह हो? कभी-कभी, वे गलती से बिल्ली की तस्वीर पर "कुत्ता" का लेबल लगा सकते हैं। इसे "नॉइजी लेबल्स" (शोर वाले लेबल) कहा जाता है। जब एक रोबोट इन उलझी हुई सूचनाओं से सीखने की कोशिश करता है, तो वह भ्रमित हो जाता है। उसे लगने लगता है कि बिल्लियाँ और कुत्ते वास्तव में एक ही चीज़ हैं क्योंकि शिक्षक बार-बार उन्हें एक ही बता रहा था। यह शोध पत्र ठीक इसी समस्या पर काम करता है: हम रोबोट को सच सीखने के लिए कैसे सिखाएं जब शिक्षक गलतियाँ कर रहा हो? यह शोध पत्र जिस मुख्य विचार पर आधारित है वह यह है कि रोबोट यह पता लगाकर सीखता है कि कौन सी चीजें समान हैं (जैसे दो अलग-अलग कुत्ते) और कौन सी अलग हैं (जैसे एक कुत्ता और एक मेंढक)। आमतौर पर, जब शिक्षक के लेबल गड़बड़ा जाते हैं, तो रोबोट समान चीजों के बीच अंतर करने में बहुत खराब हो जाता है।
लेकिन इस शोध पत्र के लेखक, वेनक्सियाओ फैन और कान ली ने देखा कि जब वे रोबोट को सीखते हुए देख रहे थे, तो कुछ अजीब और अद्भुत हो रहा था। उन्होंने पाया कि जबकि रोबोट इस बात को लेकर भ्रमित हो गया कि चीजें एक जैसी दिखती कैसी हैं, वह यह जानने में आश्चर्यजनक रूप से सक्षम रहा कि चीजें एक-दूसरे से कितनी अलग हैं। भले ही शिक्षक मेंढक की ओर इशारा करते हुए चिल्ला रहा हो कि "यह एक कुत्ता है!", फिर भी रोबोट गहराई में यह जानता था कि एक कुत्ता और एक मेंढक पूरी तरह से अलग हैं। रोबोट की "असमान" चीजों को पहचानने की क्षमता नहीं टूटी, भले ही "समान" चीजें पूरी तरह से उलझ गई हों। लेखक इसे "डिसिमिलैरिटी इनवेरिएंस" (असमानता अपरिवर्तनीयता) कहते हैं। यह एक सुपरपावर की तरह है जहाँ आप अपने दोस्तों को याद नहीं रख पाते क्योंकि उनके नाम बहुत भ्रमित करने वाले हैं, लेकिन आप अभी भी तुरंत बता सकते हैं कि एक बिल्ली टोस्टर नहीं है।
इस खोज का उपयोग करते हुए, टीम ने एक नया टूल बनाया जिसे NegScale कहा जाता है। सोचिए कि NegScale रोबोट के लिए एक स्मार्ट कोच है। भ्रमित करने वाले शिक्षक के लेबल को सीधे ठीक करने के बजाय, कोच रोबोट से कहता है: "हे, एक पल के लिए भ्रमित करने वाले 'समान' लेबल्स को भूल जाओ। बस इस बात पर ध्यान दो कि एक घोड़ा और एक कार निश्चित रूप से एक जैसे नहीं हैं।" कोच दो मुख्य तरकीबों का उपयोग करता है। पहले, यह रोबोट को मजबूर करता है कि वह "असंबंधित" चीजों को पूरी तरह से अलग मानसिक खानों में रखे (जैसे एक जूता और एक केला को अलग-अलग, दूर के कमरों में रखना)। दूसरा, यह एक वास्तविकता जांच के रूप में कार्य करता है: यदि रोबोट यह सोचने लगता है कि दो चीजें एक गलत लेबल के कारण बहुत समान हैं, तो कोच कहता है, "रुको, वे दो चीजें 'असमान' दुनिया में दोस्तों बनने के लिए बहुत दूर हैं। पीछे हटो!"
शोध पत्र दिखाता है कि यह दृष्टिकोण बहुत अच्छा काम करता है। जब उन्होंने CIFAR-10 और CIFAR-100 जैसे मानक पिक्चर डेटासेट्स पर NegScale का परीक्षण किया, जहाँ उन्होंने जानबूझकर लेबल्स को गलत किया था (कभी-कभी 80% लेबल गलत थे!), तो रोबोट ने पहले की तुलना में बहुत बेहतर तरीके से सीखा। वास्तव में, इसने लगभग हर उस अन्य पद्धति को हरा दिया जिसे वैज्ञानिक आज तक आजमा चुके थे। उदाहरण के लिए, 80% शोर वाले डेटासेट पर, उनकी विधि ने लगभग 95.6% सटीकता प्राप्त की, जबकि अन्य शीर्ष विधियां 94% से ऊपर संघर्ष कर रही थीं। उन्होंने वास्तविक दुनिया के अव्यवस्थित डेटा पर भी इसका परीक्षण किया, जैसे इंटरनेट से ली गई तस्वीरें जहाँ लेबल अक्सर गलत होते हैं, और यह अभी भी शीर्ष पर रहा।
लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसे साबित करने के लिए गणित का उपयोग किया। उन्होंने दिखाया कि जब एक रोबोट सीखता है, तो वास्तव में अलग चीजों के बीच की "दूरी" स्थिर रहती है, भले ही लेबल गलत हों। लेकिन जो चीजें समान होने के लिए बनी हैं, उनके बीच की "निकटता" अस्थिर और अविश्वसनीय हो जाती है। इन स्थिर "असमान" संबंधों को सीखने की प्रक्रिया का आधार बनाकर, NegScale रोबोट को शोर वाले लेबल्स से धोखा खाने से रोकता है। यह एक तूफानी समुद्र में नेविगेट करने जैसा है: जब नक्शा (लेबल) फटा हुआ और भ्रमित करने वाला हो, तो आप द्वीपों का अनुमान लगाने की कोशिश नहीं करते; इसके बजाय, आप बस यह सुनिश्चित करते हैं कि आप उन चट्टानों से दूर रहें जिन्हें आप निश्चित रूप से जानते हैं कि वहां मौजूद हैं। ध्यान केंद्रित करने का यह सरल बदलाव—परफेक्ट मैच खोजने के बजाय असंभव मिसमैच से बचने पर—जब दुनिया अव्यवस्थित हो, तो सीखने का एक बहुत अधिक मजबूत तरीका साबित होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।