Doomed to Re-Annotate, Forever: The ImageNet Story

कल्पना कीजिए कि आप एक रोबोट को दुनिया को देखना सिखा रहे हैं, जैसे एक बच्चा चिड़ियाघर में जानवरों को पहचानना सीखता है। इसे करने के लिए, आपको एक विशाल चित्र-पुस्तिका की आवश्यकता है जहाँ हर फोटो के साथ उसके अंदर मौजूद चीज़ का सही नाम लिखा हो। कंप्यूटर विज़न की दुनिया में, इस "चित्र-पुस्तिका" को ImageNet कहा जाता है। एक दशक से अधिक समय से, यह स्वर्ण मानक (gold standard) रहा है, यह देखने का अंतिम परीक्षण कि क्या रोबोट की आँखें तेज़ हो रही हैं। परीक्षण सरल है: रोबोट को एक तस्वीर दिखाएं, और पूछें, "इस फोटो में मुख्य चीज़ क्या है?" यदि रोबोट सही शब्द का अनुमान लगाता है, तो उसे एक अंक मिलता है। यह स्कोर, जिसे "Top-1 accuracy" कहा जाता है, आर्टिफिशियल इंटेलिजेंस के हर बड़े breakthrough का स्कोरबोर्ड रहा है।

हालाँकि, इसमें एक पेच है। कल्पना कीजिए कि आपकी चित्र-पुस्तिका उन लोगों की एक जल्दबाज़ी में लिखी गई भीड़ द्वारा बनाई गई थी जिन्हें जानवरों के बारे में ज़्यादा जानकारी नहीं थी, और उन्हें प्रति घंटे के हिसाब से भुगतान किया गया था। वे झाड़ियों में छिपे दूसरे जानवर को मिस कर सकते हैं, खिलौने वाले कुत्ते को असली कुत्ता कह सकते हैं, या दर्पण के प्रतिबिंब वाली तस्वीर को वास्तविक वस्तु बता सकते हैं। समय के साथ, ये छोटी-छोटी गलतियाँ जमा होती जाती हैं। यदि टेस्ट बुक बिखरी हुई और अव्यवस्थित है, तो आप वास्तव में यह नहीं बता पाएंगे कि रोबोट स्मार्ट है या वह केवल गलत उत्तरों का अनुमान लगाकर भाग्यशाली हो गया है। यह शोध पत्र उस अव्यवस्थित चित्र-पुस्तिका की गहराई में उतरता है ताकि यह देखा जा सके कि वह वास्तव में कितनी खराब है, और क्या हम स्कोरबोर्ड को बिगाड़े बिना इसे साफ कर सकते हैं।

द ग्रेट इमेजनेट क्लीनअप: बिखरे हुए लेबल और स्मार्ट रोबोट की एक कहानी

ImageNet-1k डेटासेट को एक विशाल, 50,000 पन्नों के फोटो एल्बम के रूप में सोचें जिसका उपयोग पूरी दुनिया के AI ने अपनी आँखें प्रशिक्षित करने के लिए किया है। वर्षों से, शोधकर्ताओं ने इस एल्बम को एक पवित्र ग्रंथ की तरह माना है, यह मानकर कि हर लेबल एकदम सही था। लेकिन इस शोध पत्र के लेखकों ने, जो प्राग में चेक तकनीकी विश्वविद्यालय की एक टीम है, इस पर एक आवर्धक लेंस (magnifying glass) लगाने का निर्णय लिया। उन्होंने एक सरल, डरावना सवाल पूछा: क्या होगा अगर हमारे टेस्ट बुक के उत्तर गलत हों?

उन्होंने केवल कुछ पन्ने ही नहीं देखे; उन्होंने पूरे वैलिडेशन सेट को फिर से एनोटेट (re-annotate) किया। इसका मतलब है कि उन्होंने उन सभी 50,000 छवियों को फिर से देखा, लेकिन इस बार एक बहुत अधिक स्मार्ट और अधिक सावधानीपूर्ण दृष्टिकोण के साथ। उन्होंने महसूस किया कि लेबल करने का पुराना तरीका—जहाँ एक इंसान को एक तस्वीर के लिए केवल एक शब्द चुनना पड़ता था—एक अराजक पार्टी का वर्णन करने जैसा था जहाँ आप केवल दरवाजे के पास खड़े व्यक्ति का नाम ले रहे हों। आप डीजे, केक, या मेज पर बैठी बिल्ली को मिस कर सकते हैं।

बड़ा खुलासा: एल्बम बहुत अव्यवस्थित था
जब उन्होंने अपना काम पूरा किया, तो उन्होंने पाया कि मूल लेबल पूर्ण होने से बहुत दूर थे।

• "गलत उत्तर" की दर: लगभग 12% छवियों में पूरी तरह से गलत लेबल था। यह एक बिल्ली की तस्वीर को कुत्ता लेबल करने जैसा है।
• "मिसिंग आइटम्स" की दर: एक चौंकाने वाले 33.3% चित्रों में वास्तव में कई महत्वपूर्ण चीजें शामिल थीं, लेकिन पुराने लेबल केवल एक को चुनते थे। यदि एक फोटो में कुत्ता, एक गेंद और एक बाड़ (fence) थी, तो पुराना लेबल केवल "कुत्ता" कह सकता था, बाकी को अनदेखा करते हुए।
• "नो मैच" की दर: आश्चर्यजनक रूप से, 3.8% छवियों में उन 1,000 श्रेणियों में से कुछ भी नहीं था जिनका उन्हें परीक्षण करना था। ये या तो खाली स्लेट थे या ऐसी चीजें थीं जो नियमों में फिट नहीं बैठती थीं।

इसे ठीक करने के लिए, टीम ने ReImageNet बनाया। इंसानों को केवल एक विजेता चुनने के लिए मजबूर करने के बजाय, उन्होंने multilabel एनोटेशन की अनुमति दी। उन्होंने एनोटेटर्स को कहने की अनुमति दी, "ठीक है, यहाँ एक कुत्ता, एक गेंद और एक बाड़ है।" उन्होंने जटिल स्थितियों को संभालने के लिए विशेष "एट्रिब्यूट्स" (attributes) भी जोड़े:

• प्रतिबिंब (Reflection): यदि आप दर्पण में एक चेहरा देखते हैं, तो क्या वह एक चेहरा है? हाँ, लेकिन वह एक प्रतिबिंब है।
• प्रतिरूप (Rendition): क्या वह एक असली बंदूक है या खिलौना बंदूक? लेबल को अंतर पता होना चाहिए।
• भीड़ (Crowd): यदि एक फोटो में पचास लोग हैं, तो क्या हम उन सभी को गिनते हैं? उन्होंने विशेष टैग बनाए ताकि एनोटेटर्स को पचास छोटी बॉक्स बनाने की ज़रूरत न पड़े।

"इंसान + रोबोट" की टीम
उनकी कहानी का सबसे दिलचस्प हिस्सा यह है कि उन्होंने इसे कैसे किया। उन्होंने केवल इंटरनेट पर अजनबियों की भीड़ (जिसे crowdsourcing कहा जाता है) को काम पर नहीं रखा और उम्मीद नहीं की। उन्होंने पाया कि क्राउडसोर्सिंग अक्सर भ्रम पैदा करती है क्योंकि नियम इतने कठिन होते हैं कि उन्हें एक छोटे मैनुअल में समझाना मुश्किल होता है।

इसके बजाय, उन्होंने एक "ड्रीम टीम" बनाई। उन्होंने प्रशिक्षित विशेषज्ञों के एक छोटे समूह को काम पर रखा और उन्हें एक सुपरपावर दी: AI असिस्टेंट्स। उन्होंने पहले तस्वीरों को देखने और वहां क्या है, इसके सुझाव देने के लिए शक्तिशाली AI मॉडल (जैसे GPT-4o और अन्य) का उपयोग किया। फिर, मानव विशेषज्ञों ने उन सुझावों की जांच की। यह एक सहयोग था: AI एक तेज़, अथक स्काउट था, और मानव एक सावधान संपादक था। शोध पत्र में पाया गया कि यह संयोजन उच्च गुणवत्ता वाले लेबल प्राप्त करने का सबसे अच्छा तरीका था। AI अकेला परफेक्ट नहीं था, और इंसान अकेले बहुत धीमे थे, लेकिन एक साथ मिलकर, वे सटीकता के एक नए स्तर पर पहुँच गए।

क्या हुआ जब उन्होंने रोबोटों का परीक्षण किया?
एक बार जब उनके पास नए, साफ लेबल आ गए, तो उन्होंने पुराने AI मॉडलों को फिर से परीक्षण के माध्यम से चलाया। परिणाम "ओह" और "वाह" का मिश्रण थे।

• पुराने दिग्गज (Supervised Models): पारंपरिक AI मॉडल, जो पुराने, बिखरे हुए लेबल्स पर प्रशिक्षित थे, उनमें बहुत अधिक सुधार नहीं हुआ। उनका स्कोर केवल 0.05% से 1.2% बढ़ा। ऐसा लगता है कि वे पहले से ही बिखरे हुए जवाबों का अनुमान लगाने में काफी कुशल हो चुके थे।
• नए खिलाड़ी (MLLMs): नए, अधिक उन्नत मॉडल (Multimodal Large Language Models) में भारी उछाल देखा गया। उनके स्कोर में 5% से 6% की वृद्धि हुई। यह सुझाव देता है कि ये स्मार्ट मॉडल वास्तव में पुराने, बिखरे हुए लेबल्स से परेशान थे। जब लेबल्स को साफ किया गया, तो वे अंततः दिखा सके कि वे वास्तव में कितने स्मार्ट हैं।

"ज़ूम-इन" सरप्राइज
टीम ने एक और चतुर काम किया: उन्होंने तस्वीरों से विशिष्ट वस्तुओं को काट दिया (जैसे कि केवल कुत्ते की तस्वीर को क्रॉप करना) और उन छोटे टुकड़ों पर रोबोटों का परीक्षण किया। उन्होंने पाया कि जब बैकग्राउंड हट जाता है, तो पुराने स्टाइल के रोबोट चीजों को पहचानने में बहुत खराब हो जाते हैं। उनकी सटीकता 33% तक गिर गई। इसका मतलब है कि वे वास्तव में कुत्ते को पहचानने के बजाय बैकग्राउंड (जैसे कि यह जानना कि कुत्ता आमतौर पर घास पर होता है) पर निर्भर थे। नए, स्मार्ट मॉडल इस मामले में बहुत बेहतर थे, जो साबित करता है कि वे वास्तव में वस्तु को "देख" रहे थे।

रिपल इफेक्ट (Ripple Effect)
शोध पत्र हमें यह चेतावनी भी देता है कि यह गड़बड़ी केवल ImageNet में नहीं है। क्योंकि इतने सारे अन्य परीक्षण ImageNet को ब्लूप्रिंट के रूप में उपयोग करके बनाए गए हैं, इसलिए त्रुटियाँ वायरस की तरह फैल गई हैं। लेखक अनुमान लगाते हैं कि इन डेरिवेटिव टेस्ट में मूल की तुलना में 1.7 से 5.8 गुना अधिक त्रुटियां हैं। यह ऐसा है जैसे आपने एक नया घर एक ऐसे ब्लूप्रिंट का उपयोग करके बनाया जिसमें गलत माप थे; नया घर भी उतना ही टेढ़ा होगा।

निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि हम एक बार में एक परफेक्ट टेस्ट नहीं बना सकते। यह एक बार का काम नहीं है; यह एक प्रक्रिया है। आपको लगातार जाँच करनी होगी, लगातार सुधार करना होगा, और उपलब्ध सर्वोत्तम उपकरणों का उपयोग करना होगा। वे तर्क देते हैं कि "वन-शॉट" लेबलिंग के दिन समाप्त हो गए हैं। AI का भविष्य बनाने के लिए, हमें सावधान मनुष्यों और शक्तिशाली AI के बीच एक साझेदारी की आवश्यकता है, जो लगातार एक-दूसरे के काम की जाँच करते रहें।

संक्षेप में, शोध पत्र हमें बताता है कि लंबे समय तक, हम AI को एक ऐसे टेस्ट पर ग्रेड दे रहे थे जो गलतियों (typos) से भरा हुआ था। अब जब हमने उन गलतियों को ठीक कर दिया है, तो हम देखते हैं कि कुछ AI वास्तव में हमारी सोच से कहीं अधिक स्मार्ट हैं, जबकि अन्य केवल गलत उत्तरों का अनुमान लगाने में अच्छे थे। और सबके लिए सबक क्या है? किसी टेस्ट बुक पर सिर्फ इसलिए भरोसा न करें क्योंकि वह पुरानी है; कभी-कभी, आपको उसे फिर से लिखना पड़ता है।