🤖 machine learning

Toward Real-Time Image Annotation Using Marginalized Coupled Dictionary Learning

यह शोध पत्र मार्जिनलाइज्ड कपल्ड डिक्शनरी लर्निंग का उपयोग करते हुए एक वास्तविक समय की इमेज एनोटेशन विधि प्रस्तावित करता है, जो असंतुलित लेबल को प्रभावी ढंग से संभालने और समय लेने वाली सर्च-आधारित तकनीकों से बेहतर प्रदर्शन करने के लिए एक $\ell_1$ -रेगुलराइज्ड मार्जिनलाइज्ड लॉस फंक्शन के साथ विजुअल और सिमेंटिक प्रोटोटाइप को एक साथ सीखता है।

मूल लेखक: Seyed Mahdi Roostaiyan, Mohammad Mehdi Hosseini, Mahya Mohammadi Kashani, S. Hamid Amiri

प्रकाशित 2026-07-31

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seyed Mahdi Roostaiyan, Mohammad Mehdi Hosseini, Mahya Mohammadi Kashani, S. Hamid Amiri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में घूम रहे हैं जहाँ हर एक किताब एक तस्वीर है। समस्या यह है कि किसी भी किताब की रीढ़ (spine) पर कोई शीर्षक नहीं है। यदि आपको "सूर्यास्त" (sunset) की तस्वीर ढूँढनी है, तो आपको हर एक किताब को बाहर निकालना होगा, उसके पन्ने पलटने होंगे, और अंदाज़ा लगाना होगा कि क्या वह आपकी खोज से मेल खाती है। यही इमेज एनोटेशन (image annotation) की दुनिया है: तस्वीरों को "कुत्ता," "समुद्र तट," या "पिज्जा" जैसे शब्दों के साथ स्वचालित रूप से टैग करने का कार्य। अतीत में, कंप्यूटरों ने एक नई फोटो की तुलना डेटाबेस की हर एक फोटो से करके इसे हल करने की कोशिश की ताकि सबसे करीबी मिलान ढूंढा जा सके। यह एक स्टेडियम में अपने दोस्त को खोजने के लिए हर एक व्यक्ति से पूछने जैसा है कि क्या वे उसे जानते हैं; यह काम तो करता है, लेकिन इसमें बहुत समय लगता है।

यह शोध पत्र इस पुस्तकालय की दो बड़ी समस्याओं पर चर्चा करता है। पहला, "सर्च" (खोज) विधि वास्तविक समय (real-time) के उपयोग के लिए बहुत धीमी है (आप टैग के लिए मिनटों तक इंतजार नहीं कर सकते)। दूसरा, टैग अव्यवस्थित हैं। कुछ टैग, जैसे "आकाश," हजारों तस्वीरों पर दिखाई देते हैं, जबकि अन्य, जैसे "लाल साइकिल," शायद केवल कुछ ही तस्वीरों पर दिखाई देते हैं। यह "असंतुलित" (imbalanced) प्रकृति मानक कंप्यूटर गणित को भ्रमित करती है, जो अक्सर सब कुछ औसत निकालने की कोशिश करता है, जिससे धुंधले और गलत अनुमान मिलते हैं। लेखक इस पुस्तकालय को व्यवस्थित करने का एक नया तरीका प्रस्तावित करते हैं, न कि हर किताब की हर दूसरी किताब से तुलना करके, बल्कि "सुपर-रिप्रजेंटेटिव्स" या प्रोटोटाइप्स (prototypes) के एक छोटे सेट के माध्यम से। इन प्रोटोटाइप्स को "अल्टीमेट सारांश" के रूप में सोचें: सभी सूर्यास्त के सार को पकड़ने वाला एक "सूर्यास्त" प्रोटोटाइप, और सभी कुत्तों के सार को पकड़ने वाला एक "कुत्ता" प्रोटोटाइप। लक्ष्य कंप्यूटर को यह सिखाना है कि वह किसी भी नई फोटो को इन कुछ शक्तिशाली सारांशों के एक सरल मिश्रण के रूप में वर्णित करे, जिससे टैगिंग की प्रक्रिया तुरंत हो जाए।

तस्वीरों को टैग करने का नया तरीका

इस शोध पत्र के लेखक, रोस्टायन (Roost-staiyan) और उनकी टीम, एक विधि पेश करते हैं जिसे मार्जिनलाइज्ड कपल्ड डिक्शनरी लर्निंग (Marginalized Coupled Dictionary Learning - MCDL) कहा जाता है। आप इसे एक स्मार्ट, दो-भाग वाली छँटाई प्रणाली के रूप में समझ सकते हैं जो एक विशाल फोटो लाइब्रेरी को एक छोटे, कुशल 'चीट शीट' में सारांशित करना सीखती है।

लाखों चित्र संग्रहीत करने के बजाय, MCDL सीमित संख्या में विजुअल प्रोटोटाइप्स (चीजों का "रूप") और उनके मिलान वाले सिमेंटिक प्रोटोटाइप्स (उनका "अर्थ" या टैग) सीखता है। कल्पना कीजिए कि आपके पास लेगो (LEGO) ब्रिक्स का एक डिब्बा है। हर बार नया किला बनाने के लिए शून्य से शुरुआत करने के बजाय, आपके पास कुछ पहले से बने "किले मॉड्यूल" हैं। जब आप एक नया किला देखते हैं, तो आप बस कहते हैं, "ठीक है, यह मॉड्यूल A का 30% और मॉड्यूल B का 70% है।" MCDL बिल्कुल यही करता है: यह एक जटिल छवि को सीखे गए प्रोटोटाइप्स के एक भारित योग (weighted sum) में तोड़ देता है।

इसका जादू इस बात में है कि वे "अव्यवस्थित" टैग्स को कैसे संभालते हैं। वास्तविक दुनिया में, अधिकांश तस्वीरों में हर संभव टैग नहीं होता है। कुत्ते की एक फोटो को "कुत्ता" और "पार्क" के रूप में टैग किया जा सकता है, लेकिन "समुद्र" या "पिज्जा" के रूप में नहीं। मानक गणितीय विधियाँ इन गायब टैग्स (शून्य) से भ्रमित हो जाती हैं, और एक ऐसा औसत निकालने की कोशिश करती हैं जो तर्कसंगत नहीं है। लेखक तर्क देते हैं कि एक मानक "स्क्वेयर्ड लॉस" फंक्शन (एक सामान्य गणितीय उपकरण जो त्रुटियों को वर्ग करके दंडित करता है) का उपयोग करना एक चौकोर टुकड़े को गोल छेद में फिट करने की कोशिश करने जैसा है; यह एक छोटी गलती को एक बड़ी गलती के समान मानता है और खाली टैग्स से पक्षपाती हो जाता है।

इसे ठीक करने के लिए, शोध पत्र एक मार्जिनलाइज्ड लॉस फंक्शन (marginalized loss function) का उपयोग करने का सुझाव देता है। इसे एक "छोटी बातों की चिंता न करें" नियम के रूप में समझें। यदि कोई टैग वहां होना चाहिए लेकिन कंप्यूटर का अनुमान थोड़ा सा गलत है, या यदि कोई टैग गायब होना चाहिए लेकिन अनुमान शून्य के करीब है, तो सिस्टम इसे अनदेखा कर देता है। यह केवल तब गंभीर होता है जब कंप्यूटर स्पष्ट गलती करता है (जैसे बिल्ली को कुत्ता कहना)। यह सिस्टम को महत्वपूर्ण संकेतों पर केंद्रित रखता है और शोर (noise) को अनदेखा करता है।

इसके अलावा, शोध पत्र $\ell_1$ रेगुलराइजेशन ( $\ell_1$ regularization) का उपयोग करता है। सरल भाषा में, यह एक नियम है जो सिस्टम को "आलसी" या "स्पार्स" (sparse) होने के लिए मजबूर करता है। यह कंप्यूटर को कहता है: "एक साधारण छवि का वर्णन करने के लिए 50 अलग-अलग प्रोटोटाइप का उपयोग न करें; बस उन 2 या 3 का उपयोग करें जो वास्तव में मायने रखते हैं।" यह महत्वपूर्ण है क्योंकि यह सिस्टम को प्रशिक्षण डेटा को बहुत अधिक सटीकता से याद करने (overfitting) से रोकता है, जिससे यह नई, अनदेखी तस्वीरों पर विफल हो जाता। यह सुनिश्चित करता है कि प्रत्येक प्रोटोटाइप सरल और एक विशिष्ट प्रकार की छवि पर केंद्रित रहे।

उन्होंने क्या पाया

टीम ने कई बड़े फोटो डेटासेट्स पर अपने नए तरीके का परीक्षण किया, जिसमें IAPRTC-12 (लगभग 19,000 चित्र), ESP-GAME (लगभग 20,000 चित्र), और 60,000 और 125,000 छवियों वाले दो विशाल फ्लिकर (Flickr) सबसेट्स शामिल थे। उन्होंने अपने MCDL मेथड की तुलना पुराने "सर्च-आधारित" तकनीक 2PKNN से की, जो "स्टेडियम में हर किसी से पूछने" वाला दृष्टिकोण है।

परिणाम दो तरीकों से चौंकाने वाले थे:

गति (Speed): पुरानी विधि को एक नई छवि को टैग करने में लंबा समय लगता था क्योंकि उसे हजारों अन्य छवियों के साथ तुलना करनी पड़ती थी। 125,000-इमेज वाले डेटासेट के लिए, पुरानी विधि को प्रति छवि लगभग 390 मिलीसेकंड (0.39 सेकंड) लगते थे। हालाँकि, MCDL ने इस समय को घटाकर केवल 10 मिलीसेकंड कर दिया। यह समय में 97.4% की कमी है। लेखक सुझाव देते हैं कि यह वास्तविक समय की एनोटेशन को संभव बनाता है, जिससे एक धीमी, बोझिल प्रक्रिया लगभग तुरंत होने वाली प्रक्रिया में बदल जाती है।
सटीकता (Accuracy): इतनी तेज़ होने के बावजूद, MCDL ने गुणवत्ता से समझौता नहीं किया। वास्तव में, यह अक्सर बेहतर प्रदर्शन करता है। IAPRTC-12 डेटासेट पर, MCDL ने 47% का F1 स्कोर प्राप्त किया, जो अगले सर्वश्रेष्ठ मेथड (MLDL) को पछाड़ दिया (जिसका स्कोर 47% ही था लेकिन अलग मेट्रिक्स के साथ), और 2PKNN (जो 39% था) को काफी पीछे छोड़ दिया। ESP-GAME डेटासेट पर, MCDL ने 42% प्राप्त किया, और एक बार फिर प्रतिस्पर्धा को मात दी।

शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि केवल अधिक जटिल गणित का उपयोग करना या अधिक छवियों की जांच करना ही समाधान है। वे तर्क देते हैं कि कई अन्य तरीकों में उपयोग किया जाने वाला "स्क्वेयर्ड लॉस" फंक्शन इन अव्यवस्थित, असंतुलित टैग्स के लिए अनुपयुक्त है क्योंकि यह परिणामों को शून्य की ओर झुकाता है। उनके प्रयोगों ने दिखाया कि उनका "मार्जिनलाइज्ड" दृष्टिकोण, जो छोटी गलतियों को अनदेखा करता है, बेहतर सामान्यीकरण (generalization) की ओर ले जाता है।

निष्कर्ष

लेखक निष्कर्ष निकालते हैं कि एक विशाल डेटासेट को कुछ हजार "प्रोटोटाइप्स" में सारांशित करके (उदाहरण के लिए, 20,000-इमेज डेटासेट के लिए 4,000 प्रोटोटाइप का उपयोग करना) और त्रुटियों की गणना करने के एक स्मार्ट तरीके का उपयोग करके, आप दोनों तरफ का लाभ प्राप्त कर सकते हैं: उच्च सटीकता और बिजली जैसी तेज़ गति। वे सुझाव देते हैं कि यह विधि विशेष रूप से अच्छी है क्योंकि यह टैग्स की प्राकृतिक "स्पर्सिटी" (sparsity) का सम्मान करती है—यह स्वीकार करती है कि अधिकांश तस्वीरों में केवल कुछ ही प्रासंगिक लेबल होते हैं। हालांकि वे नोट करते हैं कि यह विधि तब सबसे अच्छा काम करती है जब विजुअल फीचर्स पहले से ही अच्छी तरह से अलग (जैसे आधुनिक AI नेटवर्क से) हों, लेकिन एक संक्षिप्त, कुशल डिक्शनरी बनाने का मूल विचार इमेज टैगिंग को तेज़ और विश्वसनीय बनाने के लिए एक ठोस कदम प्रतीत होता है।

समस्या विवरण
इमेज एनोटेशन (छवि अंकन) में छवियों को कई लेबल सौंपना शामिल है, जो तीन प्राथमिक चुनौतियों से जटिल हो जाता है: "क्लास-इम्बैलेंस" (लेबल की आवृत्ति में अत्यधिक भिन्नता), "इनकम्प्लीट-लेबलिंग" (छवियों में अक्सर सभी प्रासंगिक लेबल नहीं होते हैं), और "डाइवर्स-लेबलिंग" (अनुमानित लेबल प्रतिनिधि और गैर-अतिरेक होने चाहिए)। जबकि समानता-आधारित रणनीतियाँ (जैसे k-निकटतम पड़ोसी) सहज हैं, वे स्वाभाविक रूप से समय लेने वाली हैं क्योंकि उन्हें एक क्वेरी छवि की तुलना डेटासेट के प्रत्येक चित्र के साथ करनी पड़ती है। यह कम्प्यूटेशनल बोझ वास्तविक समय (real-time) अनुप्रयोग में बाधा डालता है। इसके अलावा, मौजूदा डिक्शनरी लर्निंग विधियाँ अक्सर वर्गाकार हानि (squared loss) कार्यों का उपयोग करती हैं, जो असंतुलित, विरल (sparse) लेबल डेटा के लिए अनुपयुक्त हैं, जिससे पक्षपाती पुनर्निर्माण (biased reconstructions) होता है जहाँ लेबल स्कोर शून्य की ओर धकेल दिए जाते हैं।

कार्यप्रणाली: मार्जिनलाइज्ड कपल्ड डिक्शनरी लर्निंग (MCDL)
लेखक मार्जिनलाइज्ड कपल्ड डिक्शनरी लर्निंग (MCDL) का प्रस्ताव करते हैं, जो एक सीमित संख्या में विजुअल प्रोटोटाइप और उनके संबंधित सिमेंटिक वेक्टर्स को एक साथ सीखने के लिए डिज़ाइन किया गया एक नवीन दृष्टिकोण है। मुख्य उद्देश्य लेबल वाली छवियों और उनके टैग्स को इन सीखे गए प्रोटोटाइप के भारित योग (weighted sum) के रूप में गुणनखंडित (factorize) करना है, जिससे बड़े डेटासेट का सारांश निकाला जा सके और वास्तविक समय में एनोटेशन सक्षम हो सके।

यह विधि एक संयुक्त अनुकूलन समस्या (joint optimization problem) पर आधारित है जो विजुअल और सिमेंटिक डिक्शनरी के संबंध में पुनर्निर्माण और हिंज लॉस (hinge loss) को कम करती है। मुख्य तकनीकी घटक निम्नलिखित हैं:

कपल्ड डिक्शनरी संरचना (Coupled Dictionary Structure): मॉडल एक कपल्ड डिक्शनरी $D_C$ सीखता है जो एक विजुअल डिक्शनरी $D_I$ और एक सिमेंटिक डिक्शनरी $D_L$ से बनी होती है। प्रत्येक कपल्ड प्रोटोटाइप में एक विजुअल सब-प्रोटोटाइप और एक सिमेंटिक सब-प्रोटोटाइप होता है।
मार्जिनलाइज्ड हिंज लॉस (Marginalized Hinge Loss): मानक वर्गाकार हानि के बजाय, MCDL सिमेंटिक मोडैलिटी के लिए एक मार्जिनलाइज्ड स्क्वेयर्ड हिंज लॉस फंक्शन का उपयोग करता है। यह फंक्शन केवल उन फॉल्स पॉजिटिव और फॉल्स नेगेटिव पर दंड (penalty) लगाता है जो एक विशिष्ट मार्जिन का उल्लंघन करते हैं। यह उन स्कोर को अनदेखा करता है जो एक "सुरक्षित" मार्जिन के भीतर आते हैं (अर्थात, पर्याप्त उच्च स्कोर वाले सकारात्मक लेबल या पर्याप्त निम्न स्कोर वाले नकारात्मक लेबल), जो वर्गाकार हानि में सामान्य शून्य की ओर झुकाव को रोकता है।
$\ell_1$ रेगुलराइजेशन ( $\ell_1$ Regularization): समस्या की उच्च-आयामी प्रकृति और लेबल वेक्टर्स की विरलता (sparsity) को संबोधित करने के लिए, सिमेंटिक डिक्शनरी पर $\ell_1$ रेगुलराइजेशन लागू किया जाता है। यह विरल सिमेंटिक प्रोटोटाइप को प्रोत्साहित करता है, यह सुनिश्चित करता है कि प्रत्येक विजुअल प्रोटोटाइप केवल कुछ ही प्रासंगिक लेबलों से संबंधित हो, जो ओवरफिटिंग को रोकने में मदद करता है।
ऑप्टिमाइज़ेशन एल्गोरिदम (Optimization Algorithm): गैर-कॉन्वेक्स संयुक्त अनुकूलन को दो मुख्य चरणों वाले एक अल्टरनेटिंग एल्गोरिदम के माध्यम से हल किया जाता है:
1. मार्जिनलइज्ड कपल्ड स्पार्स कोडिंग (MCSC): स्पार्स गुणांकों (coefficients) को अपडेट करने के लिए लीस्ट एंगल रिग्रेशन (LARS) पर आधारित एक तेज़ पुनरावृत्ति (iterative) विधि, जबकि डिक्शनरी स्थिर रहती है।
2. डिक्शनरी अपडेट: विजुअल और सिमेंटिक प्रोटोटाइप को अपडेट करने के लिए एक रैंडमाइज्ड कोऑर्डिनेट डिसेंट दृष्टिकोण।

मुख्य योगदान
पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

कपल्ड डिक्शनरी रणनीति: लेबल वाली छवियों को विजुअल प्रोटोटाइप और संबंधित सिमेंटिक वेक्टर्स में गुणनखंडित करने की एक विधि, जो डेटा सारांशीकरण (data summarization) की अनुमति देती है।
मार्जिनलइज्ड लॉस फंक्शन: सिमेंटिक मोडैलिटी के लिए एक हिंज लॉस का परिचय जो केवल विशिष्ट त्रुटियों (मार्जिन के बाहर के फॉल्स पॉजिटिव/नेगेटिव) को दंडित करता है, जो पारंपरिक कपल्ड डिक्शनरी लर्निंग विधियों (जैसे D-KSVD या LC-KSVD) के विपरीत है जो बाइनरी लेबल्स पर वर्गाकार हानि का उपयोग करती हैं।
$\ell_1$ रेगुलराइजेशन के माध्यम से विरलता (Sparsity): सिमेंटिक प्रोटोटाइप पर $\ell_1$ रेगुलराइजेशन का अनुप्रयोग ताकि विरलता को लागू किया जा सके, जो लेबल वेक्टर्स की प्राकृतिक विरलता को दर्शाता है और उच्च-आयामी स्थानों में ओवरफिटिंग को कम करता है।

प्रायोगिक परिणाम
लेखकों ने विभिन्न CNN आर्किटेक्चर (VggNet, ResNet, DenseNet, EfficientNet) से निकाले गए फीचर्स का उपयोग करके चार डेटासेट्स: IAPRTC-12, ESP-GAME, FLICKR-60K, और FLICKR-125K पर MCDL का मूल्यांकन किया।

सटीकता (Accuracy): MCDL ने IAPRTC-12 (47%) और ESP-GAME (42%) पर स्टेट-ऑफ-द-आर्ट F1 स्कोर प्राप्त किया, जो 2PKNN (टू-पास K-नेरेस्ट नेबर्स) और अन्य डिक्शनरी लर्निंग दृष्टिकोणों को पछाड़ देता है। विधि ने प्रिसिजन और रिकॉल के बीच एक बेहतर ट्रेड-ऑफ प्रदर्शित किया, जिसका मुख्य कारण स्कोर थ्रेशोल्ड के आधार पर परिवर्तनीय संख्या में लेबल असाइन करने की इसकी क्षमता है, न कि एक निश्चित संख्या।
दक्षता (Efficiency): सबसे महत्वपूर्ण परिणाम एनोटेशन समय में कमी है। जबकि 2PKNN के लिए $O(N \times M + N \times N \times T)$ $O (N \times M + N \times N \times T)$ जटिलता ( $N$ $N$ प्रशिक्षण नमूनों की संख्या है) की आवश्यकता होती है, MCDL इसे $O(K \times M + K \times M^2)$ $O (K \times M + K \times M^{2})$ तक कम कर देता है, जहाँ $K$ $K$ प्रोटोटाइप की संख्या है ( $K \ll N$ $K ≪ N$ )।
- IAPRTC-12 और ESP-GAME पर, एनोटेशन का समय ~25ms से घटकर 1.5ms से कम हो गया (एक >94% की कमी)।
- बड़े FLICKR-125K डेटासेट पर, समय 390ms से घटकर 10ms हो गया (97.4% की कमी)।
स्केलेबिलिटी (Scalability): विधि ने बिना किसी महत्वपूर्ण सटीकता हानि के बड़े डेटासेट्स को प्रभावी ढंग से सारांशित किया (उदाहरण के लिए, केवल ~20,000 प्रोटोटाइप के साथ 124,840 छवियों का प्रतिनिधित्व करना)।

महत्व और दावे
पेपर का दावा है कि MCDL सर्च-आधारित विधियों की कम्प्यूटेशनल अक्षमताओं और असंतुलित सेटिंग्स में मानक लॉस फंक्शन के सांख्यिकीय पूर्वाग्रहों को संबोधित करके वास्तविक समय के इमेज एनोटेशन के लिए एक व्यवहार्य समाधान प्रदान करता है। लेखक तर्क देते हैं कि विजुअल और सिमेंटिक सहसंबंधों को कैप्चर करने वाले सूचनात्मक प्रोटोटाइप को सीखकर, विधि उच्च सटीकता प्राप्त करती है और एनोटेशन के लिए आवश्यक समय को भारी रूपतः कम कर देती है। कार्य सुझाव देता है कि अन्य एनोटेशन विधियाँ संभावित रूप से MCDL द्वारा निकाले गए प्रोटोटाइप का लाभ उठा सकती हैं। लेखक यह भी नोट करते हैं कि भविष्य के कार्यों में अधिक सुसंगत विरल (sparse) निरूपण के लिए विजुअल फीचर्स को लोअर-डायमेंशनल स्पेस में प्रोजेक्ट करने के लिए एक ट्रांसफॉर्मेशन मैट्रिक्स को एम्बेड करना शामिल हो सकता है।

तस्वीरों को टैग करने का नया तरीका

उन्होंने क्या पाया

निष्कर्ष

इसी तरह के और पेपर