A CNN-Transformer Encoder-Decoder for Image Captioning: Label Smoothing, Backbone Fine-Tuning, and Length-Normalized Decoding
यह शोध पत्र MS COCO 2017 पर एक ट्रांसफॉर्मर-आधारित इमेज कैप्शनिंग मॉडल के एक व्यवस्थित इंजीनियरिंग अध्ययन को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि आंशिक CNN बैकबोन फाइन-ट्यूनिंग को लेंथ-नॉर्मलाइज्ड बीम सर्च डिकोडिंग के साथ संयोजित करने से एक फ्रोजन बेसलाइन की तुलना में मानक मूल्यांकन मेट्रिक्स और लेक्सिकल डाइवर्सिटी में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे कंप्यूटर की कल्पना करें जो एक तस्वीर को देख सकता है और उसमें जो देखता है उसे एक पूर्ण वाक्य में वर्णित कर सकता है। इमेज कैप्शनिंग (image captioning) के रूप में जानी जाने वाली यह कार्यक्षमता दो प्रमुख क्षेत्रों के संगम पर स्थित है: कंप्यूटर विजन, जो मशीनों को देखना सिखाता है, और नेचुरल लैंग्वेज प्रोसेसिंग (natural language processing), जो उन्हें बोलना सिखाता है। वर्षों से, शोधकर्ताओं ने बड़े, अधिक जटिल सिस्टम बनाने पर ध्यान केंद्रित किया है, इस उम्मीद में कि केवल आकार ही बेहतर विवरणों की ओर ले जाएगा। हालाँकि, किसी मशीन के विवरण की गुणवत्ता अक्सर उसके मस्तिष्क के आकार पर कम और इस बात पर अधिक निर्भर करती है कि उसे कैसे सिखाया गया है। जिस तरह एक छात्र एक विशिष्ट अध्ययन कार्यक्रम या सुधार की कोमल विधि के साथ बेहतर सीख सकता है, उसी तरह एक मशीन लर्निंग मॉडल अपने प्रशिक्षण के दौरान उपयोग की जाने वाली तकनीकों के आधार पर अलग तरह से प्रदर्शन करता है। इन सूक्ष्म समायोजनों को समझना महत्वपूर्ण है क्योंकि वे यह निर्धारित करते हैं कि मशीन केवल देखी गई वस्तुओं को सूचीबद्ध करती है या उन्हें एक सुसंगत कहानी में पिरोती है।
शोधकर्ताओं की एक टीम ने इन प्रशिक्षण तकनीकों की जांच करने के लिए एक नियंत्रित प्रयोग का उपयोग किया। उन्होंने MS COCO नामक एक लोकप्रिय डेटाबेस से छवियों का वर्णन करने के लिए डिज़ाइन किया गया एक सिस्टम बनाया, जिसमें रोजमर्रा के दृश्यों की लाखों तस्वीरें शामिल हैं। एक विशाल नया आर्किटेक्चर बनाने के बजाय, उन्होंने 70,000 इमेज विवरणों के एक उपसमूह पर प्रशिक्षित एक छोटे, प्रबंधनीय मॉडल पर ध्यान केंद्रित किया। शोधकर्ता यह देखना चाहते थे कि क्या विशिष्ट, सुप्रसिद्ध इंजीनियरिंग सुधारों से बिना अधिक डेटा या अधिक शक्तिशाली हार्डवेयर की आवश्यकता के कैप्शन की गुणवत्ता में सुधार किया जा सकता है। उन्होंने एक विजुअल बैकबोन (visual backbone) को जोड़ा, जो सिस्टम की आँखों के रूप में कार्य करता है, और एक लैंग्वेज जनरेटर (language generator) को जो उसकी आवाज़ के रूप में कार्य करता है। विजुअल भाग एक पूर्व-मौजूद नेटवर्क पर आधारित था जिसे वस्तुओं को पहचानने के लिए प्रशिक्षित किया गया था, जबकि भाषा वाला भाग संदर्भ और अनुक्रम (sequence) को समझने में सक्षम एक आधुनिक संरचना थी।
अध्ययन ने यह देखने के लिए तीन विशिष्ट समायोजनों का परीक्षण किया कि वे अंतिम आउटपुट को कैसे प्रभावित करते हैं। सबसे पहले, शोधकर्ताओं ने लेबल स्मूथिंग (label smoothing) नामक तकनीक लागू की। मानक प्रशिक्षण में, एक मॉडल को बताया जाता है कि एक विशिष्ट शब्द ही एकमात्र सही उत्तर है, जो इसे अत्यधिक आत्मविश्वासी और भंगुर बना सकता है। लेबल स्मूथिंग मॉडल को कोमलता से बताती है कि हालांकि एक शब्द सबसे अच्छा विकल्प है, लेकिन अन्य पूरी तरह से गलत नहीं हैं, जिससे यह अधिक लचीला और त्रुटियों के प्रति कम संवेदनशील बनता है। दूसरा, उन्होंने इस बात का परीक्षण किया कि सीखने की गति समय के साथ कैसे बदलती है। एक निश्चित गति पर शुरू करने के बजाय, उन्होंने एक ऐसा शेड्यूल उपयोग किया जो धीरे-धीरे शुरू हुआ, एक शिखर तक तेज हुआ, और फिर धीरे-धीरे धीमा हो गया, जो वार्म-अप अवधि के बाद एक स्थिर गिरावट की नकल करता है। यह दृष्टिकोण मॉडल को एक खराब समाधान में फंसने के बजाय एक अच्छे समाधान में बसने में मदद करता है। अंत में, उन्होंने मॉडल द्वारा टेक्स्ट उत्पन्न करने के तरीके को परिष्कृत किया। हर चरण पर केवल सबसे संभावित शब्द चुनने के बजाय, सिस्टम को एक साथ कई संभावित वाक्यों को ध्यान में रखने की अनुमति दी गई, उन वाक्यों को हटा दिया गया जो एक ही तीन-शब्दों के वाक्यांश को बहुत बार दोहराते थे और केवल छोटे, अधूरे विचार उत्पन्न करने से बचने के लिए वाक्य की लंबाई के आधार पर अंतिम स्कोर को समायोजित किया गया।
परिणामों ने दिखाया कि इन समायोजनों का, विशेष रूप से मॉडल द्वारा टेक्स्ट उत्पन्न करने के तरीके का, सबसे महत्वपूर्ण प्रभाव पड़ा। जब शोधकर्ताओं ने एक समय में एक सबसे संभावित शब्द चुनने के बजाय कई विकल्पों को खुला रखने और दोहराव को फ़िल्टर करने की ओर स्विच किया, तो विवरणों की गुणवत्ता में उल्लेखनीय सुधार हुआ। मॉडल ने अधिक सटीक और विविध कैप्शन तैयार किए। उन्होंने यह भी पाया कि विजुअल भाग को मुख्य प्रशिक्षण चरण के बाद मामूली समायोजनों के लिए धीरे से अनफ्रीज (unfreeze) करना मददगार रहा, लेकिन सुधार अपेक्षा से कम था। यह एक व्यावहारिक बाधा के कारण था: सिस्टम के आंतरिक सांख्यिकी को सुरक्षित रखने के लिए बनाया गया एक विशिष्ट सेटिंग ने गलती से अधिकांश परतों को लॉक कर दिया, जिससे विजुअल नेटवर्क का केवल एक बहुत छोटा हिस्सा सीखने के लिए उपलब्ध रह गया। इस सीमा के बावजूद, अंतिम मॉडल ने उच्च स्तर की सटीकता प्राप्त की, और उन मानक परीक्षणों पर अच्छा स्कोर किया जो यह मापते हैं कि मशीन का विवरण मानव-लिखित विवरणों से कितनी निकटता से मेल खाता है।
शोधकर्ताओं ने भाषा के उपयोग की विविधता को भी देखा। उन्होंने पाया कि हालांकि मॉडल छवियों का वर्णन करने में बेहतर हुआ, लेकिन इसमें एक ही वाक्य के भीतर कुछ वाक्यांशों को दोहराने की हल्की प्रवृत्ति भी विकसित हुई, जो स्वचालित लेखन की एक सामान्य समस्या है। हालाँकि, इन दोहरावों को रोकने के लिए उपयोग की जाने वाली तकनीकें टेक्स्ट को पठनीय बनाए रखने में प्रभावी थीं। अध्ययन ने निष्कर्ष निकाला कि सीमित डेटा पर प्रशिक्षित सिस्टम के लिए, प्रशिक्षण के दौरान किए गए विकल्प और टेक्स्ट उत्पन्न करने की रणनीति, अंतर्निहित संरचना की जटिलता से कहीं अधिक मायने रखते हैं। सबसे प्रभावशाली कारक डिकोडिंग रणनीति (decoding strategy) थी—अंतिम शब्दों को चुनने का तरीका—जो प्रशिक्षण शेड्यूल या विजुअल समायोजनों की तुलना में अधिक महत्वपूर्ण साबित हुआ। यह सुझाव देता है कि इमेज कैप्शनिंग के क्षेत्र में, मशीन के अगले शब्द के बारे में सोचने के तरीके को परिष्कृत करना अक्सर मशीन को बड़ा बनाने से अधिक शक्तिशाली होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।