Adaptive Hard Negative Mining for Fine Grained Vision Language Understanding A Negative Result and Analysis

आधुनिक कंप्यूटर चित्रों को देखने और शब्दों को पढ़ने में असाधारण रूप से कुशल हो गए हैं, वे अक्सर उन्हें एक एकल, एकीकृत अनुभव के रूप में देखते हैं। यदि आप किसी मशीन को समुद्र तट की तस्वीर दिखाते हैं और उससे दृश्य का वर्णन करने के लिए कहते हैं, तो वह आमतौर पर बता सकती है कि वहां रेत, पानी और शायद कुछ लोग हैं। यह क्षमता, जिसे विजन-लैंग्वेज अंडरस्टैंडिंग (दृष्टि-भाषा समझ) कहा जाता है, ने हमारे द्वारा छवियों को खोजने और डिजिटल पुस्तकालयों को व्यवस्थित करने के तरीके को बदल दिया है। हालांकि, केवल इसलिए कि एक प्रणाली सामान्य रूप से एक दृश्य का वर्णन कर सकती है, इसका मतलब यह नहीं है कि वह उसके भीतर के विशिष्ट विवरणों को समझती है। जब तीन कुत्तों वाली फोटो और चार कुत्तों वाली फोटो के बीच अंतर करने या यह बताने के लिए कहा जाता है कि एक गेंद पेड़ के बाईं ओर है या दाईं ओर, तो ये प्रणालियाँ अक्सर लड़खड़ा जाती हैं, और इनका प्रदर्शन एक रैंडम अनुमान लगाने से बेहतर नहीं होता। सामान्य प्रवाह और सटीक तर्क के बीच का यह अंतर वह केंद्रीय पहेली है जिसे शोधकर्ता हल करने की कोशिश कर रहे हैं।

क्वामे नक्रुमा यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के वैज्ञानिकों की एक टीम ने हाल ही में इन मॉडलों को सूक्ष्म विवरणों के बारे में स्मार्ट बनाने के लिए डिज़ाइन की गई एक विशिष्ट प्रशिक्षण पद्धति का परीक्षण करके इस समस्या पर काम किया। उन्होंने SPEC नामक एक डेटासेट के साथ काम किया, जिसे विशेष रूप रूप से एक मशीन की चार कठिन अवधारणाओं को आंकने की क्षमता का परीक्षण करने के लिए बनाया गया था: किसी वस्तु का आकार, उसकी स्थिति, उसका अस्तित्व, और उनकी संख्या। यह डेटासेट पहेलियों की एक श्रृंखला की तरह बनाया गया है। प्रत्येक छवि के लिए, कंप्यूटर को कई अलग-अलग विवरण दिखाए जाते हैं, और उनमें से केवल एक सही होता है। अन्य विवरण बहुत समान होते हैं, जो केवल उस एक विवरण से भिन्न होते हैं, जैसे कि "दो" को "तीन" में बदलना या "बाएं" को "दाएं" में बदलना। यह सेटअप मॉडल को सामान्य पैटर्न पर निर्भर रहने के बजाय सटीक अंतर पर ध्यान केंद्रित करने के लिए मजबूर करता है।

शोधकर्ताओं ने एक तकनीक जिसे 'फिक्स्ड हार्ड-नेगेटिव माइनिंग' कहा जाता है, का उपयोग करके एक मानक विजन-लैंग्वेज मॉडल को प्रशिक्षित करके शुरुआत की। इस दृष्टिकोण में, कंप्यूटर को एक छवि और गलत उत्तरों का एक सेट दिखाया जाता है, और उसे बताया जाता है कि प्रत्येक गलत उत्तर को समान रूप से कठिन माना जाए। मॉडल सही विवरण को छवि के करीब लाने और सभी गलत विवरणों को दूर धकेलने के लिए सीखता है। यह तरीका बहुत शानदार रहा। इस डेटासेट पर प्रशिक्षण देकर, मॉडल की सटीकता लगभग 33 प्रतिशत से बढ़कर लगभग 89 प्रतिशत हो गई। इसने स्पष्ट रूप से आकार, स्थिति, अस्तित्व और संख्या के सूक्ष्म अंतरों को पहचानना सीख लिया था।

इस सफलता से उत्साहित होकर, शोधकर्ताओं ने एक स्वाभाविक प्रश्न पूछा: क्या वे मॉडल को यह सिखाकर इसे और भी बेहतर बना सकते हैं कि वह अपनी गलतियों से कैसे सीखता है? कई शिक्षण प्रणालियों में, सभी गलतियाँ एक जैसी नहीं होती हैं। कुछ स्पष्ट त्रुटियां हैं जिन्हें मॉडल को अनदेखा करना चाहिए, जबकि अन्य भ्रमित करने वाले 'नियर-मिस' (लगभग सही) होते हैं जो सबसे मूल्यवान सबक प्रदान करते हैं। इस विचार को 'एडेप्टिव हार्ड-नेगेटिव माइनिंग' कहा जाता है। शोधकर्ताओं ने एक नई विधि प्रस्तावित की जहाँ कंप्यूटर लगातार यह जांचता रहता था कि वह किन गलत उत्तरों से वर्तमान में भ्रमित है। यदि मॉडल किसी विशिष्ट प्रकार की त्रुटि के साथ संघर्ष कर रहा था, तो सिस्टम उस त्रुटि को अधिक महत्व देता, जिससे मॉडल अपना ध्यान वहां केंद्रित करने के लिए मजबूर होता। यह एक तार्किक कदम था, यह मानते हुए कि डेटासेट में आसान और कठिन उदाहरणों का मिश्रण है जिसे मॉडल छाँट सकता है।

परिणाम, हालांकि, एक आश्चर्यजनक विफलता थी। जब शोधकर्ताओं ने इस एडेप्टिव पद्धति को लागू किया, तो मॉडल का प्रदर्शन नाटकीय रूप से गिर गया। सुधार होने के बजाय, औसत सटीकता सरल पद्धति की तुलना में 23 प्रतिशत अंक कम हो गई। कुछ विशिष्ट श्रेणियों में, गिरावट और भी गंभीर थी, जहाँ मॉडल का प्रदर्शन फिक्स्ड दृष्टिकोण की तुलना में 30 से अधिक अंकों से खराब था। शोधकर्ताओं ने इस विफलता का पता इस परीक्षण के डिज़ाइन से लगाया। क्योंकि SPEC डेटासेट को बहुत सावधानी से बनाया गया था, इसलिए प्रत्येक सेट में हर गलत उत्तर वास्तव में कठिन था। वहां अनदेखा करने के लिए कोई आसान गलतियाँ नहीं थीं और न ही कम महत्व देने के लिए कोई आसान उदाहरण थे। "कठिनाई" पूरे बोर्ड पर एक समान थी। जब एडेप्टिव सिस्टम ने कठिनाई के आधार पर उदाहरणों को पुन: भारित (रीवेट) करने की कोशिश की, तो उसे अनुसरण करने के लिए कोई संकेत नहीं मिला। मदद करने के बजाय, भारों के निरंतर बदलाव ने प्रशिक्षण प्रक्रिया को अस्थिर बना दिया, जिससे मॉडल अपना संतुलन खो बैठा।

गहराई से जानने के लिए, टीम चाहती थी कि क्या मॉडल वास्तव में अवधारणाओं को समझ रहा है या केवल उन्हें अलग-थलग याद कर रहा है। उन्होंने SPEC++ नामक एक नया नैदानिक परीक्षण बनाया जिसने दो अलग-अलग अवधारणाओं को एक साथ जोड़ा। उदाहरण के लिए, वे एक ही छवि में एक वस्तु के आकार और वस्तुओं की संख्या दोनों को एक साथ पहचानने के लिए कहेंगे। यदि मॉडल ने इन विचारों को एक एकल, सुसंगत समझ में बुनना सीख लिया होता, तो उसे एक साथ दोनों भागों पर अच्छा प्रदर्शन करना चाहिए था। इसके बजाय, संयुक्त कार्य पर मॉडल की सफलता दर बिल्कुल वैसी ही थी जैसी आप तब उम्मीद करेंगे जब वे दो समस्याओं को अलग-अलग हल कर रहे हों और फिर केवल संभावनाओं को गुणा कर रहे हों। वह आकार को सही ढंग से बता सकता था और संख्या को सही ढंग से बता सकता था, लेकिन वह इन तथ्यों को एक एकल, सुसंगत विचार में बुनने में सक्षम नहीं लग रहा था।

ये निष्कर्ष आर्टिफिशियल इंटेलिजेंस के क्षेत्र के लिए एक शांत लेकिन महत्वपूर्ण चेतावनी देते हैं। अध्ययन बताता है कि जब डेटा को समान रूप से कठिन बनाया जाता है, तो सबसे सरल प्रशिक्षण पद्धति अक्सर सबसे प्रभावी होती है, और जटिलता जोड़ने का प्रयास वास्तव में प्रदर्शन को नुकसान पहुँचा सकता है। इसके अलावा, उन बेंचमार्क पर उच्च स्कोर जो एक समय में एक अवधारणा का परीक्षण करते हैं, उन्हें एक मशीन के यह समझने के प्रमाण के रूप में नहीं देखा जाना चाहिए कि अवधारणाएं आपस में कैसे काम करती हैं। मॉडल व्यक्तिगत पहेलियों को बड़ी कुशलता से हल करना सीख रहे हैं, लेकिन वे अभी तक यह नहीं सीख पा रहे हैं कि विचारों को एक पूर्ण चित्र या एक जुड़ी हुई कहानी के रूप में कैसे देखा जाए। आगे का रास्ता ऐसे परीक्षण बनाने की मांग करता है जो विचारों के वास्तविक संयोजन की मांग करें और ऐसे प्रशिक्षण तरीके विकसित करने की आवश्यकता है जो मशीनों को इन विवरणों को केवल अलग-थलग चुनौतियों के रूप में मानने के बजाय उन्हें आपस में जोड़ने के लिए प्रोत्साहित करें।