Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO
यह शोध पत्र रिफ्यूज़ल-कैलिब्रेटेड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (RC-GRPO) का प्रस्ताव करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) रणनीति है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को मौजूदा लक्ष्यों पर अपनी स्थानीयकरण सटीकता से समझौता किए बिना, जनरलाइज्ड रेफरिंग एक्सप्रेशन कॉम्प्रिहेन्शन में गैर-मौजूद वस्तुओं को प्रभावी ढंग से अस्वीकार करने में सक्षम बनाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को इंसान के साथ "आई स्पाई" (I Spy) का खेल खेलना सिखा रहे हैं। इंसान एक तस्वीर की ओर इशारा करता है और कहता है, "लाल गेंद ढूँढो।" यदि लाल गेंद वहाँ है, तो रोबोट को सीधे उसकी ओर इशारा करना चाहिए। लेकिन क्या होगा यदि इंसान कहता है, "लाल गेंद ढूँढो," और तस्वीर में वास्तव में एक नीली बिल्ली दिखाई दे रही है? एक स्मार्ट रोबोट को कहना चाहिए, "मैं यहाँ लाल गेंद नहीं ढूँढ पा रहा हूँ; यहाँ कोई लाल गेंद नहीं है।" हालाँकि, आज के कई सुपर-स्मार्ट कंप्यूटर दिमाग (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल कहा जाता है) उन उत्साही छात्रों की तरह हैं जो गलत होने से डरते हैं। वे उत्तर देने के लिए इतने बेताब होते हैं कि जब उन्हें लाल गेंद नहीं दिखती, तो वे फिर भी अंदाज़ा लगा लेते हैं, नीली बिल्ली की ओर इशारा करते हैं और दावा करते हैं, "यह रही!" इसे "हैलुसिनेशन" (hallucination)—यानी तथ्यों को मनगढ़ंत बनाना—कहा जाता है।
यह शोध पत्र इस समस्या के एक विशिष्ट, पेचीदा संस्करण पर काम करता है जिसे "जनरलाइज्ड रिफरिंग एक्सप्रेशन कॉम्प्रिहेन्शन" (Generalized Referring Expression Comprehension) कहा जाता है। यह एक फैंसी तरीका है यह कहने का कि: "क्या रोबोट वस्तु को ढूँढ सकता है यदि वह वहाँ मौजूद है, और क्या वह ईमानदारी से कह सकता है कि 'मुझे यह नहीं दिख रहा है' यदि वह वहाँ नहीं है?" शोधकर्ताओं ने पाया कि जबकि ये रोबोट चीजें ढूँढने में बहुत अच्छे हैं, लेकिन वे यह स्वीकार करने में बहुत खराब हैं कि चीजें गायब हैं। यदि आप उन्हें केवल अधिक बार "नहीं" कहना सिखाते हैं, तो वे बहुत डर जाते हैं और उन चीजों को ढूँढना बंद कर देते हैं जो वास्तव में वहाँ मौजूद हैं। टीम को रोबोट को यह सिखाने के एक तरीके की आवश्यकता थी कि उसे "नहीं" केवल तभी कहना चाहिए जब वास्तव में आवश्यक हो, बिना यह भुलाए कि उसे "हाँ" कैसे कहना है जब वह सही हो।
लेखक इस शोध पत्र में एक चतुर नई प्रशिक्षण विधि प्रस्तावित करते हैं जिसे रिफ्यूज़ल-कैलिब्रेटेड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (RC-GRPO) कहा जाता है। रोबोट की सीखने की प्रक्रिया को "हॉट एंड कोल्ड" (Hot and Cold) के खेल की तरह समझें। आमतौर पर, रोबोट को उसके अंदाज़ के करीब होने पर एक स्कोर मिलता है। लेकिन जब वस्तु वहाँ नहीं होती, तो रोबोट फिर भी अंदाज़ा लगाना जारी रखता है, इसलिए वह कभी सही उत्तर नहीं सीख पाता। शोधकर्ताओं की पहली तरकीब यह थी कि उन्होंने रोबोट को अपने अभ्यास सत्रों के दौरान "कोई नहीं, मुझे यह नहीं दिख रहा है" कहने के लिए मजबूर किया, भले ही वह अंदाज़ा लगाना चाहता हो। इसने रोबोट को वस्तु गायब होने पर सही बात कहने के लिए एक स्पष्ट "रिवॉर्ड" (इनाम) दिया।
हालाँकि, उन्हें एहसास हुआ कि यदि वे रोबोट को "कोई नहीं" कहने के लिए सराहनें लगे, तो वह हर चीज़ के लिए "कोई नहीं" कहना शुरू कर देगा, भले ही वस्तु वहाँ मौजूद हो। इसे ठीक करने के लिए, उन्होंने एक विशेष नियम जोड़ा: यदि रोबोट "कोई नहीं" कहता है जब वास्तव में एक वस्तु मौजूद होती है, तो उसे भारी दंड (penalty) मिलता है। यह रोबोट को यह बताने जैसा है, "यह ठीक है कि तुम कहो कि तुम्हें गेंद नहीं दिख रही है यदि गेंद वहाँ नहीं है, लेकिन अगर तुम यह कहो कि तुम्हें गेंद नहीं दिख रही है जब वह तुम्हारे ठीक सामने है, तो तुम्हारे अंक कट जाएंगे।" उन्होंने एक दूसरा चरण भी जोड़ा जहाँ रोबोट को यह समझाना पड़ता है कि उसे क्यों लगता है कि वस्तु गायब है (जैसे, "मुझे लाल गेंद नहीं दिख रही है क्योंकि यहाँ केवल एक नीली बिल्ली है")। यह रोबोट को वास्तव में चित्र को समझने के लिए मजबूर करता है न कि केवल एक पैटर्न को याद करने के लिए।
परिणाम दिखाते हैं कि यह तरीका बहुत अच्छा काम करता है। जब उन्होंने तीन अलग-अलग चुनौतीपूर्ण परीक्षणों पर अपने नए तरीके का परीक्षण किया, तो रोबमान चीज़ों को खोजने और गायब होने पर अंदाज़ा लगाने से इनकार करने, दोनों में बहुत बेहतर हो गए। उदाहरण के लिए, एक परीक्षण में, उनके तरीके ने रोबोट की समग्र सटीकता को 45% से बढ़ाकर 62% कर दिया, और यह अन्य उन्नत तरीकों को भी महत्वपूर्ण अंतर से पीछे छोड़ गया। शोध पत्र सुझाव देता है कि यह दृष्टिकोण रोबोट को एक आदर्श संतुलन बनाने में मदद करता है: यह गायब वस्तुओं के लिए नकली स्थान बनाने से रोकता है लेकिन वास्तविक वस्तुओं को खोजने की उसकी क्षमता को कम नहीं करता है। यह एक ऐसे AI की दिशा में एक कदम है जो न केवल स्मार्ट है, बल्कि जो वह देखता है और जो वह नहीं देखता, उसके बारे में ईमानदार भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।