← नवीनतम पेपर
💻 computer science

Chain-of-Caption: Training-free improvement of multimodal large language model on referring expression comprehension

यह शोध पत्र 'चेन-ऑफ-कैप्शन' (Chain-of-Caption) का प्रस्ताव देता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो टूल के उपयोग के माध्यम से कई टेक्स्टुअल और विजुअल संदर्भों को रणनीतिक रूप से जोड़कर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के रिफरिंग एक्सप्रेशन कॉम्प्रिहेन्शन प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, जिससे बिना फाइन-ट्यूनिंग के विभिन्न बेंचमार्क पर 5% से 30% तक की सटीकता में वृद्धि प्राप्त होती है।

मूल लेखक: Yik Lung Pang, Changjae Oh

प्रकाशित 2026-02-10
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yik Lung Pang, Changjae Oh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक "Where's Waldo?" (वॉल्डो कहाँ है?) खेल खेल रहे हैं और आपका एक बहुत ही बुद्धिमान लेकिन थोड़ा भुलक्कड़ रोबोट दोस्त आपके साथ है। आप रोबोट को एक व्यस्त तस्वीर दिखाते हैं और कहते हैं, "नीली शर्ट और धूप का चश्मा पहने हुए आदमी को ढूँढो।"

रोबोट तस्वीर को देखता है और एक जगह की ओर इशारा करता है। कभी-कभी, वह सही होता है। लेकिन अक्सर, वह किसी सफेद शर्ट वाले आदमी की ओर इशारा कर सकता है, या वह सही आदमी को तो चुन लेता है लेकिन उसके चारों ओर एक ऐसा बॉक्स बनाता है जो बहुत बड़ा है, जिसमें आधा आसमान और पास का एक पेड़ भी शामिल है।

यह शोध पत्र इस बारे में है कि कैसे उस रोबोट को एक बेहतर जासूस बनने के लिए सिखाया जाए बिना उसे सालों तक पढ़ाई कराने या सब कुछ फिर से सिखाने के। लेखक उनकी नई विधि को "Chain-of-Caption" कहते हैं।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. समस्या: रोबोट विचलित हो जाता है

वर्तमान "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (MLLMs) एक सुपर-स्मार्ट लाइब्रेरियन की तरह हैं जो पढ़ सकते हैं और देख सकते हैं। वे चीजें खोजने में बहुत अच्छे हैं, लेकिन जब तस्वीर भीड़भाड़ वाली हो या लक्ष्य पृष्ठभूमि (background) में छिपा हो, तो वे भ्रमित हो जाते हैं। वे शायद सही सामान्य क्षेत्र का अनुमान लगा लें लेकिन वस्तु के सटीक किनारों को पहचानने में विफल हो सकते हैं।

2. समाधान: रोबोट को एक "चीट शीट" देना

लेखकों ने महसूस किया कि यदि वे रोबोट को लक्ष्य खोजने से पहले थोड़ी अतिरिक्त मदद देते हैं, तो वह बहुत बेहतर प्रदर्शन करता है। वे इस अतिरिक्त मदद को "कॉन्टेक्स्ट" (Context) कहते हैं।

उन्होंने दो प्रकार की चीट शीटों का परीक्षण किया:

  • टेक्स्ट लिस्ट (ग्राउंडेड डिस्क्रिप्शन): केवल "आदमी को ढूँढो" कहने के बजाय, रोबोट पहले तस्वीर में दिखने वाली हर चीज़ की एक सूची बनाता है, जैसे कि किराने की सूची, लेकिन निर्देशांकों (coordinates) के साथ।
    • उदाहरण: "1. हरी शर्ट वाला आदमी [स्थान], 2. हाथी [स्थान], 3. नारंगी ट्रक [स्थान]।"
    • इस सूची होने से, रोबोट आपकी रिक्वेस्ट ("नीली शर्ट वाला आदमी") की अपने स्वयं के लिस्ट से तुलना कर सकता है ताकि यह देख सके कि कौन सा आइटम सबसे सटीक रूप से मेल खाता है।
  • ज़ूम लेंस (क्रॉपिंग): यदि रोबोट किसी स्थान का अनुमान लगाता है, तो लेखक रोबोट को उस स्थान पर "ज़ूम इन" करने की अनुमति देते हैं। यह उस क्षेत्र की केवल एक फोटो लेने और उसे रोबोट को फिर से दिखाने जैसा है। इससे रोबोट को केवल प्रासंगिक हिस्से पर ध्यान केंद्रित करने में मदद मिलती है, जिससे वह विचलित करने वाली पृष्ठभूमि को अनदेखा कर पाता है।

3. "Chain-of-Caption" लूप: जासूस की चेकलिस्ट

असली जादू तब होता है जब वे इन उपकरणों को एक लूप में मिलाते हैं, जैसे कि एक जासूस अपना काम चेक कर रहा हो:

  1. चरण 1: रोबोट छवि में दिखने वाली हर चीज़ की एक सूची बनाता है (ग्राउंडेड डिस्क्रिप्शन)।
  2. चरण 2: उस सूची का उपयोग करके, वह लक्ष्य को खोजने की कोशिश करता है और उसके चारों ओर एक बॉक्स बनाता है।
  3. चरण 3 (चेक): रोबोट खुद से एक साधारण हाँ/ना का सवाल पूछता है: "क्या इस बॉक्स के अंदर की चीज़ वास्तव में नीली शर्ट वाला आदमी है?"
    • यदि हाँ: बहुत बढ़िया! वह उत्तर को सुरक्षित रखता है।
    • यदि नहीं: रोबोट हार नहीं मानता। वह अभी-अभी बनाए गए गलत बॉक्स की एक तस्वीर लेता है, उस चीज़ का विवरण लिखने के लिए एक कैप्शन लिखता है जिसे उसने वास्तव में देखा (जैसे, "यह सफेद शर्ट वाला एक आदमी है"), और उस नोट को अपनी मूल सूची में जोड़ देता है।
  4. चरण 4: रोबोट इस नई, अधिक विस्तृत सूची के साथ फिर से प्रयास करता है। यह ऐसा है जैसे कहना, "ठीक है, मुझे पता है कि सफेद शर्ट वाला आदमी लक्ष्य नहीं है, इसलिए मैं फिर से नीली शर्ट की तलाश करूँगा।"

4. परिणाम: कोई नया प्रशिक्षण आवश्यक नहीं

सबसे अच्छी बात यह है कि उन्हें रोबोट को फिर से प्रशिक्षित करने या उसे हजारों नई किताबें खिलाने की आवश्यकता नहीं पड़ी। उन्होंने बस यह बदला कि वे सवाल कैसे पूछते हैं।

  • उपमा: इसे एक छात्र को टेस्ट से ठीक पहले एक बेहतर स्टडी गाइड देने जैसा समझें, बजाय इसके कि उसे वर्णमाला सीखने के लिए वापस प्राथमिक विद्यालय जाने के लिए मजबूर किया जाए।
  • परिणाम: जब उन्होंने मानक पिक्चर पहेलियों (RefCOCO जैसे डेटासेट) पर इसका परीक्षण किया, तो रोबोट वस्तुओं के सटीक किनारों को खोजने में काफी बेहतर हो गया।
    • सरल शब्दों में, यदि रोबोट पहले "लगभग सही" (70% सटीकता) उत्तर देता था, तो इस विधि ने उसे "पूरी तरह से सही" (कुछ मामलों में 90% से अधिक सटीकता) तक पहुँचा दिया।
    • यह उन वस्तुओं को खोजने में विशेष रूप से अच्छा था जिन्हें देखना कठिन था या जहाँ चित्र में कई समान वस्तुएं मौजूद थीं।

सारांश

यह शोध पत्र एक "ट्रेनिंग-फ्री" ट्रिक पेश करता है जिसे Chain-of-Caption कहा जाता है। यह एक स्मार्ट AI को एक स्व-सुधार करने वाले जासूस में बदल देता है:

  1. पहले वह जो देखता है उसकी सूची बनाना।
  2. अपने अनुमानों पर ज़ूम इन करने की अनुमति देना।
  3. अपना काम चेक करना और यदि उसका अनुमान गलत हुआ तो लिखना कि क्या गलत हुआ, और फिर से प्रयास करना।

सोचने की यह सरल श्रृंखला AI को बिना किसी महंगे या समय लेने वाले पुन: प्रशिक्षण के, चित्रों में वस्तुओं को बहुत अधिक सटीकता से खोजने की अनुमति देती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →