When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning
यह शोध पत्र विज़ुअलाइज़्ड टास्क सिमेंटिक्स (VTS) को प्रस्तुत करता है जो यह प्रकट करता है कि जब निर्देश टेक्स्ट के बजाय पिक्सेल के रूप में एम्बेडेड होते हैं तो मल्टीमॉडल मॉडल्स में प्रदर्शन का एक महत्वपूर्ण अंतर आता है, और एक प्रॉम्प्ट-रीजन ग्राउंडिंग विधि प्रस्तावित करता है जो बिना किसी OCR या रीजन मेटाडेटा के इन्फरेंस के दौरान प्रभावी ढंग से इस सिमेंटिक चैनल गैप को पाटता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को पहेलियाँ सुलझाना सिखा रहे हैं। यह रोबोट, जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) के रूप में जाना जाता है, एक प्रतिभाशाली छात्र की तरह है जो एक ही समय में टेक्स्ट पढ़ सकता है और चित्रों को देख सकता है। आमतौर पर, आप रोबोट को गणित की समस्या की एक तस्वीर और एक अलग टेक्स्ट संदेश देते हैं जिसमें लिखा होता है, "इसे हल करो!" रोबोट टेक्स्ट निर्देश पढ़ता है, चित्र को देखता है, और उत्तर देता है। लेकिन क्या होगा अगर आप निर्देश टेक्स्ट के रूप में नहीं देते? क्या होगा यदि आप निर्देश को स्वयं चित्र के अंदर लिख देते हैं, जैसे दीवार पर पेंट किया हुआ कोई साइन बोर्ड?
वैज्ञानिकों ने सोचा है कि क्या यह रोबोट अभी भी उतना ही अच्छा काम करेगा। क्या इससे फर्क पड़ता है कि निर्देश एक "टेक्स्ट टोकन" (एक डिजिटल शब्द) है या एक "पिक्सेल" (स्क्रीन पर रंग का एक छोटा सा बिंदु)? आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक संदेह है कि रोबोट टेक्स्ट पढ़ने में तो माहिर हो सकते हैं लेकिन चित्र का हिस्सा रहे निर्देशों को "पढ़ने" में बहुत खराब हो सकते हैं। वे शब्दों को पूरी तरह से कॉपी कर सकते हैं (जैसे एक फोटोकॉपी मशीन) लेकिन वास्तव में यह समझने में विफल हो सकते हैं कि वे शब्द उन्हें क्या करने का आदेश दे रहे हैं। यह शोध पत्र इसी रहस्य की गहराई में उतरता है ताकि यह देखा जा सके कि क्या रोबोट भ्रमित हो जाता है जब नियम चैट बॉक्स के बजाय चित्र के भीतर लिखे होते हैं।
"पिक्सेलेटेड" प्रश्न का रहस्य
शोधकर्ताओं के एक दल ने, जो विश्वविद्यालयों और तकनीकी कंपनियों से जुड़े थे, इस विचार का परीक्षण करने के लिए एक चतुर प्रयोग किया जिसे वे विजुअलाइज्ड टास्क सिमेंटिक्स (VTS) कहते हैं। कल्पना कीजिए कि आपके पास एक मानक गणित का टेस्ट है। आमतौर पर, प्रश्न चित्र के ऊपर टाइप किया जाता है। अपने प्रयोग के लिए, उन्होंने ठीक उसी प्रश्न को लिया, टाइप किए गए टेक्स्ट को मिटा दिया, और प्रश्न को सीधे चित्र के ऊपर, समस्या के ठीक ऊपर पेंट कर दिया। उन्होंने मूल टाइप किए गए निर्देश को एक छोटे, उबाऊ नोट से भी बदल दिया जिसमें केवल लिखा था, "मुझे इस समस्या को हल करने में मदद करें।"
उन्होंने इस परीक्षण को चार अलग-अलग प्रकार के कठिन बेंचमार्क (जैसे गणित चार्ट और जटिल आरेख) का उपयोग करके छह अलग-अलग AI मॉडल पर चलाया। परिणाम एक भारी गिरावट थी। औसतन, मॉडल की सटीकता में 17.8 अंक की कमी आई जब प्रश्न चित्र में पेंट किया गया था, तुलना में जब वह टाइप किया गया था। कुछ मामलों में, यह गिरावट 28.0 अंक तक थी।
ऐसा नहीं था कि रोबोट अक्षरों को पढ़ नहीं पा रहे थे। शोधकर्ताओं ने जांच की, और मॉडल अधिकांश समय पेंट किए गए शब्दों को सही ढंग से ट्रांसक्राइब (लिखना) कर सकते थे। समस्या इससे कहीं अधिक गहरी थी: मॉडल उन शब्दों का उपयोग निर्देशों के रूप में करने में विफल हो रहे थे। यह ऐसा ही है जैसे रोबोट ने दीवार पर लगा साइन देखा, वह शब्दों को पढ़ सकता है, लेकिन उसे यह एहसास नहीं हुआ कि, "ओह, यह साइन मुझे क्या करने के लिए कह रहा है!" शोधकर्ता इसे "सिमेंटिक चैनल गैप" (semantic channel gap) कहते हैं। सूचना जिस मार्ग से जाती है (टेक्स्ट बनाम इमेज), वह रोबोट के सोचने के तरीके को बदल देता है, भले ही शब्द समान हों।
समाधान: रोबोट को साइन को "ग्राउंड" करना सिखाना
इसे ठीक करने के लिए, टीम ने एक नई प्रशिक्षण विधि विकसित की जिसे प्रॉम्प्ट-रीजन ग्राउंडिंग (Prompt-Region Grounding) कहा जाता है। इसे एक बच्चे को एक साइन की ओर इशारा करते हुए और यह कहते हुए सिखाने जैसा समझें, "यह नियम है!"
उन्होंने प्रशिक्षण के दौरान दो विशेष तरकीबों का उपयोग किया:
- PVRD-SG ("मीनिंग मैच"): उन्होंने रोबोट को पेंट किए गए प्रश्न के साथ चित्र दिखाया और उसी प्रश्न का एक अलग, साफ टेक्स्ट संस्करण दिखाया। उन्होंने रोबोट को यह महसूस करने के लिए मजबूर किया कि प्रश्न वाला विशिष्ट पिक्सेल का हिस्सा (patch) उसी अर्थ को रखता है जो टाइप किया गया टेक्स्ट रखता है। यह एक तरह से भौतिक साइन को रोबोट के मस्तिष्क में उस अवधारणा (concept) से जोड़ने जैसा है।
- PRMLP ("ब्लाइंड स्पॉट" टेस्ट): उन्होंने पेंट किए गए प्रश्न वाले चित्र को लिया और टेक्स्ट के कुछ हिस्सों को एक काले बॉक्स से ढक दिया (मास्किंग)। फिर, उन्होंने रोबोट से अनुमान लगाने को कहा कि छिपा हुआ टेक्स्ट क्या अर्थ रखता है। इसने रोबोट को निर्देश के सार (essence) को सीखने के लिए मजबूर किया, न कि केवल सटीक पिक्सेल को याद करने के लिए।
सबसे अच्छी बात? इस प्रशिक्षण के लिए रोबोट को किसी विशेष उपकरण जैसे OCR (ऑप्टिकल कैरेक्टर रिकग्निization) या यह जानने की आवश्यकता नहीं थी कि वास्तविक परीक्षा के दौरान टेक्स्ट बॉक्स कहाँ है। अंतिम परीक्षा के दौरान, रोबोट बस पेंट किए गए प्रश्न वाली इमेज देखता है और सीधे उत्तर देता है, बिल्कुल पहले की तरह।
परिणाम: अंतर को कम करना
परिणाम उत्साहजनक थे। इस नए प्रशिक्षण के बाद, "पेंट किए गए प्रश्न" वाले परीक्षणों पर मॉडल की सटीकता 58.0% से बढ़कर 66.3% हो गई। यह एक महत्वपूर्ण सुधार है, जो टेक्स्ट निर्देशों और इमेज निर्देशों के बीच के अंतर को कम करता है। मॉडल मूल टेक्स्ट-आधारित परीक्षणों में भी थोड़े बेहतर हो गए (69.1% से 70.3% तक), जिससे सिद्ध होता है कि उन्होंने अपने पुराने कौशल खोए नहीं हैं।
शोधकर्ताओं ने इसे 1,000 से अधिक वास्तविक दुनिया की छवियों पर परखा जिन्हें उन्होंने पहले नहीं देखा था, जैसे वर्कशीट्स, फॉर्म और स्क्रीनशॉट के फोटो। इस नई पद्धति ने वास्तविक दुनिया के पेजों पर सटीकता में 7.9 अंक का सुधार किया।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि चित्र में टेक्स्ट पढ़ना और उस टेक्स्ट का उपयोग निर्देश के रूप में करना दो अलग-अलग कौशल हैं। सिर्फ इसलिए कि एक रोबोट शब्दों को पढ़ सकता है, इसका मतलब यह नहीं है कि वह उन्हें तब सुन सकता है जब वे एक चित्र का हिस्सा हों। उन्हें प्रश्न को उनके अर्थ के साथ "ग्राउंड" करने के लिए सिखाकर, उन्होंने इस अंतर को पाटने में मदद की।
लेखक सावधानी बरतते हुए कहते हैं कि हालांकि उन्होंने स्थिति में सुधार किया है, लेकिन उन्होंने इसे पूरी तरह से हल नहीं किया है। अभी भी एक छोटा सा अंतर बाकी है, और यह विधि तब सबसे अच्छा काम करती है जब टेक्स्ट स्पष्ट रूप से दिखाई दे रहा हो और एक मानक प्रारूप में हो। हालाँकि, यह अध्ययन साबित करता है कि हम AI से कैसे बात करते हैं, यह मायने रखता है। यदि हम चाहते हैं कि रोबोट वास्तव में स्मार्ट बनें, तो हमें उन्हें सिखाना होगा कि पिक्सेल में लिखा गया प्रश्न भी उतना ही महत्वपूर्ण है जितना कि चैट बॉक्स में टाइप किया गया प्रश्न।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।