Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models
यह शोध पत्र प्रकट करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (Multimodal Large Language Models) सफलतापूर्वक मोटे तौर पर दृश्य साक्ष्यों (coarse-grained visual evidence) को एनकोड करते हैं, लेकिन भाषा के पूर्वाग्रहों (language priors) बनाम उन पर अपनी निर्भरता को विश्वसनीय रूप से नियंत्रित करने में संघर्ष करते हैं, एक ऐसी सीमा जिसे सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) और एक्टिवेशन स्टीयरिंग (activation steering) के माध्यम से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान रोबोट से बात कर रहे हैं जिसने लगभग हर लिखी हुई किताब पढ़ ली है और करोड़ों घंटों की फिल्में देखी हैं। यह रोबोट एक "मल्टीमॉडल लार्ज लैंग्वेज मॉडल" (MLLM) है। यह एक जीनियस लाइब्रेरियन की तरह है जो अपने प्रशिक्षण डेटा—अपने "पूर्व ज्ञान" (prior knowledge)—से दुनिया के बारे में सब कुछ जानता है। लेकिन इस रोबोट की आँखें भी हैं। यह एक तस्वीर देख सकता है और जो वह देखता है उसे अपने ज्ञान के साथ जोड़ सकता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है कि जब रोबोट एक ऐसी तस्वीर देखता है जो उसके ज्ञान के विपरीत हो (जैसे पाँच पैरों वाला घोड़ा), तो क्या वह इसलिए विफल होता है क्योंकि वह अतिरिक्त पैर को देख नहीं पाता, या इसलिए विफल होता है क्योंकि वह पैर को देखता तो है लेकिन उसे अनदेखा करने का निर्णय लेता है? यह शोध पत्र इस रहस्य की गहराई में जाता है, इस पहेली को सुलझाने के लिए कि विफलता कहाँ होती है: "इंद्रियों" (देखने) में या "निर्णय लेने की प्रक्रिया" (जो वह देखता है उसका उपयोग करने) में।
शोधकर्ता, जियांग ली और उनके सहयोगियों के नेतृत्व में, इस पहेली को सुलझाने के लिए एक चतुर दो-चरणीय जांच का उपयोग करते हुए आगे बढ़े। सबसे पहले, वे यह जानना चाहते थे कि क्या रोबट वास्तव में तस्वीरों में मौजूद अजीब चीजों को "देख" रहा था। इसका परीक्षण करने के लिए, उन्होंने केवल रोबोट से प्रश्न नहीं पूछे; उन्होंने रोबोट के आंतरिक मस्तिष्क संकेतों से तस्वीरों को फिर से बनाने की कोशिश की। उन्होंने पाया कि भले ही रोबोट गलत उत्तर दे रहा था, फिर भी उस अजीब तस्वीर का "ब्लूप्रिंट" (जैसे पाँच पैरों वाला घोड़ा) उसके अंतिम विचारों में स्पष्ट रूप से दिखाई दे रहा था। यह ऐसा था जैसे रोबोट की आँखें पूरी तरह से काम कर रही थीं, लेकिन उसका मस्तिष्क अपनी आँखें बंद करने का निर्णय ले रहा था। इसने इस विचार को खारिज कर दिया कि रोबोट विवरणों के प्रति अंधा था।
इसके बाद, टीम ने एक नया खेल बनाया जिसे "WhatIfVis" कहा गया, ताकि यह परीक्षण किया जा सके कि रोबोट अपनी आँखों पर भरोसा करने और अपने ज्ञान पर भरोसा करने के बीच कितनी अच्छी तरह स्विच कर सकता है। उन्होंने रोबोट को ऐसी तस्वीरें दिखाईं जो प्रकृति के नियमों को तोड़ती थीं (जैसे एक लाल तरबूज) और उससे दो तरीकों से प्रश्न पूछने को कहा: "केवल चित्र को देखो" या "चित्र को अनदेखा करो और जो तुम जानते हो उसका उपयोग करो।" उन्होंने पाया कि अतिरिक्त प्रशिक्षण के बिना, रोबोट का व्यवहार थोड़ा अनिश्चित था। कभी-कभी वह चित्र को अनदेखा कर देता था और पाठ्यपुस्तक वाला उत्तर देता था (जैसे यह कहना कि तरबूज हरा होता है, भले ही वह लाल हो)। अन्य समय में, वह चित्र पर इतना अटक जाता था कि वह निर्देश का पालन करने में असमर्थ रहता था कि उसे अनदेखा करना है। रोबोट टूटा हुआ नहीं था; बस उसके पास यह तय करने के लिए एक विश्वसनीय "स्विच" नहीं था कि कब देखना है और कब सोचना है।
हालाँकि, अच्छी खबर यह है कि शोधकर्ताओं ने वह स्विच ढूंढ लिया है। रोबोट को केवल एक प्रकार की कठिन तस्वीर पर थोड़ा अभ्यास (जिसे सुपरवाइज्ड फाइन-ट्यूनिंग कहा जाता है) देकर, उन्होंने उसे अपने ध्यान को नियंत्रित करना सिखाया। इससे भी बेहतर, उन्होंने रोबोट के मस्तिष्क के भीतर एक विशिष्ट "नॉब" (knob) की खोज की—एक एकल गणितीय दिशा—जो बिना किसी मौखिक निर्देश के रोबोट के फोकस को चालू या बंद कर सकती थी। जब उन्होंने इस नॉब को घुमाया, तो रोबोट इस नियम का पालन करने में बहुत बेहतर हो गया, चाहे वह चित्र को देख रहा हो या उसे अनदेखा कर रहा हो।
अध्ययन ने यह भी तुलना की कि रोबोट तस्वीरों और लिखित वाक्यों को कैसे संभालता है। उन्होंने पाया कि नियमों को तोड़ने वाले लिखित वाक्य का पालन करना रोबोट के लिए तस्वीर का पालन करने की तुलना में बहुत आसान था। यह ऐसा है जैसे रोबोट एक दर्शक की तुलना में एक बहुत अच्छा श्रोता है। यह अंतर जैसे-जैसे रोबोट अधिक स्मार्ट और बड़े होते गए, बढ़ता गया, जिससे पता चलता है कि जैसे-जैसे ये मॉडल बढ़ते हैं, वे जो देखते हैं उसे अनदेखा करने के प्रति और भी अधिक जिद्दी हो सकते हैं।
अंत में, शोध पत्र सुझाव देता है कि बड़ी, स्पष्ट चीजों के लिए जिन्हें हम अध्ययन करते हैं (जैसे रंग, आकार, और किसी जानवर के कितने पैर हैं), ये AI मॉडल इसलिए विफल नहीं होते क्योंकि वे देख नहीं पाते। वे इसलिए विफल होते हैं क्योंकि उन्होंने यह तय करने का एक सुसंगत तरीका नहीं सीखा है कि कब अपनी आँखों पर भरोसा करना है और कब अपनी याददाश्त पर। लेकिन चूंकि शोधकर्ताओं ने एक विशिष्ट "नॉब" खोज लिया है जो इस व्यवहार को नियंत्रित करता है, इसका मतलब है कि हम भविष्य में इसे ठीक कर सकते हैं, इन डिजिटल दिमागों को अधिक लचीला और विश्वसनीय बनाना कि जब दुनिया बिल्कुल वैसी न हो जैसी उनकी पाठ्यपुस्तकों में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।