Multimodal LLMs Do Not Compose Skills Optimally Across Modalities
यह शोध पत्र प्रकट करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) विभिन्न मोडैलिटीज़ के बीच कौशल को इष्टतम रूप से संयोजित करने में संघर्ष करते हैं, और चेन-ऑफ-थॉट प्रॉम्प्टिंग तथा विशेष फाइन-ट्यूनिंग जैसी रणनीतियों को अपनाने के बावजूद महत्वपूर्ण प्रदर्शन अंतराल प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार सहायक है जो दो बहुत ही अलग चीजों में अविश्वसनीय रूप से स्मार्ट है:
- टेक्स्ट पढ़ना: वे केवल पढ़कर जटिल गणित की समस्याओं को हल कर सकते हैं और सामान्य ज्ञान के सवालों के जवाब दे सकते हैं।
- तस्वीरों को देखना: वे तस्वीरों में वस्तुओं को पहचान सकते हैं, संकेतों को पढ़ सकते हैं और किसी दृश्य में वस्तुओं की गिनती कर सकते हैं।
आप सोचेंगे कि यदि आप इस सहायक को गणित की समस्या वाली एक तस्वीर देखने और फिर उसे हल करने के लिए कहते हैं, तो वे एकदम सटीक होंगे। आखिरकार, वे पढ़ने में माहिर हैं और गणित में भी माहिर हैं।
इस शोध पत्र की बड़ी खोज यह है कि वे नहीं हैं।
भले ही सहायक व्यक्तिगत रूप से इन दोनों कौशलों में महारत रखता हो, लेकिन जब आप उन्हें एक ही समस्या को हल करने के लिए इन कौशलों को संयोजित करने के लिए कहते हैं, तो वे लड़खड़ा जाते हैं। यह एक विश्व स्तरीय शेफ की तरह है जो एक बेहतरीन केक भी बना सकता है और एक बेहतरीन स्टेक भी ग्रिल कर सकता है, लेकिन यदि आप उससे "स्टेक-एंड-केक सैंडविच" बनाने के लिए कहते हैं, तो वह भ्रमित हो जाता है और आपको एक जला हुआ कचरा परोस देता है।
तीन "टेस्ट ड्राइव"
शोधकर्ताओं ने कई लोकप्रिय AI मॉडलों (जैसे LLaVA, Qwen, और Molmo) को यह देखने के लिए तीन सरल परीक्षणों से गुजारा कि वे इन कौशलों को कैसे "जोड़ते" हैं:
"गणित की परीक्षा की फोटो" चुनौती:
- कार्य: AI को कागज पर लिखी गई गणित की एक फोटो दिखाएं (जैसे, "7 + 5 क्या है?")।
- आवश्यक कौशल: पहले, AI को फोटो में लिखे टेक्स्ट को पढ़ना होगा (एक स्कैनर की तरह)। दूसरा, उसे गणित करना होगा।
- परिणाम: AI अक्सर फोटो में संख्याओं को गलत पढ़ लेता है या गणित गलत कर देता है, भले ही वह सीधे टेक्स्ट मिलने पर दोनों काम पूरी तरह से कर सकता हो।
"संतरे गिनने" की चुनौती:
- कार्य: AI को फलों का एक कटोरा दिखाएं और पूछें, "वहाँ कितने संतरे हैं?"
- आवश्यक कौशल: पहले, चित्र में संतरे ढूंढना। दूसरा, नंबरों का उपयोग करके उन्हें गिनना।
- परिणाम: AI संतरों को देख तो सकता है लेकिन उन्हें गिनना भूल सकता है, या गिन तो सकता है लेकिन उन्हें संतरे के रूप में पहचानने में विफल हो सकता है।
"कार्ड गेम" चुनौती:
- कार्य: AI को ताश के पत्तों का एक हाथ दिखाएं और उसे क्रम में लगाने या जटिल नियमों के आधार पर स्कोर की गणना करने के लिए कहें (जैसे, "सभी लाल कार्डों का मान जोड़ें")।
- आवश्यक कौशल: पहले, कार्डों की पहचान करना (क्या यह हार्ट का 7 है?)। दूसरा, नियम लागू करना (हार्ट्स लाल होते हैं, इसलिए मान को दोगुना करें)।
- परिणाम: AI अक्सर कार्ड की पहचान सही करता है लेकिन गणित में गलती कर देता है, या इसके विपरीत।
"कैस्केडेड" (Cascaded) हैक
यह साबित करने के लिए कि AI इन कौशलों में सक्षम था, शोधकर्ताओं ने "कैस्केडेड इन्फरेंस" (Cascaded Inference) नामक एक "चीट कोड" का उपयोग किया।
AI को एक बार में सब कुछ करने के बजाय, उन्होंने इसे दो अलग-अलग चरणों में करने के लिए मजबूर किया:
- चरण 1: "हे AI, बस इस तस्वीर को देखो और मुझे बताओ कि वहां क्या लिखा है।" (AI यह पूरी तरह से करता है)।
- चरण 2: "ठीक है, अब उस टेक्स्ट को लो जो तुमने अभी लिखा है और गणित की समस्या को हल करो।" (AI यह भी पूरी तरह से करता है)।
अंतराल (The Gap): जब उन्होंने "एक-चरण" वाले प्रयास (डायरेक्ट) की तुलना "दो-चरण" वाले चीट कोड (कैस्केडेड) से की, तो दो-चरण वाला तरीका लगभग हमेशा बहुत बेहतर था। यह "अंतराल" यह साबित करता है कि AI इसलिए विफल नहीं हो रहा है क्योंकि वह पढ़ नहीं सकता या गिन नहीं सकता; बल्कि वह इसलिए विफल हो रहा है क्योंकि वह एक ही मस्तिष्क में इन दोनों कौशलों को सुचारू रूप से तालमेल (coordinate) नहीं बिठा पा रहा है।
ऐसा क्यों होता है?
AI के मस्तिष्क को एक व्यस्त रसोई की तरह समझें।
- विजुअल टीम (आंखें) छवि देखती है।
- टेक्स्ट टीम (मस्तिष्क) नियमों को जानता है।
- "डायरेक्ट" प्रयास में, विजुअल टीम कच्चे डेटा को टेक्स्ट टीम को चिल्लाकर बताती है, लेकिन टेक्स्ट टीम शोर से भ्रमित हो जाती है या विजुअल सिग्नल को गलत समझ लेती है।
- "कैस्केडेड" दृष्टिकोण में, विजुअल टीम एक साफ, व्यवस्थित नोट लिखती है, और फिर उसे टेक्स्ट टीम को सौंप देती है। टेक्स्ट टीम बहुत खुश होती है और बेहतर प्रदर्शन करती है।
क्या हम इसे ठीक कर सकते हैं?
शोधकर्ताओं ने इस "तालमेल की समस्या" को ठीक करने के दो तरीके आजमाए:
- "चरण-दर-चरण" प्रॉम्प्ट (चेन-ऑफ-थॉट):
उन्होंने AI को बताया, "पहले, इमेज को देखो और लिखो कि तुम क्या देख रहे हो। फिर, उस जानकारी का उपयोग करके समस्या को हल करो।"
- परिणाम: इसने मदद की! AI अपने विचारों को व्यवस्थित करने में बेहतर हो गया। लेकिन यह कोई जादुई समाधान नहीं था; यह अभी भी दो-चरण वाले चीट कोड जितना अच्छा नहीं था, और इसके लिए हर नए प्रकार के कार्य के लिए बहुत विशिष्ट निर्देश की आवश्यकता थी।
- विशेष प्रशिक्षण (फाइन-ट्यूनिंग):
उन्होंने AI को विशेष रूप से इन कौशलों को मिलाने का अभ्यास करने के लिए अतिरिक्त होमवर्क दिया।
- परिणाम: इसने AI को उस विशिष्ट होमवर्क में बेहतर बनाया जिसका उसने अभ्यास किया था। हालांकि, इसने समस्या को पूरी तरह से हल नहीं किया; AI अभी भी नए प्रकार के कार्यों के लिए एक जनरल लिस्ट (generalist) बनने के लिए संघर्ष कर रहा था।
मुख्य निष्कर्ष
मल्टीमॉडल AI मॉडल उन प्रतिभाशाली विशेषज्ञों की तरह हैं जो टीम वर्क में आश्चर्यजनक रूप से खराब हैं। वे पढ़ सकते हैं और वे देख सकते हैं, लेकिन उन्होंने अभी तक उन क्षमताओं को सहजता से मिलाना (blend) नहीं सीखा है।
शोध पत्र यह निष्कर्ष निकालता है कि हमें यह समझने की आवश्यकता है कि यह क्यों होता है और हमें इन मॉडलों को प्रशिक्षित करने के नए तरीके खोजने होंगे ताकि उनके पास केवल "आंखें" और "मस्तिष्क" न हों, बल्कि एक एकल, एकीकृत मन हो जो बिना लड़खड़ाए एक ही समय में दोनों का उपयोग कर सके। तब तक, सबसे स्मार्ट AI मॉडल भी उन कार्यों में संघर्ष करते रहेंगे जो एक इंसान के लिए बहुत मामूली लगते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।