💬 NLP

Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

यह शोध पत्र मल्टीमॉडल प्रॉम्प्ट ऑप्टिमाइज़ेशन (MPO) को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो प्रॉम्प्ट ऑप्टिमाइज़ेशन को टेक्स्ट से आगे बढ़ाते हुए संरेखण-संरक्षण अपडेट (alignment-preserving updates) और बायेसियन चयन (Bayesian selection) का उपयोग करके टेक्स्ट और गैर-टेक्स्ट इनपुट (जैसे कि चित्र, वीडियो और अणु) को संयुक्त रूप से अनुकूलित करता है, जिससे यह मौजूदा टेक्स्ट-ओनली विधियों से बेहतर प्रदर्शन करता है और मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की पूर्ण क्षमता को उजागर करता है।

मूल लेखक: Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

प्रकाशित 2026-02-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल, या MLLM) है जो तस्वीरें देख सकता है, वीडियो देख सकता है और यहाँ तक कि रासायनिक संरचनाओं (chemical structures) को भी समझ सकता है। आप चाहते हैं कि यह रोबोट एक कठिन समस्या को हल करे, जैसे कि किसी फोटो से एक विशिष्ट पक्षी की पहचान करना या यह अनुमान लगाना कि क्या एक नई दवा काम करेगी।

इस रोबोट को अपना सर्वश्रेष्ठ प्रदर्शन करने के लिए प्रेरित करने हेतु, आपको इसे निर्देश देने होंगे, जिन्हें प्रॉम्ट (prompt) कहा जाता है।

समस्या: "केवल-टेक्स्ट" वाली आँखों पर पट्टी

लंबे समय तक, इन रोबोटों को सिखाने की कोशिश करने वाले लोग केवल टेक्स्ट (शब्दों) का उपयोग करते थे। वे लंबे, जटिल वाक्य लिखते थे जैसे: "पक्षी को देखो। इसकी चोंच हल्की है, पंख गहरे हैं, और यह उत्तरी प्रशांत क्षेत्र में रहता है। यह एक ब्लैक-फुटेड अल्बाट्रॉस हो सकता है, लेकिन देखें कि क्या चोंच सफेद है..."

यह लेख तर्क देता है कि यह एक स्वादिष्ट पिज्जा का वर्णन किसी ऐसे व्यक्ति को केवल शब्दों का उपयोग करके करने जैसा है जिसने कभी पिज्जा देखा ही नहीं। आप कह सकते हैं "गोल, लाल सॉस, पिघला हुआ पनीर," लेकिन वह एक चौकोर केक की कल्पना कर सकता है जिसमें केचप लगा हो। यह अक्षम और अक्सर भ्रमित करने वाला होता है।

लेखकों ने महसूस किया: क्यों न हम रोबोट को पिज्जा की एक तस्वीर दिखा दें?

समाधान: MPO (द मल्टीमॉडल प्रॉम्ट ऑप्टिमाइज़र)

टीम ने MPO नामक एक नया सिस्टम बनाया। MPO को एक सुपर-ट्यूटर के रूप में सोचें जो न केवल बेहतर निर्देश लिखता है; बल्कि यह उनके साथ जाने वाले बेहतर विजुअल एड्स (दृश्य सहायता) भी बनाता है।

यहाँ MPO कैसे काम करता है, एक सरल उपमा (analogy) का उपयोग करते हुए:

1. "एलाइनमेंट-प्रिजर्विंग" टीम (को-पायलट्स)

कल्पना कीजिए कि आप एक खराब कार को ठीक करने की कोशिश कर रहे हैं।

पुराना तरीका: आपके पास एक मैकेनिक है जो केवल बोल सकता है। वह कहता है, "इंजन की आवाज़ अजीब है," और आपको अंदाज़ा लगाना पड़ता है कि क्या करना है।
MPO का तरीका: आपके पास को-पायलट्स की एक टीम है। एक 'टेक्स्ट मैकेनिक' है, और दूसरा 'विजुअल मैकेनिक' है।
- यदि कार एक टेस्ट में फेल हो जाती है, तो वे केवल शब्दों पर बहस नहीं करते। वे मिलकर इंजन को देखते हैं।
- टेक्स्ट मैकेनिक कहता है, "हमें स्पार्क प्लग की जांच करने की आवश्यकता है।"
- विजुअल मैकेनिक तुरंत एक डायग्राम बनाता है जो दिखाता है कि स्पार्क प्लग ठीक कहाँ हैं।
- महत्वपूर्ण बात: वे अपने निर्देशों को साथ मिलकर अपडेट करते हैं। टेक्स्ट और तस्वीर हमेशा मेल खाते हैं। यदि टेक्स्ट "लाल" कहता है, तो तस्वीर लाल दिखाती है। इससे भ्रम (गलत तालमेल) नहीं होता।

इसे करने के लिए, MPO तीन विशेष उपकरणों (Operators) का उपयोग करता है:

जेनरेशन (Generation): "आइए इस बात को समझाने के लिए शुरुआत से एक नई तस्वीर बनाएं।"
एडिट (Edit): "आइए पुरानी तस्वीर लें और बस धुंधले हिस्से को ठीक करें।"
मिक्स (Mix): "आइए तस्वीर A और तस्वीर B के सबसे अच्छे हिस्सों को लें और उन्हें एक आदर्श गाइड में मिला दें।"

2. "स्मार्ट सेलेक्टर" (अनुभवी कोच)

अब, कल्पना कीजिए कि MPO हजारों अलग-अलग टेक्स्ट-और-पिक्चर संयोजनों का परीक्षण कर रहा है। यह उन सभी का परीक्षण नहीं कर सकता; इसमें बहुत समय लगेगा। इसे विजेताओं को जल्दी चुनने के लिए एक तरीके की आवश्यकता है।

पुराना तरीका: कोच एक रैंडम खिलाड़ी को आज़माने के लिए चुनता है, देखता है कि वह विफल हुआ या नहीं, और फिर दूसरा रैंडम खिलाड़ी चुनता है। यह धीमा और बर्बादी भरा है।
MPO का तरीका: कोच अनुभव का उपयोग करता है।
- पेपर ने गौर किया कि यदि एक पैरेंट प्रॉम्ट (मूल निर्देश) अच्छा था, तो उसके "बच्चे" (नए संस्करण) भी अच्छे होने की संभावना है।
- MPO बेयसियन UCB (Bayesian UCB) नामक एक गणितीय ट्रिक का उपयोग करता है। इसे एक ऐसे कोच के रूप में सोचें जो कहता है: "यह नया विचार उस विचार जैसा दिखता है जो कल बहुत अच्छा काम कर रहा था, इसलिए आइए इसे पहले एक मौका दें!"
- यह MPO को बुरे विचारों को छोड़ने और आशाजनक विचारों पर ध्यान केंद्रित करने की अनुमति देता है, जिससे पुराने तरीकों की तुलना में लगभग 42% समय और पैसा बचता है।

परिणाम: यह क्यों मायने रखता है

टीम ने तीन बहुत अलग दुनियाओं पर MPO का परीक्षण किया:

पक्षी: तस्वीरों से विशिष्ट पक्षी प्रजातियों की पहचान करना।
ड्राइविंग: कारों के वीडियो देखना और समझना कि ड्राइवर को क्या करना चाहिए।
मॉलिक्यूल्स (अणु): रासायनिक संरचनाओं को देखकर यह अनुमान लगाना कि क्या कोई दवा शरीर द्वारा अवशोषित की जाएगी।

परिणाम:
हर एक परीक्षण में, MPO ने सर्वश्रेष्ठ "केवल-टेक्स्ट" विशेषज्ञों को पछाड़ दिया।

केवल-टेक्स्ट एक जटिल 3D वस्तु का 2D स्केच के साथ वर्णन करने जैसा था।
MPO एक 3D मॉडल और एक मैनुअल हाथ में देने जैसा था।

मुख्य निष्कर्ष

यह पेपर एक चेतावनी है। हमने ऐसे रोबोट बनाए हैं जो देख सकते हैं, सुन सकते हैं और महसूस कर सकते हैं, लेकिन हम उन्हें केवल एक इंद्रिय का उपयोग करके सिखा रहे हैं: पढ़ना।

मल्टीमॉडल प्रॉम्ट ऑप्टिमाइज़ेशन इस बात की समझ है कि इन AI सुपर-दिमागों की पूरी शक्ति को अनलॉक करने के लिए, हमें केवल उनसे बात करना बंद करना होगा और उन्हें दिखाना भी शुरू करना होगा। शब्दों और दृश्यों दोनों को एक साथ अनुकूलित करके, हम कहीं अधिक स्मार्ट, सटीक और कुशल परिणाम प्राप्त कर सकते हैं।

यहाँ शोध पत्र "Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के वर्तमान परिदृश्य में एक महत्वपूर्ण अंतराल को संबोधित करता है। जबकि MLLMs टेक्स्ट, इमेज, वीडियो और मॉलिक्यूल्स (अणुओं) को प्रोसेस कर सकते हैं, मौजूदा ऑटोमैटिक प्रॉम्प्ट ऑप्टिमिज़ेशन (APO) तकनीकें केवल टेक्स्टुअल मोडैलिटी (पाठत्मक विधा) तक ही सीमित हैं।

सीमा: वर्तमान APO विधियाँ (जैसे APE, OPRO, SEE) केवल टेक्स्ट प्रॉम्प्ट्स को ऑप्टिमाइज़ करती हैं। यह MLLMs को दृश्य या संरचनात्मक जानकारी संप्रेषित करने के लिए विस्तृत, संभावित रूप से अस्पष्ट टेक्स्ट विवरणों पर निर्भर होने के लिए मजबूर करता है, जिससे वे समृद्ध गैर-टेक्स्ट संदर्भों को प्रोसेस करने की अपनी अंतर्निहित क्षमता का लाभ उठाने में विफल रहते हैं।
लक्ष्य: लेखक एक नई समस्या को परिभाषित करते हैं: मल्टीमॉडल प्रॉम्प्ट ऑप्टिमाइज़ेशन (MPO)। इसका उद्देश्य एक इष्टतम प्रॉम्प्ट जोड़ी $p = (t, m)$ की खोज करना है, जहाँ $t$ एक टेक्स्टुअल प्रॉम्प्ट है और $m$ एक गैर-टेक्स्टुअल प्रॉम्प्ट (जैसे कि एक इमेज, वीडियो फ्रेम, या मॉलिक्यूल स्ट्रक्चर) है, ताकि कार्य प्रदर्शन $f(MLLM(t, m, q), a)$ को अधिकतम किया जा सके।
चुनौतियाँ:
1. क्रॉस-मोडल अलाइनमेंट (Cross-Modal Alignment): टेक्स्ट और गैर-टेक्स्ट घटकों को स्वतंत्र रूप से अपडेट करने से सिमेंटिक मिसअलाइनमेंट (जैसे कि टेक्स्ट एक पक्षी का वर्णन करता है जिसे इमेज में नहीं दिखाया गया है) का जोखिम रहता है।
2. सर्च स्पेस कॉम्प्लेक्सिटी (Search Space Complexity): मल्टीमॉडल प्रॉम्प्ट्स का कॉम्बिनेटरियल स्पेस बहुत विशाल है, जिससे उच्च-गुणवत्ता वाले प्रॉम्प्ट्स दुर्लभ हो जाते हैं और बिना मूल्यांकन बजट को बर्बाद किए उन्हें कुशलतापूर्वक पहचानना कठिन होता है।

2. कार्यप्रणाली: मल्टीमॉडल प्रॉम्प्ट ऑप्टिमाइज़र (MPO)

लेखक MPO का प्रस्ताव करते हैं, जो दो मुख्य घटकों वाला एक एकीकृत ढांचा है: अलाइनमेंट-प्रिजर्विंग एक्सप्लोरेशन (Alignment-Preserving Exploration) और प्रायर-इनहेरिटेड बेयसियन UCB सिलेक्शन (Prior-Inherited Bayesian UCB Selection)।

A. अलाइनमेंट-प्रिजर्विंग एक्सप्लोरेशन

मल्टीमॉडल स्पेस में नेविगेट करने और मोडैलिटीज के बीच निरंतरता सुनिश्चित करने के लिए, MPO एक संयुक्त अपडेट रणनीति अपनाता है:

कोहेसिव बैकप्रोपैगेशन (Cohesive Backpropagation): टेक्स्ट और गैर-टेक्स्ट इनपुट में त्रुटियों को अलग-अलग मानने के बजाय, MPO एक 'फेलियर सेट' की पहचान करता है और एक एकीकृत फीडबैक सिग्नल ( $\nabla_p$ ) टेक्स्ट के रूप में उत्पन्न करता है। यह एकल सिग्नल क्रॉस-मोडल कमजोरियों को एनकोड करता है, जो दोनों मोडैलिटीज को एक साथ अपडेट करने के लिए निर्देशित करता है ताकि एक के प्रति ओवरफिटिंग को रोका जा सके।
जॉइंट मल्टीमॉडल अपडेट (Joint Multimodal Update): MLLM इस फीडबैक का उपयोग करके एक अपडेटेड टेक्स्ट प्रॉम्प्ट ( $t'$ $t^{'}$ ) और एक मोडैलिटी-विशिष्ट कंडीशन ( $c$ $c$ ) उत्पन्न करता है। यह कंडीशन $c$ $c$ एक मोडैलिटी-विशिष्ट जनरेटर ( $g$ $g$ ) को निर्देशित करती है ताकि गैर-टेक्स्टुअल प्रॉम्प्ट ( $m'$ $m^{'}$ ) को बनाया या संशोधित किया जा सके।
- तंत्र: $m' = g(c, \text{context})$ । यह सुनिश्चित करता है कि गैर-टेक्स्टुअल अपडेट पूरी तरह से विफलता विश्लेषण से प्राप्त टेक्स्टुअल रीजनिंग द्वारा निर्देशित है।
एक्सप्लोरेशन ऑपरेटर्स (Exploration Operators): सर्च को विविध बनाने के लिए, MPO तीन ऑपरेटर्स का उपयोग करता है:
- जेनरेशन (Generation): शून्य से पूरी तरह से नए गैर-टेक्स्टुअल प्रॉम्प्ट बनाता है (लोकल ऑप्टिमा से बचने के लिए उपयोगी)।
- एडिट (Edit): उपयोगी संरचनाओं को बनाए रखते हुए मौजूदा गैर-टेक्स्टुअल प्रॉम्प्ट्स को रिफाइन करता है (जैसे कि टेक्सचर या विशिष्ट विशेषताओं को समायोजित करना)।
- मिक्स (Mix): हाइब्रिड समाधान बनाने के लिए कई पैरेंट प्रॉम्प्ट्स की पूरक शक्तियों को जोड़ता है।

B. प्रायर-इनहेरिटेड बेयसियन UCB सिलेक्शन

बढ़े हुए सर्च स्पेस में "कोल्ड-स्टार्ट" समस्या और उच्च-गुणवत्ता वाले प्रॉम्प्ट्स की कमी को दूर करने के लिए, MPO सूचनात्मक प्रायर के साथ बेयसियन अपर कॉन्फिडेंस बाउंड (UCB) पर आधारित एक चयन रणनीति पेश करता है।

परिकल्पना: एक "चाइल्ड" प्रॉम्प्ट का प्रदर्शन उसके "पैरेंट" प्रॉम्प्ट के प्रदर्शन के साथ सकारात्मक रूप से सह-संबंधित होता है।
तंत्र:
- नए उम्मीदवारों को यूनिफॉर्म प्रायर (अनइंफॉर्मेटिव) के साथ शुरू करने के बजाय, MPO अपने चाइल्ड प्रॉम्प्ट के लिए पैरेंट के पोस्टीरियर मीन परफॉरमेंस के आधार पर बीटा डिस्ट्रीब्यूशन पैरामीटर्स ( $\alpha, \beta$ ) को इनिशियलाइज़ करता है।
- फॉर्मूला: $\alpha_i = \hat{\mu}_{par(i)} \cdot S + 1$ , जहाँ $S$ एक प्रायर स्ट्रेंथ हाइपरपैरामीटर है।
लाभ: यह प्रक्रिया के "वार्म-स्टार्ट" करने में मदद करता है, जिससे एल्गोरिदम तेजी से कम क्षमता वाले उम्मीदवारों को हटा सकता है और आशाजनक क्षेत्रों पर ध्यान केंद्रित कर सकता है, जिससे आवश्यक मूल्यांकन बजट काफी कम हो जाता है।

3. प्रमुख योगदान

समस्या का निरूपण: टेक्स्ट से परे इमेज, वीडियो और मॉलिक्यूल्स को शामिल करते हुए मल्टीमॉडल प्रॉम्प्ट ऑप्टिमाइज़ेशन को औपचारिक रूप से परिभाषित करने वाला पहला कार्य।
एकीकृत ढांचा (MPO): एक नया आर्किटेक्चर प्रस्तावित करता है जो अलाइनमेंट-प्रिजर्विंग अपडेट्स के माध्यम से टेक्स्ट और गैर-टेक्स्ट प्रॉम्प्ट्स को संयुक्त रूप से ऑप्टिमाइज़ करता है, जिससे मोडैलिटीज के बीच सिमेंटिक निरंतरता सुनिश्चित होती है।
कुशल चयन रणनीति: प्रायर-इनहेरिटेड बेयसियन UCB पेश करता है, जो मूल्यांकन लागत को प्रायर-फ्री बेसलाइन्स की तुलना में 42% तक कम करने के लिए पैरेंट-चाइल्ड परफॉरमेंस सहसंबंधों का लाभ उठाता है।
व्यापक मूल्यांकन: इमेज (क्लासिफिकेशन, VQA), वीडियो (एक्शन रिकग्निशन, एनोमली डिटेक्शन) और मॉलिक्यूल्स (प्रॉपर्टी प्रेडिक्शन) को कवर करने वाले 10 विविध डेटासेट्स पर दृष्टिकोण को मान्य करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने अग्रणी टेक्स्ट-ओनली APO (APE, OPRO, EvoPrompt, PE2, ProTeGi, SEE) और मैनुअल प्रॉम्प्टिंग बेसलाइन्स के विरुद्ध MPO का बेंचमार्किंग किया।

प्रदर्शन में वृद्धि: MPO ने सभी मोडैलिटीज में लगातार सभी बेसलाइन्स को पछाड़ दिया।
- इमेज टास्क: PlantVillage (76.4% बनाम SEE का 69.0%) और CUB-200 (78.6% बनाम 71.6%) पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए।
- वीडियो टास्क: Drive&Act (58.3% बनाम 51.7%) और VANE-Bench (71.2% बनाम 57.9%) पर सटीकता में सुधार किया।
- मॉलिक्यूल टास्क: Absorption, BBBP, और CYP इनहिबिशन कार्यों पर बेसलाइन्स को पीछे छोड़ा (जैसे, BBBP पर 64.3% F1 बनाम SEE का 62.3%)।
दक्षता: MPO ने यूनिफॉर्म एलोकेशन रणनीतियों के समान प्रदर्शन प्राप्त करने के लिए केवल 30% मूल्यांकन बजट का उपयोग किया, जो 70% संसाधन लागत की कमी प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- अलाइनमेंट: अलाइनमेंट-प्रिजर्विंग अपडेट्स (सीक्वेंशियल ऑप्टिमाइज़ेशन) को हटाने से प्रदर्शन में काफी गिरावट आई, जो संयुक्त अपडेट की आवश्यकता को सिद्ध करता है।
- ऑपरेटर्स: जेनरेशन, एडिट और मिक्स ऑपरेटर्स के संयोजन ने सर्वश्रेष्ठ परिणाम दिए, जो उनकी पूरक भूमिकाओं की पुष्टि करता है।
- प्रायर स्ट्रेंथ: एक मध्यम प्रायर स्ट्रेंथ ( $S$ ) को इष्टतम पाया गया, जो नए डेटा के अनुकूल होने की लचीलापन के साथ पैरेंट नॉलेज के लाभ को संतुलित करता है।
सामान्यीकरण (Generalizability): MPO विभिन्न बेस मॉडल्स (Qwen, Gemma, InternVL), ऑप्टिमाइज़र मॉडल्स (GPT-4o, Gemini), और लाइटवेट मोडैलिटी-विशिष्ट जनरेटर्स (SANA1.5) में मजबूत रहा।

5. महत्व और निष्कर्ष

यह शोध पत्र MLLMs की पूर्ण क्षमता को अनलॉक करने के लिए मल्टीमॉडल प्रॉम्प्ट ऑप्टिमाइज़ेशन को एक महत्वपूर्ण प्रतिमान परिवर्तन (paradigm shift) के रूप में स्थापित करता है।

सैद्धांतिक अंतर्दृष्टि: यह दर्शाता है कि टेक्स्ट-ओनली प्रॉम्प्ट्स MLLMs के लिए उप-इष्टतम (suboptimal) हैं क्योंकि वे मॉडल को उन दृश्य/संरचनात्मक विवरणों को "हैलुसिनेट" करने या अनुमान लगाने के लिए मजबूर करते हैं जिन्हें सीधे प्रदान किया जा सकता था।
व्यावहारिक प्रभाव: मल्टीमॉडल स्पेस को कुशलतापूर्वक खोजने के लिए एक ढांचा प्रदान करके, MPO जटिल वास्तविक दुनिया के कार्यों (जैसे चिकित्सा निदान, ड्रग डिस्कवरी) में कम मूल्यांकन परीक्षणों के साथ MLLMs को उच्च सटीकता प्राप्त करने में सक्षम बनाता है।
भविष्य की दिशा: यह कार्य सुझाव देता है कि भविष्य के प्रॉम्प्ट इंजीनियरिंग को भाषाई निर्देशों से आगे बढ़कर गतिशील, अनुकूलित गैर-टेक्स्ट संदर्भों को शामिल करना होगा, जो मौलिक रूप से मल्टीमॉडल AI सिस्टम के साथ हमारे इंटरैक्शन और ऑप्टिमाइज़ेशन के तरीके को बदल देगा।