🤖 AI

Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models

यह शोध पत्र गेट-एंड-मर्ज (Gate-and-Merge) को प्रस्तुत करता है, जो विजन-लैंग्वेज मॉडल्स में कंपोजिशनल पर्सनलाइजेशन के लिए एक ज़ीरो-शॉट फ्रेमवर्क है, जो अवधारणाओं को लोरा (LoRA) एडेप्टर के माध्यम से स्वतंत्र रूप से सीखता है और बिना सह-अस्तित्व प्रशिक्षण (co-occurrence training) के विलगित, हस्तक्षेप-मुक्त प्रदर्शन सुनिश्चित करने के लिए अनुमान (inference) के दौरान उन्हें एक गेटिंग मैकेनिज्म का उपयोग करके मर्ज करता है।

मूल लेखक: Guodong Ding, Angela Yao

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guodong Ding, Angela Yao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक (एक विज़न-लैंग्वेज मॉडल) है जो दुनिया के बारे में सब कुछ जानता है—बिल्लियाँ, कुत्ते, कारें और पेड़। लेकिन वह आपकी विशिष्ट बिल्ली, आपके पसंदीदा खिलौने या आपकी अनूठी कला शैली के बारे में नहीं जानता।

आमतौर पर, इस रोबोट को आपकी व्यक्तिगत वस्तुओं के बारे में सिखाने के लिए, आपको उसे एक ही बड़े प्रशिक्षण सत्र में आपकी बिल्ली और आपके कुत्ते और आपके खिलौने की सैकड़ों तस्वीरें एक साथ दिखानी होंगी। यह एक शेफ को एक विशिष्ट व्यंजन बनाना सिखाने जैसा है, जहाँ आप केवल तभी अभ्यास करने देते हैं जब सभी सामग्रियां पहले से ही काउंटर पर रखी हों। यह अव्यवस्थित है, और यदि आप बाद में कोई नया घटक जोड़ना चाहते हैं, तो आपको फिर से शुरुआत करनी होगी।

यह शोध पत्र एक नई विधि पेश करता है जिसे "गेट-एंड-मर्ज" (Gate-and-Merge) कहा जाता है जो इस समस्या को हल करती है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "विशेष उपकरण" दृष्टिकोण (अकेले सीखना)

सब कुछ एक साथ मिलाने के बजाय, शोधकर्ता रोबोट को आपकी प्रत्येक वस्तु के बारे में एक-एक करके, अलग-अलग सिखाते हैं।

टोकन (The Token): वे प्रत्येक वस्तु को एक विशेष नाम टैग देते हैं (जैसे एक अनूठा उपनाम, उदा. <MyCat>)।
लोरा अडैप्टर (The LoRA Adapter): इसे एक छोटा, हल्का "निर्देश मैनुअल" या एक विशेष रिंच (wrench) समझें जिसे रोबोट अपनी जेब में रखता है। जब वे रोबोट को <MyCat> के बारे में सिखाते हैं, तो वे केवल <MyCat> के लिए एक नया मैनुअल लिखते हैं। वे रोबोट के मुख्य मस्तिष्क या अन्य बिल्लियों के ज्ञान को नहीं छेड़ते हैं।
परिणाम: अब रोबोट के पास अलग-अलग, साफ-सुथरे निर्देश मैनुअलों से भरी एक जेब है। एक आपकी बिल्ली के लिए, एक आपके कुत्ते के लिए, एक आपके खिलौने के लिए। वे एक-दूसरे के साथ भ्रमित नहीं होते क्योंकि उन्हें अलग-अलग संग्रहीत किया जाता है।

2. "गेट" (यह तय करना कि क्या उपयोग करना है)

अब कल्पना कीजिए कि आप रोबोट को आपकी बिल्ली की एक फोटो दिखाते हैं जो आपके कुत्ते के बगल में बैठी है और उससे पूछते हैं, "इस तस्वीर में कौन है?"

रोबोट को यह पता लगाने की आवश्यकता है कि उसे अपनी जेब से कौन से निर्देश मैनुअल निकालने हैं।
गेट (The Gate) एक स्मार्ट सुरक्षा गार्ड की तरह कार्य करता है। यह दो सुरागों को देखता है:
1. आपने क्या कहा: यदि आप <MyCat> का उल्लेख करते हैं, तो गार्ड बिल्ली के मैनुअल के लिए दरवाजा खोल देता है।
2. आपने क्या दिखाया: यदि रोबबोट एक ऐसी तस्वीर देखता है जो आपकी बिल्ली जैसी दिखती है, तो गार्ड बिल्ली के मैनुअल के लिए दरवाजा खोल देता है।
गार्ड केवल प्रासंगिक मैनुअल को ही अंदर आने देता है और उन मैनुअलों को रोकता है जिनका संबंध नहीं है (जैसे कि कार का मैनुअल, यदि आपने केवल जानवरों को दिखाया हो)। यह रोबोट को भ्रमित होने या "भ्रम" (hallucinating) पैदा करने से रोकता है।

3. "मर्ज" (उपकरणों को मिलाना)

एक बार जब गार्ड सही मैनुअल (जैसे, बिल्ली का मैनुअल और कुत्ते का मैनुअल) का चयन कर लेता है, तो रोबोट को आपके प्रश्न का उत्तर देने के लिए उन्हें एक साथ उपयोग करने की आवश्यकता होती है।

समस्या: यदि आप बस दो निर्देश मैनुअल को एक के ऊपर एक रखते हैं, तो उनके पन्ने आपस में मिल सकते हैं, या निर्देश एक-दूसरे का विरोध कर सकते हैं (जैसे, एक कहता है "बाएं देखें," दूसरा कहता है "दाएं देखें")। इससे रोबलेट विफल हो जाता है।
समाधान: "मर्ज" तंत्र एक सावधानीपूर्वक संपादक (editor) की तरह है। यह दोनों मैनुअल के निर्देशों को देखता है और केवल उन हिस्सों को जोड़ता है जो एक-दूसरे से सहमत होते हैं। यदि एक मैनुअल कहता है "थोड़ा लाल जोड़ें" और दूसरा कहता है "थोड़ा नीला जोड़ें," तो संपादक उन्हें सावधानी से मिलाता है। यदि एक मैनुअल उस चीज़ को मिटाने की कोशिश करता है जिसे दूसरा रखना चाहता है, तो संपादक उसे ऐसा करने से रोकता है।
यह रोबोट का एक अस्थायी, सुपर-पावर्ड संस्करण बनाता है जो आपकी बिल्ली और आपके कुत्ते दोनों को एक साथ समझता है, बिना उन्हें पहले कभी एक साथ देखे।

यह एक बड़ी बात क्यों है?

कोई "ग्रुप ट्रेनिंग" नहीं: आपको रोबोट को आपकी बिल्ली और कुत्ते की तस्वीरें एक साथ दिखाने की आवश्यकता नहीं है ताकि उसे सिखाया जा सके। आप उन्हें अलग-अलग सिखा सकते हैं, और रोबोट बाद में अभी भी उन्हें एक साथ समझ सकता है।
गोपनीयता (Privacy): रोबोट को आपकी व्यक्तिगत वस्तुओं की हजारों कच्ची तस्वीरों को संग्रहीत करने की आवश्यकता नहीं है। यह केवल छोटे "निर्देश मैनुअल" (लोरा अडैप्टर) संग्रहीत करता है, जो बहुत छोटे और सुरक्षित हैं।
बेहतर सटीकता: शोध पत्र दिखाता है कि इस "गेट-एंड-मर्ज" प्रणाली का उपयोग करके, रोबोट कई व्यक्तिगत वस्तुओं वाले दृश्यों को पहचानने और वर्णित करने में अन्य तरीकों की तुलना में बहुत बेहतर है जो सब कुछ एक साथ सीखने या डेटाबेस खोजने पर निर्भर करते हैं।

संक्षेप में, गेट-एंड-मर्ज एक रोबोट को मॉड्यूलर, प्लग-एंड-प्ले उपकरणों के सेट देने जैसा है। यह प्रत्येक उपकरण को अलग से सीखता है, जांचता है कि काम के लिए किन उपकरणों की आवश्यकता है, और फिर काम को पूरी तरह से करने के लिए उन्हें सावधानीपूर्वक जोड़ता है, भले ही वह उपकरणों का एक नया संयोजन हो जिसे उसने पहले कभी एक साथ उपयोग नहीं किया है।

तकनीकी सारांश: VLMs के ज़ीरो-शॉट कंपोजिशनल पर्सनलाइजेशन के लिए गेट-एंड-मर्ज (Gate-and-Merge)

समस्या की परिभाषा

विज़न-लैंग्वेज मॉडल्स (VLMs) में ओपन-वर्ल्ड कार्यों के लिए मजबूत सामान्यीकरण (generalization) क्षमताएं होती हैं, लेकिन उनमें व्यक्तिगत, उपयोगकर्ता-परिभाषित अवधारणाओं (जैसे विशिष्ट चेहरे, पालतू जानवर, या कला शैलियाँ) को समझने की क्षमता का अभाव होता है जो प्री-ट्रेनिंग डेटा में मौजूद नहीं होते। जबकि मौजूदा पर्सनलाइजेशन विधियाँ एकल अवधारणाओं को सीख सकती हैं, वे कंपोजिशनल पर्सनलाइजेशन (compositional personalization) के लिए संघर्ष करती हैं: यानी, पूर्व सह-उपस्थिति प्रशिक्षण (prior co-occurrence training) के बिना एक साथ कई उपयोगकर्ता-परिभाषित अवधारणाओं वाले दृश्यों को पहचानने या वर्णित करने की क्षमता।

वर्तमान दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

पैरामीटर-आधारित विधियाँ (जैसे लर्नबल प्रॉम्प्ट्स या कॉन्सेप्ट एम्बेडिंग्स) अक्सर प्रशिक्षण के दौरान अवधारणाओं को उलझा (entangle) देती हैं, जिससे उन्हें अलग करना और नए विन्यासों में पुनर्संयोजित करना कठिन हो जाता है।
रिट्रीवल-आधारित विधियाँ पैरामीटर अपडेट से बचती हैं लेकिन बाहरी डेटाबेसों पर निर्भर करती हैं, जिससे गोपनीयता संबंधी चिंताएं बढ़ती हैं और रीजनिंग कार्यों के लिए अवधारणाओं को आंतरिक रूप से आत्मसात करने में विफलता होती है।
मौजूदा समाधान आम तौर पर इंटरफेरेंस (interference) के कारण प्रदर्शन में गिरावट आए बिना, इन्फरेंस के समय कई स्वतंत्र रूप से सीखी गई अवधारणाओं को संयोजित करने के लिए किसी तंत्र की कमी रखते हैं।

कार्यप्रणाली: गेट-एंड-मर्ज (Gate-and-Merge)

यह शोध पत्र गेट-एंड-मर्ज का प्रस्ताव करता है, जो एक ज़ीरो-शॉट फ्रेमवर्क है जिसे सह-उपस्थिति प्रशिक्षण या बाहरी डेटाबेस की आवश्यकता के बिना कंपोजिशनल पर्सनलाइजेशन सक्षम करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो अलग-अलग चरणों में कार्य करता है:

1. सिंगल कॉन्सेप्ट लर्निंग (ट्रेनिंग चरण)

प्रत्येक उपयोगकर्ता-परिभाषित अवधारणा $c$ को एक मॉड्यूलर, लाइटवेट प्रतिनिधित्व के रूप में स्वतंत्र रूप से सीखा जाता है, जिसमें दो घटक शामिल हैं:

कॉन्सेप्ट टोकन ( $\langle c \rangle$ ): टोकनाइज़र वोकैबुलरी में जोड़ा गया एक नया टोकन जिसमें एक ट्रेन करने योग्य एम्बेडिंग वेक्टर $e_c$ और एक संबंधित आउटपुट हेड रो $w_c$ होता है। यह अवधारणा के लिए टेक्स्टुअल आइडेंटिफायर के रूप में कार्य करता है।
लोरा एडैप्टर ( $\delta_c$ ): एक लो-रैंक एडैप्टेशन मॉड्यूल ( $\delta_c = A_c B_c$ ) जो लैंग्वेज मॉडल के वेट्स पर लागू होता है। यह मॉडल को विज़न एनकोडर को संशोधित किए बिना अवधारणा के दृश्य स्वरूप के अनुकूल होने की अनुमति देता है।

विज़ुअल फीचर्स को विभिन्न अवधारणाओं के बीच सुसंगत बनाए रखने के लिए विज़न एनकोडर पूरे प्रशिक्षण के दौरान फ्रीज़ (frozen) रहता है। मॉडल को स्टैंडर्ड मास्क्ड लैंग्वेज मॉडलिंग ऑब्जेक्टिव का उपयोग करके छवियों और टेक्स्ट के एक छोटे सपोर्ट सेट पर प्रशिक्षित किया जाता है।

2. मल्टी-कॉन्सेप्ट कंपोजिशन (इन्फरेंस चरण)

इन्फरेंस के समय, मॉडल को उन इनपुट्स को संभालना चाहिए जिनमें कई अवधारणाएं शामिल हैं (उदाहरण के लिए, अवधारणा $A$ और अवधारणा $B$ वाली एक छवि) बिना उन्हें प्रशिक्षण के दौरान एक साथ देखे। फ्रेमवर्क एक गेट-एंड-मर्ज तंत्र का उपयोग करता है:

गेटिंग (चयन): एक गेटिंग मैकेनिज्म यह निर्धारित करता है कि वर्तमान इनपुट (छवि $x$ और क्वेरी $q$ ) के लिए कौन से कॉन्सेप्ट मॉड्यूल प्रासंगिक हैं, इसके लिए दो संकेतों का मूल्यांकन करता है:
- टेक्स्टुअल रेलेवेंस (Textual Relevance): जाँचता है कि क्या क्वेरी में कॉन्सेप्ट टोकन $\langle c \rangle$ का स्पष्ट रूप से उल्लेख किया गया है।
- विजुअल रेलेवेंस (Visual Relevance): इमेज पैच फीचर्स और कॉन्सेप्ट के प्रोटोटाइप फीचर्स के बीच कोसाइन सिमिलैरिटी (cosine similarity) की गणना करता है।
- एक अवधारणा तब सक्रिय होती है जब वह या तो टेक्स्टुअली उल्लेखित हो या थ्रेशोल्ड $\tau$ से ऊपर विजुअली समर्थित हो।
मर्जिंग (फ्यूजन): एक बार प्रासंगिक अवधारणाओं का सेट $S$ पहचाने जाने के बाद, उनके संबंधित लोरा (LoRA) अपडेट को सीधे वेट स्पेस में मर्ज किया जाता है। नेइवली (naively) अपडेट को जोड़ने से होने वाले विनाशकारी इंटरफेरेंस को रोकने के लिए:
- स्पारसिफिकेशन (Sparsification): प्रत्येक लोरा अपडेट को स्टोकेस्टिक रूप से ड्रॉप (Bernoulli masking) किया जाता है और केवल डोमिनेंट सिग्नल को बनाए रखने के लिए रीस्केल किया जाता है, जिससे क्रॉस-कॉन्सेप्ट संघर्ष कम होता है।
- साइन-अवेयर एवरेजिंग (Sign-Aware Averaging): यह विधि साइन कंसिस्टेंसी (sign consistency) को लागू करती है। प्रत्येक वेट कोऑर्डिनेट के लिए, विरोधाभासी साइन वाले अपडेट को हटा दिया जाता है, और केवल साइन-कंसिस्टेंट अपडेट का औसत निकाला जाता है। यह सुनिश्चित करता है कि फ्यूज किया गया एडैप्टर प्रत्येक अवधारणा की पहचान को बनाए रखते हुए उन्हें संयोजित करता है।

अंतिम कंपोज्ड मॉडल $M_{comp} = M \oplus \delta_{merge}$ है, जहाँ $\delta_{merge}$ फ्यूज किया गया एडैप्टर है। यह प्रक्रिया इन्फरेंस के समय ट्रेनिंग-फ्री होती है।

मुख्य योगदान

गेट-एंड-मर्ज फ्रेमवर्क: एक मॉड्यूलर फ्रेमवर्क जो ज़ीरो-शॉट कंपोजिशनल पर्सनलाइजेशन के लिए, जो सह-उपस्थिति सुपरविजन के बिना स्वतंत्र रूप से अवधारणाओं को सीखता है और इन्फरेंस के समय उन्हें संयोजित करता है।
मॉड्यूलर रिप्रेजेंटेशन: प्रत्येक अवधारणा को एक लाइटवेट लोरा मॉड्यूल और एक अद्वितीय कॉन्सेप्ट टोकन के माध्यम से दर्शाने वाला डिज़ाइन, जो स्केलेबल और प्राइवेसी-प्रिजर्विंग पर्सनलाइजेशन का समर्थन करता है।
ट्रेनिंग-फ्री कंपोजिशन: एक तंत्र जो टेक्स्टुअल और विजुअल संकेतों के आधार पर लोरा मॉड्यूल्स को चुनिलेक्टिवली एक्टिवेट और मर्ज करता है, जो इंटरफेरेंस को कम करने के लिए स्पारसिफिकेशन और साइन-अवेयर मर्जिंग का उपयोग करता है।
एम्पिरिकल वैलिडेशन: सिंगल-कॉन्सेप्ट और मल्टी-कॉन्सेप्ट दोनों सेटिंग्स में मौजूदा पैरामीटर-आधारित पर्सनलाइजेशन दृष्टिकोणों की तुलना में इस विधि के बेहतर प्रदर्शन का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने 118 विशिष्ट अवधारणाओं (वास्तविक व्यक्ति, वस्तुएं, काल्पनिक पात्र) को कवर करने वाले एक मल्टी-कॉन्सेप्ट डेटासेट से निर्मित बेंचमार्क पर इस विधि का मूल्यांकन किया।

विजुअल रिकग्निशन (दृश्य पहचान): एक छवि में एक या कई अवधारणाओं की पहचान करने वाले कार्यों में, गेट-एंड-मर्ज ने MyVLM और Yo'LLaVA जैसे बेसलाइन्स की तुलना में बेहतर प्रदर्शन किया। विशेष रूप से, चुनौतीपूर्ण "मल्टीपल-मल्टीपल" सेटिंग (एक साथ कई क्वेरी की गई अवधारणाओं की पहचान करना) में, प्रस्तावित विधि ने 69.9% सटीकता प्राप्त की, जो Yo'LLA VA (29.3%) से काफी बेहतर है और उच्च बैलेंस्ड रिकॉल बनाए रखती है।
टेक्स्ट और विजुअल QA: विधि ने टेक्स्ट-ओनली रीजनिंग और मल्टीमॉडल विजुअल क्वेश्चन अनस्विंग (VQA) दोनों में मजबूती प्रदर्शित की, सिंगल और मल्टीपल कॉन्सेप्ट सेटिंग्स में सबसे संतुलित प्रदर्शन हासिल किया।
कैप्शनिंग: जबकि रिट्रीवल-आधारित विधियों (RAP-MLLM) ने सिंगल-कॉन्सेप्ट सेटिंग्स में उच्च रिकॉल दिखाया, वे संग्रहीत टेक्स्ट के "कॉपी-पेस्ट" पर बहुत अधिक निर्भर थीं। गेट-एंड-मर्ज ने अधिक मजबूत कॉन्सेप्ट ग्राउंडिंग प्रदान की, जिससे ऐसे कैप्शन जेनरेट हुए जो विजुअल एविडेंस को बेहतर ढंग से एकीकृत करते हैं, हालांकि सिंगल-कॉन्सेप्ट कार्यों की तुलना में मल्टी-कॉन्सेप्ट कैप्शनिंग परिदृश्यों में प्रदर्शन स्वाभाविक रूप से कम हो गया।
एब्लेशन स्टडीज (Ablation Studies):
- स्पैरसिटी रेश्यो ( $p$ ): प्रदर्शन 0.7–0.8 के स्पैरसिटी रेश्यो पर चरम पर था, जो पुष्टि करता है कि मध्यम स्पैरसिटी इंटरफेरेंस को प्रभावी ढंग से दबाते हुए एडैप्टेशन सिग्नल्स को बनाए रखती है।
- गेटिंग थ्रेशोल्ड ( $\tau$ ): थ्रेशोल्ड 0.3 ने इष्टतम परिणाम दिए, जो अप्रासंगिक एक्टिवेशन को दबाने और वैध अवधारणाओं को बनाए रखने के बीच संतुलन बनाता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि गेट-एंड-मर्ज वीएलएम (VLM) पर्सनलाइजेशन में एक महत्वपूर्ण अंतर को भरता है, जो संयुक्त प्रशिक्षण या बाहरी डेटा स्टोरेज की आवश्यकता के बिना कंपोजिशनल रीजनिंग को सक्षम करता है। अवधारणाओं को प्रशिक्षण के दौरान अलग (disentangled) रखकर और इन्फरेंस के समय उन्हें बुद्धिमानी से फ्यूज करके, यह विधि मॉडल को उपयोगकर्ता-परिभाषित अवधारणाओं के नए संयोजनों को संभालने की अनुमति देती है।

लेखक इस कार्य को स्केलेबल, मॉड्यूलर पर्सनलाइजेशन की दिशा में एक कदम के रूप में देखते हैं जहाँ अवधारणाओं को गतिशील रूप से जोड़ा, हटाया या संयोजित किया जा सकता है। वे सीमाओं को स्वीकार करते हुए कहते हैं कि अत्यधिक एंटैंगल्ड (entangled) अवधारणाओं के लिए अधिक एक्सप्रेसिव मैकेनिज्म की आवश्यकता हो सकती है और स्पारसिफिकेशन में बारीक विवरण खोने का जोखिम होता है। हालांकि, परिणाम बताते हैं कि यह दृष्टिकोण जटिल, मल्टी-कॉन्सेप्ट परिदृश्यों के लिए वीएलएम में पर्सनलाइज्ड नॉलेज को एकीकृत करने के लिए एक स्थिर और प्रभावी समाधान प्रदान करता है।