🤖 machine learning

Modality-Decoupled Online Recursive Editing

यह शोध पत्र M-ORE को प्रस्तुत करता है, जो एक मोडैलिटी-डिकपल्ड ऑनलाइन रिकर्सिव एडिटर है जो टेक्स्ट और विजुअल घटकों के लिए अलग-अलग लोकैलिटी सांख्यिकी (locality statistics) बनाए रखकर और क्रॉस-मोडल संघर्ष एवं इंटर-एडिट हस्तक्षेप को कम करने के लिए एक निश्चित ऑर्थोगोनल लो-रैंक सबस्पेस में निरंतर अपडेट करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के कुशल और विश्वसनीय लाइफलोंग एडेप्टेशन को सक्षम बनाता है।

मूल लेखक: Siyuan Li, Youyuan Zhang, Fangming Liu, Jing Li

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siyuan Li, Youyuan Zhang, Fangming Liu, Jing Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, सर्वज्ञानी लाइब्रेरियन (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल) है जो किताबें पढ़ सकता है और चित्रों को देख सकता है। इस लाइब्रेरियन ने दुनिया के संपूर्ण ज्ञान को याद कर लिया है। हालाँकि, कभी-कभी यह गलतियाँ भी कर देता है। शायद यह किसी विशिष्ट फोटो को "बिल्ली" समझ लेता है जबकि वह वास्तव में एक "कुत्ता" है, या यह किसी ऐतिहासिक तथ्य को गलत याद रखता है।

अतीत में, यदि आप इस गलती को सुधारना चाहते थे, तो आपको लाइब्रेरियन को एक बड़े, महंगे पुन: प्रशिक्षण (retraining) सत्र के लिए वापस स्कूल भेजना पड़ता था। यह धीमा और संसाधनों की बर्बादी थी। "मॉडल एडिटिंग" (Model editing) उस लाइब्रेरियन को एक त्वरित, लक्षित नोट देने जैसा है ताकि वह सब कुछ फिर से सीखे बिना केवल उस एक गलती को सुधारा जा सके।

लेकिन यहाँ एक समस्या है, जब आप एक ऐसे लाइब्रेरियन की गलतियों को सुधारने की कोशिश करते हैं जो टेक्स्ट (पाठ) और इमेज (चित्र) दोनों को संभालता है, तो दो बड़ी चीजें गलत हो जाती हैं। इस शोध पत्र के लेखक इन्हें "क्रॉस-मोडल कॉन्फ्लिक्ट" (Cross-Modal Conflict) और "इंटर-एडिट इंटरफेरेंस" (Inter-Edit Interference) कहते हैं।

दो बड़ी समस्याएँ

1. "तेज़ आवाज़" की समस्या (क्रॉस-मोडल कॉन्फ्लिक्ट)
कल्पना कीजिए कि लाइब्रेरियन आपके द्वारा दिए गए एक नोट के आधार पर अपनी याददाश्त को अपडेट करने की कोशिश कर रहा है। उस नोट में एक वाक्य और एक फोटो दोनों शामिल हैं।

समस्या: इन मॉडल्स में, इमेज की "आवाज़" स्वाभाविक रूप से टेक्स्ट की तुलना में बहुत अधिक तेज़ और ऊर्जावान होती है।
उपमा: यह एक ऐसे कमरे में शांत बातचीत करने की कोशिश करने जैसा है जहाँ कोई व्यक्ति रॉक कॉन्सर्ट बजा रहा हो। लाइब्रेरियन का मस्तिष्क उस तेज़ संगीत (इमेज) से इतना अभिभूत हो जाता है कि वह आपके शांत टेक्स्ट निर्देशों को अनदेखा कर देता है। वह गलत चीज़ के आधार पर अपनी याददाश्त अपडेट करने लगता है, या भ्रमित हो जाता है कि इमेज उन शब्दों से अधिक महत्वपूर्ण है जिन्हें आप वास्तव में ठीक करना चाहते थे।
परिणाम: सुधार ठीक से काम नहीं करता क्योंकि इमेज ने टेक्स्ट को "दबा" दिया।

2. "भीड़भाड़ वाला गलियारा" की समस्या (इंटर-एडिट इंटरफेरेंस)
अब कल्पना कीजिए कि आपको एक के बाद एक, क्रमवार 100 अलग-अलग गलतियों को ठीक करना है।

समस्या: हर बार जब आप एक गलती सुधारते हैं, तो आप लाइब्रेरियन के दिमाग में एक छोटा सा "निशान" छोड़ देते हैं। यदि आप निशान छोड़ने के लिए एक ही गलियारे का उपयोग करते रहते हैं, तो गलियारा भीड़भाड़ वाला हो जाता है। नए निशान पुराने निशानों को बाहर धकेल देते हैं, या वे आपस में उलझ जाते हैं।
उपमा: एक ऐसे गलियारे के बारे में सोचें जहाँ आप 100 अलग-अलग पेंटिंग लगाने की कोशिश कर रहे हैं। यदि आप हर बार बिल्कुल एक ही जगह पर पेंटिंग लगाते हैं, तो नई पेंटिंग्स पुरानी पेंटिंग्स को दीवार से गिरा देती हैं। अंततः, लाइब्रेरियन पिछले 99 सुधारों को भूल जाता है क्योंकि 100वें सुधार ने उन सभी को किनारे कर दिया। इसे "ड्रिफ्ट" (drift) या "भूलना" (forgetting) कहा जाता है।
परिणाम: आप जितने अधिक संपादन (edit) करते हैं, लाइब्रेरियन पिछले सुधारों को याद रखने में उतना ही खराब होता जाता है।

समाधान: M-ORE

लेखक एक नई विधि प्रस्तावित करते हैं जिसे M-ORE (Modality-Decoupled Online Recursive Editing) कहा जाता है। इसे लाइब्रेरियन की याददाश्त को अपडेट करने के एक स्मार्ट और व्यवस्थित सिस्टम के रूप में समझें।

1. उन्हें अलग-अलग नोटबुक देना (मोडैलिटी डिकपलिंग)
लाइब्रेरियन को यह देखने के बजाय कि तेज़ संगीत (इमेज) और शांत बातचीत (टेक्स्ट) एक ही कागज़ के टुकड़े के लिए लड़ रहे हैं, M-ORE उन्हें दो अलग-अलग नोटबुक देता है।

एक नोटबुक विशेष रूप से टेक्स्ट अपडेट के लिए है।
एक नोटबुक विशेष रूप से इमेज अपडेट के लिए है।
यह क्यों काम करता है: अब, तेज़ संगीत टेक्स्ट को दबा नहीं सकता। लाइब्रेरियन इमेज के शोर के हस्तक्षेप के बिना टेक्स्ट नोटबुक को अपडेट कर सकता है, और इसके विपरीत भी। वे पूरी तरह से व्यवस्थित रहते हैं।

2. एक स्मार्ट मैप के साथ "अनंत गलियारा" (फिक्स्ड ऑर्थोगोनल सबस्पेस)
भीड़भाड़ वाले गलियारे की समस्या के लिए, M-ORE केवल एक दीवार पर पेंटिंग नहीं लटकाता; यह लाइब्रेरियन को एक विशेष, अनंत गलियारा जिसमें एक निश्चित ग्रिड सिस्टम है, प्रदान करता है।

उपमा: एक ऐसे गलियारे की कल्पना करें जहाँ दीवार के हर इंच को एक विशिष्ट, पूर्व-निर्धारित नंबर दिया गया है। जब आप एक नई पेंटिंग लगाना (एक नया संपादन करना) चाहते हैं, तो सिस्टम उन नंबरों की जाँच करता है। यदि कोई स्थान पिछले संडों (edits) की पेंटिंग्स से भरा हुआ है, तो सिस्टम स्वचालित रूप से आपको पास के एक ताज़ा, खाली स्थान की ओर निर्देशित करता है जिसका उपयोग अभी तक नहीं किया गया है।
"शेरमैन-मोरिसन" (Sherman-Morrison) ट्रिक: शोध पत्र में "शेरमैन-मोरिसन" नामक एक गणितीय ट्रिक का उल्लेख है। सरल शब्दों में, यह एक सुपर-फास्ट कैलकुलेटर की तरह है जो तुरंत लाइब्रेरियन के "मैप" को अपडेट करता है कि खाली स्थान कहाँ हैं। इसे हर बार पूरे गलियारे को फिर से मापने की आवश्यकता नहीं होती है; यह बस एक छोटा, तात्कालिक समायोजन करता है।
यह क्यों काम करता है: यह नए संडों को पुराने संडों को दीवार से नीचे गिराने से रोकता है। लाइब्रेरियन 1, 10, या यहाँ तक कि 100 सुधारों को बिना पहले वाले को भूले याद रख सकता है।

यह क्यों महत्वपूर्ण है (परिणाम)

लेखकों ने वास्तविक दुनिया के मॉडल्स (जैसे BLIP-2 और LLaVA) पर इस सिस्टम का परीक्षण किया और पाया:

यह तेज़ है: "स्मार्ट मैप" ट्रिक के कारण, गलती सुधारने में उतना ही समय लगता है चाहे वह पहली गलती हो या 100वीं। जैसे-जैसे आप आगे बढ़ते हैं, यह धीमा नहीं होता है।
यह सटीक है: लाइब्रेरियन नए तथ्यों को सही ढंग से प्राप्त करता है (Reliability) और पुराने तथ्यों को नहीं भूलता (Locality)।
यह टेक्स्ट और इमेज दोनों को संभालता है: पुराने तरीकों के विपरीत, जो मिश्रण से भ्रमित हो जाते थे, M-ORE उन्हें अलग रखता है और दोनों को पूरी तरह से संभालता है।

संक्षेप में, M-ORE एक लाइब्रेरियन को विशेषज्ञ, गैर-हस्तक्षेप करने वाले उपकरण और एक आदर्श फाइलिंग सिस्टम देने जैसा है, जिससे वह शोर से भ्रमित हुए बिना या कल सीखी गई चीजों को भूले बिना, सुधारों की एक धारा से तुरंत नए तथ्य सीख सकता है।

तकनीकी सारांश: मोडैलिटी-डिकपल्ड ऑनलाइन रिकर्सिव एडिटिंग (M-ORE)

समस्या विवरण (Problem Statement)
मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के लिए ऑनलाइन मॉडल एडिटिंग, मौजूदा टेक्स्ट-ओनली एडिटिंग विधियों को अपनाने में दो महत्वपूर्ण विफलता मोडों का सामना करती है: क्रॉस-मोडल कॉन्फ्लिक्ट (cross-modal conflict) और इंटर-एडिट इंटरफेरेंस (inter-edit interference)।

क्रॉस-मोडल कॉन्फ्लिक्ट: MLLMs में, विजुअल रिप्रेजेंटेशन्स अक्सर टेक्स्ट एक्टिवेशन्स की तुलना में काफी अधिक ऊर्जा (वेरिएंस) रखते हैं। जब एडिटर्स विभिन्न मोडैलिटीज के बीच ग्लोबल स्टैटिस्टिक्स साझा करते हैं, तो ये हाई-एनर्जी विजुअल फीचर्स कोवेरिएंस और अपडेट दिशाओं के अनुमान पर हावी हो जाते हैं। यह एडिटिंग प्रक्रिया को विजुअल सबस्पेस की ओर पक्षपाती बना देता है, जिससे अपडेट्स विकृत हो जाते हैं और टेक्स्टुअल नॉलेज के संरक्षण में गिरावट आती है।
इंटर-एडिट इंटरफेरेंस: अनुक्रमिक (sequential) ऑनलाइन एडिटिंग में, क्रमिक अपडेट्स एक साझा पैरामीटर स्पेस के भीतर रिप्रेजेंटेशनल कैपेसिटी के लिए प्रतिस्पर्धा करते हैं। मौजूदा विधियाँ अक्सर "शेयर्ड एडिट कोर" में ढलने का कारण बनती हैं, जहाँ नए अपडेट बार-बार उन्हीं कोऑर्डिनेट्स का पुन: उपयोग करते हैं। इससे लॉन्ग-होरिज़न एंटैंगलमेंट (long-horizon entanglement) होता है, जहाँ नए एडिट्स पहले से इंजेक्ट किए गए ज्ञान को ओवरराइट या उससे दूर ले जाते हैं, जिसके परिणामस्वरूप समय के साथ कैटास्ट्रोफिक फॉरगेटिंग और विश्वसनीयता में गिरावट आती है।

इसके अलावा, व्यावहारिक प्रणालियों को कांस्टेंट-ओवरहेड (constant-overhead) अपडेट की आवश्यकता होती है। कई मौजूदा पैरामीटर-प्रिजर्विंग विधियों में स्टोरेज लागत होती है जो एडिट्स की संख्या के साथ रैखिक रूप से बढ़ती है, जबकि पैरामीटर-मॉडिफाइंग विधियाँ अक्सर लंबे एडिट स्ट्रीम के तहत स्थिरता बनाए रखने में विफल रहती हैं।

कार्यप्रणाली (Methodology): M-ORE
लेखक M-ORE (Modality-Decoupled Online Recursive Editing) प्रस्तावित करते हैं, जो एक एकीकृत प्रॉक्सिमल-प्रोजेक्शन फॉर्मूलेशन से व्युत्पन्न एक फ्रेमवर्क है। यह दो मुख्य तंत्रों के माध्यम से पहचाने गए विफलता मोडों को संबोधित करता है:

मोडैलिटी-डिकपल्ड लोकैलिटी स्टैटिस्टिक्स (Modality-Decoupled Locality Statistics):
M-ORE अलग-अलग एडिटेड मॉड्यूल्स के लिए अलग-अलग लोकैलिटी स्टैटिस्टिक्स बनाए रखकर क्रॉस-मोडल कॉन्फ्लिक्ट से बचता है। विशेष रूप से, यह टेक्स्ट स्टैक (LLM लेयर्स) और विजुअल प्रोजेक्टर के लिए अलग-अलग सेकंड-ऑर्डर स्टैटिस्टिक्स (प्रिकंडीशनर्स) की गणना और भंडारण करता है। यह सुनिश्चित करता है कि हाई-एनर्जी विजुअल फीचर्स टेक्स्ट लेयर्स के अपडेट ज्योमेट्री को दूषित न करें, जिससे एडिटिंग प्रक्रिया में विजुअल डोमिनेंस को रोका जा सके।
शेरमैन-मोरिसन रिकर्सन के साथ फिक्स्ड ऑर्थोगोनल लो-रैंक सबस्पेस (Fixed Orthogonal Low-Rank Subspace with Sherman-Morrison Recursion):
इंटर-एडिट इंटरफेरेंस को कम करने और कांस्टेंट ओवरहेड सुनिश्चित करने के लिए, M-ORE सभी एडिट्स को एक फिक्स्ड ऑर्थोगोनल लो-रैंक राइट स्पेस तक सीमित करता है।

फिक्स्ड कोऑर्डिनेट्स: राइट बेसिस $A^{(l)}$ को ऑर्थोगोनली इनिशियलाइज़ और फ्रीज किया गया है, जो एक स्थिर कोऑर्डिनेट सिस्टम प्रदान करता है जो समय के साथ विचलित नहीं होता है।
रिकर्सिव अपडेट्स: एडिटेबल पैरामीटर्स लो-रैंक मैट्रिसेस $B^{(l)}$ हैं। अपडेट नियम एक प्रॉक्सिमल प्रोजेक्शन समस्या का क्लोज्ड-फॉर्म सॉल्यूशन है, जिसे स्टेडी सबस्पेस में संचित लोकैलिटी स्टैटिक $S^{(l)}_{t-1}$ द्वारा रेगुलराइज किया गया है।
डी-एंटैंगलमेंट (De-entanglement): अपडेट $\Delta B^{(l)}_t = -\eta G^{(l)}_t P^{(l)}_{t-1}$ एक प्रिकंडीशनर $P^{(l)}_{t-1} = (I + S^{(l)}_{t-1})^{-1}$ का उपयोग करता है। जैसे-जैसे $S^{(l)}_{t-1}$ पिछले फीचर्स के आउटर प्रोडक्ट्स को संचित करता है, $P^{(l)}_{t-1}$ उन कोऑर्डिनेट्स पर अपडेट को एडेप्टिवली दबा देता है जिनका पिछले एडिट्स द्वारा अत्यधिक उपयोग किया गया है। यह क्रमबद्ध अपडेट्स को ज्योमेट्रिकल रूप से डी-एंटैंगल करता है, जिससे सिंगल एडिट कोर में कोलैप्स होने से रोका जाता है।
एफिशिएंसी: प्रिकंडीशनर को शेरमैन-मोरिसन लेम्मा का उपयोग करके कुशलतापूर्वक अपडेट किया जाता है, जिससे बिना डायरेक्ट मैट्रिक्स इन्वर्जन के प्रति लेयर $O(r^2)$ अपडेट (जहाँ $r \ll d$ ) संभव होता है। यह एडिट स्ट्रीम की लंबाई से स्वतंत्र, प्रति-एडिट कांस्टेंट टाइम और मेमोरी कॉम्प्लेक्सिटी $O(1)$ प्रदान करता है।

मुख्य योगदान (Key Contributions)

डायग्नोसिस: पेपर ने MLLMs को लागू करने में दो विशिष्ट विफलता मोडों का विश्लेषण किया है: मोडैलिटी स्केल मिसमैच के कारण क्रॉस-मोडल कॉन्फ्लिक्ट, और एंटैंगल्ड सीक्वेंशियल अपडेट्स के कारण इंटर-एडिट इंटरफेरेंस।
एल्गोरिदम: यह M-ORE पेश करता है, जो एक मोडैलिटी-डिकपल्ड एडिटर है जो कांस्टेंट-ओवरहेड ऑनलाइन एडिटिंग प्राप्त करने के लिए एक फिक्स्ड ऑर्थोगोनल लो-रैंक राइट स्पेस और शेरमैन-मोरिसन आधारित रिकर्सन का उपयोग करता है।
एम्पिरिकल वैलिडेशन: BLIP2-OPT और LLaVA-v1.5 बैकबोन पर व्यापक प्रयोगों से पता चलता है कि M-ORE विश्वसनीयता, जनरैलिटी और लोकैलिटी में स्ट्रॉन्ग बेसलाइन्स (ROME, MEND, AlphaEdit, और LiveEdit सहित) को लगातार पछाड़ता है, विशेष रूप से लंबे एडिट होराइजन्स (100 एडिट्स तक) के तहत।

परिणाम (Results)

परफॉर्मेंस: M-ORE बेहतर स्टेबिलिटी-प्लास्टिसिटी ट्रेड-ऑफ प्राप्त करता है। 100 एडिट्स के साथ E-IC टास्क पर, M-ORE ने BLIP2-OPT पर बेस्ट बेसलाइन (LiveEdit) से +1.89 पॉइंट्स और LLaVA-v1.5 पर +7.07 पॉइंट्स का सुधार किया।
रोबस्टनेस: पैरामीटर-मॉडिफाइंग बेसलाइन्स (जैसे MEND) के विपरीत, जो लंबे एडिट स्ट्रीम के बाद लगभग शून्य विश्वसनीयता तक गिर जाते हैं, M-ORE उच्च विश्वसनीयता और जनरैलिटी बनाए रखता है।
लोकैलिटी: M-ORE सामान्य क्षमताओं (MME बेंचमार्क कार्यों जैसे OCR, काउंटिंग और रीजनिंग पर टेस्ट किया गया) को प्रभावी ढंग से सुरक्षित रखता है और असंबंधित इनपुट्स के लिए हिडन स्टेट्स में डिस्ट्रीब्यूशनल शिफ्ट को न्यूनतम करता है।
एफिशिएंसी: विधि बढ़ते स्टोरेज या रिट्रीवल कॉस्ट से जूझने वाले पैरामीटर-प्रिजर्विंग मेथड्स के विपरीत, एडिट्स की संख्या के बावजूद कांस्टेंट लेटेंसी और मेमोरी उपयोग बनाए रखती है।

महत्व (Significance)
पेपर का दावा है कि M-ORE सख्त कंप्यूट और मेमोरी बजट के तहत लाइफलॉन्ग MLLM अडैप्टेशन के लिए एक सिद्धांतवादी फ्रेमवर्क प्रदान करता है। मोडैलिटी-विशिष्ट स्टैटिस्टिक्स को अलग करके और एक फिक्स्ड सबस्पेस में ज्योमेट्रिक डी-एंटैंगलमेंट को लागू करके, यह मोडैलिटी हेटेरोजेनिटी और सीक्वेंशियल इंटरफेरेंस की दोहरी चुनौतियों को हल करता है। लेखक इसे वास्तविक दुनिया के परिदृश्यों में अधिक विश्वसनीय और मेंटेनेबल MLLMs बनाने की दिशा में एक कदम के रूप में देखते हैं, जहाँ ज्ञान विकसित होता रहता है, जिससे महंगे रिट्रेनिंग के बिना तथ्यात्मक त्रुटियों को सुधारा जा सकता है। यह कार्य ऐसे एडिटिंग क्षमताओं के दुरुपयोग को रोकने के लिए नियंत्रित एक्सेस और ऑडिटिंग के महत्व पर जोर देता है।

दो बड़ी समस्याएँ

समाधान: M-ORE

यह क्यों महत्वपूर्ण है (परिणाम)

तकनीकी सारांश: मोडैलिटी-डिकपल्ड ऑनलाइन रिकर्सिव एडिटिंग (M-ORE)

इसी तरह के और पेपर