← नवीनतम पेपर
🤖 AI

Beyond Binary Edits Robust Multimodal Knowledge Editing with Adversarial Subspace Alignment

यह शोध पत्र एक सुदृढ़ अंतर्निहित बहु-मोडल ज्ञान संपादन ढांचे का प्रस्ताव करता है जो सुसंगत प्रतिकूल वेरिएंट उत्पन्न करने के लिए लेटेंट एडवर्सरियल रोबस्टिफिकेशन (Latent Adversarial Robustification) और इन प्रस्तुतियों के निम्न-रैंक संरेखण को लागू करने के लिए रैंक-प्रतिबंधित उप-स्थान शिक्षण (Rank-Constrained Subspace Learning) को पेश करके अर्थपूर्ण रूप से समतुल्य दृश्य और भाषाई विविधताओं में सामान्यीकरण को बढ़ाता है।

मूल लेखक: Haoyuan Wang, Xiaohao Liu, Jiajie Su, Jianmao Xiao, Chaochao Chen

प्रकाशित 2026-05-25
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Haoyuan Wang, Xiaohao Liu, Jiajie Su, Jianmao Xiao, Chaochao Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) की कल्पना एक अत्यंत बुद्धिमान लाइब्रेरियन के रूप में करें जो किताबें पढ़ने और चित्रों को देखने का काम एक साथ कर सकता है। इस लाइब्रेरियन ने तथ्यों की एक विशाल मात्रा याद कर रखी है। कभी-कभी, लाइब्रेरियन एक तथ्य गलत बता देता है (जैसे, वे सोचते हैं कि एक विशिष्ट पिज्जा में जैतून (olives) हैं जबकि वास्तव में उसमें मशरूम हैं)।

नॉलेज एडिटिंग (Knowledge Editing) उस एक गलती को ठीक करने की प्रक्रिया है ताकि लाइब्रेरियन जो कुछ भी जानता है उसे भूले नहीं या थोड़े अलग तरीके से पूछे गए सवाल से भ्रमित न हो जाए।

लेख यह तर्क देता है कि मौजूदा सुधार विधियाँ बहुत "भंगुर" (brittle) हैं। वे एक ऐसे दर्जी की तरह हैं जो एक शर्ट पर एक विशिष्ट व्यक्ति के लिए बिल्कुल सही पैच सिलता है, लेकिन यदि आप उसी दर्जी से वही शर्ट किसी थोड़े लंबे व्यक्ति के लिए या शर्ट को अलग तरह से पहने हुए व्यक्ति के लिए ठीक करने को कहें, तो पैच निकल जाता है। वह सुधार केवल उस सटीक फोटो और वाक्य के लिए काम करता है जिसका उपयोग सुधार के दौरान किया गया था, और जब वाक्य को फिर से लिखा जाता है या चित्र को थोड़ा बदल दिया जाता है, तो यह विफल हो जाता है।

लेखक एक नई विधि प्रस्तावित करते हैं जिसे ASAM (एडवर्सरियल सबस्पेस अलाइनमेंट - Adversarial Subspace Alignment) कहा जाता है, ताकि ये सुधार "मजबूत" (robust) बन सकें ताकि सवाल या चित्र कैसे भी प्रस्तुत किए जाएं, वे टिके रहें। वे इसे दो मुख्य रचनात्मक रणनीतियों का उपयोग करके करते हैं:

1. "स्ट्रेस टेस्ट" (लेटेंट एडवर्सरियल रोबस्टिफिकेशन)

केवल लाइब्रेरियन को मूल गलत पिज्जा फोटो दिखाकर यह कहने के बजाय कि, "इसे ठीक करो," ASAM एक सख्त कोच की तरह कार्य करता है। यह मूल फोटो और वाक्य के एडवर्सरियल वेरिएंट्स (adversarial variants)—थोड़े बदले हुए, पुनर्गठित या "तनावपूर्ण" संस्करण—पैदा करता है।

  • उपमा: कल्पना करें कि आप किसी को "पिज्जा" पहचानना सिखा रहे हैं। यदि आप उन्हें केवल पेपरोनी पिज्जा की एक फोटो दिखाते हैं, तो वे शायद उस विशिष्ट रोशनी और कोण को याद कर लेंगे। ASAM उस फोटो को लेने, उसे हिलाने, बैकग्राउंड बदलने और विवरण को बदलकर "एक गोल, चीज़ वाला फ्लैटब्रेड जिसमें टॉपिंग्स हैं" कहने जैसा है, जबकि मूल अर्थ वही रहता है।
  • लक्ष्य: मॉडल को इन "स्ट्रेस टेस्ट" से तुरंत निपटने के लिए मजबूर करके, सिस्टम तथ्य के वास्तविक सार (यह एक पिज्जा है) को सीखता है, न कि केवल मूल त्रुटि के विशिष्ट पिक्सेल या शब्दों को याद करता है।

2. "लो-रैंक सबस्पेस" (रैंक-कंस्ट्रेंड सबस्पेस लर्निंग)

एक बार जब मॉडल का स्ट्रेस-टेस्ट कई विविधताओं के साथ हो जाता है, तो ASAM मॉडल के आंतरिक "मस्तिष्क" को इन सभी विभिन्न संस्करणों को एक ही चीज़ मानने के लिए मजबूर करता है।

  • उपमा: सोचिए कि मॉडल की आंतरिक स्मृति एक विशाल, अस्त-व्यस्त कमरे की तरह है जहाँ "पिज्जा" के हर संस्करण को अलग-अलग ढेरों में फेंक दिया गया है। ASAM एक नियम पेश करता है: "चाहे आप पिज्जा का वर्णन कैसे भी करें, ये सभी विचार एक ही, संकीर्ण शेल्फ (shelf) पर सिमट जाने चाहिए।"
  • तंत्र: यह सुनिश्चित करने के लिए एक गणितीय ट्रिक (जिसे सिंगुलर वैल्यू डिकंपोजिशन कहा जाता है) का उपयोग करता है कि पिज्जा के बारे में पूछने के सभी अलग-अलग तरीके मॉडल के मस्तिष्क में बिल्कुल एक ही "दिशा" की ओर इशारा करें। यह एक साझा सिमेंटिक कोर (shared semantic core) बनाता है। भले ही इनपुट अलग दिखे, आंतरिक प्रतिनिधित्व समान रहता है, जिससे उत्तर सुसंगत रहता है।

3. "एसिमेट्रिक फ्लो" (Asymmetric Flow)

लेख में एक और तरीका भी बताया गया है जिससे मॉडल को अपडेट करते समय सावधानी बरती जाती है ताकि चीजें खराब न हों।

  • उपमा: पिज्जा के तथ्य को ठीक करते समय, मॉडल को पिज्जा के बारे में अपनी राय बदलने की आवश्यकता होती है, लेकिन इसे गलती से यह नहीं बदलना चाहिए कि "कार" या "बिल्ली" क्या है। ASAM अपडेट के लिए एक वन-वे स्ट्रीट (एकतरफा रास्ता) का उपयोग करता है: यह नए ज्ञान को "पिज्जा शेल्फ" में धकेलता है बिना "कार" या "बिल्ली" के शेल्फ को परेशान किए।

परिणाम

लेखकों ने मानक बेंचमार्क (जैसे विजुअल क्वेश्चन अनस्विंग और इमेज कैप्शनिंग के बारे में तथ्यों को ठीक करना) पर इनका परीक्षण किया।

  • विश्वसनीयता (Reliability): मॉडल विशिष्ट तथ्य को सही ढंग से ठीक करता है (लक्ष्य पर 100% सफलता)।
  • लोकैलिटी (Locality): मॉडल असंबंधित तथ्यों को नहीं भूलता (वह अभी भी जानता है कि कार क्या है)।
  • जनरैलिटी (Generality - बड़ी जीत): यहीं ASAM चमकता है। जब मॉडल को एक अलग फोटो या पुनर्गठित वाक्य का उपयोग करके पिज्जा के बारे में पूछा जाता है, तो वह अभी भी सही उत्तर देता है। पिछली विधियाँ अक्सर यहाँ विफल हो जाती थीं, क्योंकि वे नए प्रश्न को एक पूरी तरह से अलग समस्या मानती थीं।

संक्षेप में: यह लेख AI मॉडल को नए तथ्य "सिखाने" का एक तरीका प्रस्तुत करता है, जिसमें उन्हें एक ही विचार के कई विविधताओं के साथ स्ट्रेस-टेस्ट किया जाता है और फिर उनके आंतरिक मस्तिष्क को उन सभी विविधताओं को एक एकल, स्थिर अवधारणा में समाहित करने के लिए मजबूर किया जाता है। यह ज्ञान अपडेट को मजबूत बनाता है, जिसका अर्थ है कि यह तब भी काम करता है जब दुनिया उस तथ्य को थोड़े अलग तरीके से प्रस्तुत करती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →