PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry
यह शोध पत्र इस परिकल्पना को चुनौती देता है कि लार्ज लैंग्वेज मॉडल्स में एडॉप्टर इंटरफेरेंस (adapter interference) मुख्य रूप से पैरामीटर-स्पेस ज्योमेट्री द्वारा नियंत्रित होता है, जो DoRA-RBAC पर प्रयोगों के माध्यम से यह प्रदर्शित करता है कि ज्योमेट्री-अवेयर मर्जिंग (geometry-aware merging) मानक एवरेजिंग की तुलना में कोई सुसंगत लाभ नहीं देती है और इसके बजाय इंटरफेरेंस साझा नॉनलीनियर रिप्रेजेंटेशन्स (shared nonlinear representations) में होने वाली अंतःक्रियाओं से उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल) है जो सब कुछ थोड़ा-बहुत जानता है। अब, कल्पना कीजिए कि आप इस रोबोट को विशिष्ट "विशेषज्ञ" कौशल देना चाहते हैं बिना पूरे दिमाग को फिर से प्रशिक्षित किए। आप ऐसा छोटे, हटाने योग्य "कौशल मॉड्यूल" (जिन्हें एडेप्टर कहा जाता है) प्लग करके करते हैं।
- एक मॉड्यूल रोबोट को चिकित्सा संबंधी प्रश्नों के उत्तर देने में माहिर बनाता है।
- दूसरा उसे इतिहास में माहिर बनाता है।
- तीसरा उसे साइबर सुरक्षा में माहिर बनाता है।
बड़ी चुनौती यह है: क्या होता है जब आप एक ही समय में दो या अधिक मॉड्यूल प्लग करते हैं?
मुख्य प्रश्न: क्या मॉड्यूल आपस में लड़ते हैं?
शोधकर्ता जानना चाहते थे कि क्या ये मॉड्यूल एक साथ मिलकर काम करते समय एक-दूसरे के "पैरों पर पैर रखते हैं" (यानी एक-दूसरे के काम में बाधा डालते हैं)।
पुराना सिद्धांत (ज्यामिति परिकल्पना - The "Geometry" Hypothesis):
वैज्ञानिक पहले सोचते थे कि यह समस्या एक ही गलियारे में चलने वाले दो लोगों की तरह है। यदि वे बिल्कुल एक ही दिशा में चल रहे हैं, तो वे आपस में टकराएंगे। सिद्धांत यह था: "यदि हम सुनिश्चित करें कि मॉड्यूल पूरी तरह से अलग दिशाओं में इशारा करते हैं (जैसे एक उत्तर की ओर और दूसरा पूर्व की ओर), तो वे हस्तक्षेप नहीं करेंगे, और रोबोट पूरी तरह से काम करेगा।"
इसकी जांच करने के लिए, उन्होंने मॉड्यूल को संयोजित करने का एक शानदार नया तरीका आजमाया जिसे रीमानियन मर्जिंग (Riemannian merging) कहा जाता है। इसे एक हाई-टेक कंपास की तरह समझें जो यह गणना करने की कोशिश करता है कि मॉड्यूल को किस "औसत दिशा" की ओर इशारा करना चाहिए, ताकि वे ज्यामितीय रूप से अलग रहें और आपस में न टकराएं।
प्रयोग: "DoRA-RBAC" टेस्ट
शोधकर्ताओं ने एक सिस्टम बनाया जिसे DoRA-RBAC कहा जाता है। उन्होंने एक रोबोट दिमाग (विशेष रूप से Llama-3.1 और Mistral मॉडल) लिया और उन्हें विभिन्न विषयों के लिए अलग-अलग कौशल मॉड्यूल दिए:
- SimpleQA: सामान्य सामान्य ज्ञान (कला, भूगोल, इतिहास, आदि)।
- GPQA: कठिन विज्ञान प्रश्न (जीव विज्ञान, भौतिकी, रसायन विज्ञान)।
- WMDP: सुरक्षा-संवेदनशील विषय (बायो, साइबर, केमिस्ट्री)।
इसके बाद उन्होंने इन मॉड्यूल को संयोजित करने के दो तरीके परीक्षण किए:
- सरल तरीका (Euclidean): बस मॉड्यूल का औसत लें, जैसे बाल्टी में पेंट के रंगों को मिलाना।
- शानदार तरीका (Riemannian): इस हाई-टेक कंपास का उपयोग करें ताकि यह सुनिश्चित हो सके कि दिशाएं पूरी तरह से अलग हैं, इससे पहले कि उन्हें मिलाया जाए।
परिणाम: "शानदार" तरीका काम नहीं आया
यहाँ एक चौंकाने वाला मोड़ है: शानदार कंपास ने रोबोट को स्मार्ट नहीं बनाया।
- समान प्रदर्शन: चाहे उन्होंने साधारण औसत का उपयोग किया हो या फैंसी ज्यामितीय विधि का, रोबोट का प्रदर्शन बिल्कुल एक जैसा रहा।
- कोई "टकराव" नहीं: भले ही मॉड्यूल अलग-अलग दिशाओं में इशारा कर रहे थे, फैंसी विधि ने त्रुटियों या हस्तक्षेप को कम नहीं किया।
- असली अपराधी: शोधकर्ताओं ने पाया कि समस्या मॉड्यूल द्वारा इशारा की जाने वाली दिशा (ज्यामिति) के बारे में नहीं है। इसके बजाय, हस्तक्षेप रोबोट की गैर-रेखीय सोच प्रक्रियाओं (non-linear thinking processes) के साथ मॉड्यूल के आंतरिक मेल के कारण होता है।
उपमा (Analogy):
कल्पना कीजिए कि दो संगीतकार एक बैंड में बजा रहे हैं।
- पुराना सिद्धांत: "यदि वे मंच पर अलग-अलग स्थानों पर खड़े होते हैं (ज्यामिति), तो वे आपस में नहीं टकराएंगे।"
- वास्तविकता: "इससे कोई फर्क नहीं पड़ता कि वे कहाँ खड़े हैं। यदि वे एक ही गाना बजा रहे हैं लेकिन अलग-अलग लय (rhythms) के साथ, तो वे टकराएंगे क्योंकि संगीत खुद कैसे परस्पर क्रिया करता है, इस पर निर्भर करता है, न कि इस पर कि वे कहाँ खड़े हैं।"
गोपनीयता के बारे में क्या? (द "सीक्रेट" टेस्ट)
शोधकर्ताओं ने यह भी पूछा: "यदि मैं किसी उपयोगकर्ता को केवल 'इतिहास' मॉड्यूल तक पहुंच देता हूँ, तो क्या वह बता सकता है कि रोबोट विशेष रूप से उस मॉड्यूल का उपयोग कर रहा है?"
- अच्छी खबर: मॉड्यूल विशिष्ट विषयों पर रोबोट के प्रदर्शन में सुधार करते हैं (वह इतिहास के प्रश्नों पर बेहतर हो जाता है)।
- बुरी खबर: मॉड्यूल पूर्ण गोपनीयता कवच (privacy shield) नहीं हैं। विशेष मॉड्यूल होने के बावजूद, एक पर्यवेक्षक लगभग 65% बार यह अनुमान लगा सकता है कि रोबोट किस "मोड" में है (जो कि रैंडम अनुमान लगाने से बेहतर है, लेकिन पूर्ण गोपनीयता से बहुत दूर है)।
- निष्कर्ष: यह सिस्टम कौशल व्यवस्थित करने के लिए तो अच्छा है, लेकिन इसे रहस्यों के लिए एक सख्त लॉकर के रूप में इस्तेमाल नहीं किया जाना चाहिए।
निचोड़ (The Bottom Line)
- ज्यामिति जादुई समाधान नहीं है: यह सुनिश्चित करना कि एडेप्टर मॉड्यूल अलग-अलग दिशाओं में इशारा करते हैं, उन्हें एक-दूसरे के साथ हस्तक्षेप करने से नहीं रोकता है।
- सरल ही काफी है: इन मॉड्यूल को संयोषित करने के लिए आपको जटिल गणित की आवश्यकता नहीं है; एक साधारण औसत भी उतना ही अच्छा काम करता है।
- असली मुद्दा गहरा है: हस्तक्षेप इसलिए होता है क्योंकि मॉड्यूल रोबोट की जटिल आंतरिक सोच के साथ कैसे इंटरैक्ट करते हैं, न कि केवल इस आधार पर कि वे बाहर से कैसे व्यवस्थित हैं।
- गोपनीयता सीमित है: हालांकि आप कौशल को मिला और बदल सकते हैं, लेकिन आप मॉड्यूल को मिलाकर यह पूरी तरह से नहीं छिपा सकते कि कौन से कौशल उपयोग किए जा रहे हैं।
संक्षेप में: शोधकर्ताओं ने मेज पर टुकड़ों को पुनर्व्यवस्थित करके एक पहेली को हल करने की कोशिश की, लेकिन उन्हें एहसास हुआ कि पहेली के टुकड़े इसलिए लड़ रहे थे क्योंकि वे बॉक्स के अंदर एक दूसरे में कैसे फिट होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।