💻 computer science

ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection

यह शोध पत्र ARIADNE को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) और एडेप्टर-अज्ञेय (adapter-agnostic) रूटिंग फ्रेमवर्क है, जो अनलेबल इनपुट के लिए सबसे उपयुक्त पैरामीटर-कुशल फाइन-ट्यूनिंग (parameter-efficient fine-tuning) एडेप्टर का चयन करने के लिए लेटेंट स्पेस में पूर्व-निर्धारित प्रशिक्षण-सेट सेंट्रॉइड्स के साथ उनकी निकटता को मापता है, जिससे एडेप्टर के आंतरिक विवरणों या अतिरिक्त प्रशिक्षण की आवश्यकता के बिना विविध एनएलपी (NLP) कार्यों में लगभग इष्टतम प्रदर्शन प्राप्त होता है।

मूल लेखक: Enrico Cassano, Michał Brzozowski, Zuzanna Dubanowska, Paolo Mandica, Neo Christopher Chung

प्रकाशित 2026-06-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Enrico Cassano, Michał Brzozowski, Zuzanna Dubanowska, Paolo Mandica, Neo Christopher Chung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान रोबोट मस्तिष्क (जिसे "बैकबोन" कहा जाता है) है जो बोलना, लिखना और तर्क करना जानता है। हालाँकि, यह मस्तिष्क थोड़ा सामान्यज्ञ (generalist) है; यह सब कुछ करने में अच्छा है, लेकिन किसी एक विशेष चीज़ का मास्टर नहीं है। इसे एक वास्तविक विशेषज्ञ बनाने के लिए, आप इसमें छोटे, विशिष्ट "टूलकिट" (जिन्हें एडेप्टर कहा जाता है) जोड़ते हैं। एक टूलकिट कविता लिखने के लिए है, दूसरा गणित की समस्याओं को हल करने के लिए, और तीसरा मेडिकल रिपोर्ट समझने के लिए।

समस्या तब उत्पन्न होती है जब आपके पास ऐसे 23, 44, या यहाँ तक कि सैकड़ों टूलकिटों का एक पुस्तकालय होता है, और एक उपयोगकर्ता आपसे एक प्रश्न पूछता है बिना यह बताए कि कौन सा टूलकिट उपयोग करना है। आपको तुरंत सही टूलकिट चुनने का एक तरीका चाहिए।

पुराना तरीका: टूलबॉक्स के अंदर झाँकना

पिछले तरीकों ने इसे हल करने के लिए टूल किट्स के अंदर झाँकने की कोशिश की। उन्होंने प्रत्येक एडेप्टर के आंतरिक गियर और स्प्रिंग्स (गणितीय भार/weights) का विश्लेषण किया ताकि यह अनुमान लगाया जा सके कि वह क्या करता है।

दोष: यह वैसा ही है जैसे केवल हैंडल पर धातु के पैटर्न को देखकर यह अनुमान लगाने की कोशिश करना कि स्विस आर्मी नाइफ किस काम आता है। यह केवल तभी काम करता है जब टूलकिट्स को एक बहुत ही विशिष्ट तरीके से बनाया गया हो। यदि आप टूलकिट्स का ब्रांड बदल देते हैं, तो यह तरीका टूट जाता है। साथ ही, यदि आपके पास टूलकिट्स को खोलने की अनुमति नहीं है, तो ऐसा करना कठिन है।

नया तरीका: ARIADNE (एक "मानसिक मानचित्र" दृष्टिकोण)

यह शोध पत्र ARIADNE नामक एक नई प्रणाली पेश करता है, जो टूलकिट्स के अंदर बिल्कुल नहीं देखती है। इसके बजाय, यह प्रश्नों को देखती है।

ARIADNE को एक ऐसे लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में सोचें जिसने पुस्तकालय का एक मानसिक मानचित्र (mental map) तैयार किया है।

मानचित्र बनाना: रोबोट के उपयोगकर्ता से मिलने से पहले, लाइब्रेरियन प्रत्येक विशेषज्ञता (जैसे, "एक कविता लिखें," "2+2 हल करें," "इस चकत्ते का निदान करें") से कुछ नमूना प्रश्न लेता है और उन्हें एक मानचित्र पर अंकित करता है।
क्लस्टर्स (समूह): इस मानचित्र पर, सभी "कविता" वाले प्रश्न स्वाभाविक रूप से एक कोने में एक साथ समूह बना लेते हैं, सभी "गणित" वाले प्रश्न दूसरे कोने में, और सभी "मेडिकल" वाले प्रश्न तीसरे कोने में। इन समूहों को सेंट्रोइड्स (या केंद्र बिंदु) कहा जाता है।
चयन: जब एक नया, बिना लेबल वाला प्रश्न आता है (जैसे, "फ्रांस की राजधानी क्या है?"), तो लाइब्रेरियन बस मानचित्र पर एक पिन गिरा देता है जहाँ वह प्रश्न आता है।
- यदि पिन "सामान्य ज्ञान" क्लस्टर में गिरता है, तो लाइब्रेरियन जनरल नॉलेज टूलकिट उठा लेता है।
- यदि वह "गणित" क्लस्टर में गिरता है, तो वे मैथ टूलकिट उठाते हैं।

यह एक बड़ी बात क्यों है

यह सार्वभौमिक (Universal) है: क्योंकि ARIADNE केवल प्रश्नों को देखता है और टूलकिट्स को नहीं, इसलिए यह किसी भी प्रकार के टूलकिट के साथ काम करता है, चाहे उसे कैसे भी बनाया गया हो। यह एक ऐसे मानचित्र की तरह है जो काम करता है चाहे उपकरण स्विस आर्मी नाइफ हों, चीनी मल्टी-टूल्स हों, या कस्टम-मेड गैजेट्स।
इसमें प्रशिक्षण की आवश्यकता नहीं है: लाइब्रेरियन को इस मानचित्र का उपयोग करने के लिए सीखने के लिए स्कूल जाने की आवश्यकता नहीं है। मानचित्र को नमूना प्रश्नों का उपयोग करके एक बार बनाया जाता है, और फिर यह बस काम करता है।
यह गलतियों के बारे में समझदार है: यदि लाइब्रेरियन गलती करता है और गलत टूलकिट चुन लेता है, तो यह आमतौर पर एक "ग्रेसफुल" (सुचारू) गलती होती है। उदाहरण के लिए, यदि रोबोट को गणित की समस्या हल करने की आवश्यकता है लेकिन उसे "विज्ञान" का टूलकिट मिल जाता है, तो वह अभी भी एक अच्छा उत्तर दे सकता है क्योंकि गणित और विज्ञान मानचित्र पर पड़ोसी हैं। यह पूरी तरह से निरर्थक उत्तर नहीं देगा (जैसे कि गणित के लिए कविता लिखने की कोशिश करना)।

परिणाम

लेखकों ने विभिन्न कार्यों जैसे कि रीडिंग कॉम्प्रिहेन्शन, लॉजिक और लैंग्वेज अंडरस्टैंडिंग को कवर करने वाले 23 अलग-अलग टूलकिट्स वाले एक रोबोट ब्रेन पर इस प्रणाली का परीक्षण किया।

स्कोर: ARIADNE ने 85% बार सही टूलकिट चुना।
प्रदर्शन: भले ही इसने गलत टूलकिट चुना, फिर भी रोबोट ने उस स्थिति की तुलना में 97.4% बेहतर प्रदर्शन किया जब इसने हर बार सटीक टूलकिट चुना होता।
तुलना: इसने पिछले "टूलकिट के अंदर देखने वाले" तरीकों को हराया, विशेष रूप से तब जब टूलकिट्स एक-दूसरे के बहुत समान थे।

संक्षेप में, ARIADNE विशेषज्ञों के आंतरिक रहस्यों को डिकोड करने के बजाय, प्रश्नों के स्वयं के मानचित्र का उपयोग करके सही विशेषज्ञ तक प्रश्नों को पहुँचाने का एक सरल, प्रशिक्षण-मुक्त तरीका है।

तकनीकी सारांश: ARIADNE

समस्या विवरण (Problem Statement)

पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) के प्रसार ने ऐसे मॉडल इकोसिस्टम बना दिए हैं जहाँ एक एकल बैकबोन लैंग्वेज मॉडल को कई कार्य-विशिष्ट एडेप्टर्स (task-specialized adapters) के साथ जोड़ा जाता है। एक महत्वपूर्ण चुनौती तब उत्पन्न होती है जब इनफरेंस (inference) के दौरान कोई इनपुट बिना किसी टास्क लेबल के आता है: तब सिस्टम को बढ़ते हुए, विषम पूल में से सबसे उपयुक्त एडेप्टर का स्वतः चयन करना होता है।

मौजूदा रूटिंग समाधान महत्वपूर्ण सीमाओं का सामना करते हैं:

प्रशिक्ण-निर्भर विधियाँ (Training-Dependent Methods): LoRARetriever जैसे दृष्टिकोणों के लिए लेबल किए गए डेटा और प्रत्येक एडेप्टर के प्रशिक्षण वितरण (training distribution) तक पहुँच का उपयोग करके एक समर्पित रूटिंग घटक के पर्यवेक्षित प्रशिक्षण (supervised training) की आवश्यकता होती है, जो स्केलेबिलिटी और पोर्टेबिलिटी की बाधाएँ उत्पन्न करता है।
स्पेक्ट्रल रूटिंग विधियाँ (Spectral Routing Methods): Arrow और SpectR जैसी तकनीकें सीधे एडेप्टर वेट्स (जैसे, LoRA मैट्रिसेस के माध्यम से सिंगुलर वैल्यू डिकंपोजिशन) से रूटिंग सिग्नल प्राप्त करती हैं। हालाँकि ये ज़ीरो-शॉट हैं, लेकिन ये विधियाँ आर्किटेक्चरल रूप से LoRA फॉर्मूलेशन से जुड़ी हुई हैं, अन्य PEFT विधियों में सामान्यीकृत (generalize) नहीं हो पाती हैं, और जब एडेप्टर्स अर्थ संबंधी रूप से समान (semantically similar) होते हैं, तो अक्सर लगभग रैंडम सटीकता तक गिर जाती हैं।

एक ऐसे रूटिंग फ्रेमवर्क की आवश्यकता है जो प्रशिक्षण-मुक्त (training-free) हो, विशिष्ट PEFT आर्किटेक्चर के प्रति तटस्थ (agnostic) हो, और एडेप्टर के आंतरिक भाग (internals) तक पहुँच की आवश्यकता के बिना नए एडेप्टर्स के जुड़ने के प्रति सुदृढ़ हो।

कार्यप्रणाली (Methodology)

ARIADNE (Agnostic Routing for Inference-time Adapter DyNamic sElection) एडेप्टर रूटिंग को एक इनपुट क्लासिफिकेशन समस्या के रूप में पुनर्गठित करता है। एडेप्टर वेट्स या ग्रेडिएंट्स का विश्लेषण करने के बजाय, यह पूरी तरह से एक फ्रीज़्ड (frozen), ऑफ-द-शेल्फ टेक्स्ट एनकोडर के लेटेंट एम्बेडिंग स्पेस के भीतर कार्य करता है।

मुख्य तंत्र (Core Mechanism)

सेंट्रॉइड निर्माण (Centroid Construction): प्रत्येक कार्य $T_i$ के लिए, सिस्टम एम्बेडिंग स्पेस में $m$ प्रतिनिधि सेंट्रॉइड्स ( $C_i$ ) का एक सेट बनाता है। इन्हें कार्य के प्रशिक्षण सेट से लिए गए नमूनों (samples) के एम्बेडिंग्स को क्लस्टर करके बनाया जाता है। औपचारिक रूप से, नमूनों के एक उपसमूह $S_{i,j}$ के लिए, सेंट्रॉइड $c_{i,j}$ एम्बेडिंग्स का औसत है:
$c_{i,j} = \frac{1}{|S_{i,j}|} \sum_{(x,y) \in S_{i,j}} e(x)$
जहाँ $e(\cdot)$ फ्रीज़्ड ऑक्जिलरी एनकोडर है। यह मल्टी-सेंट्रॉइड दृष्टिकोण एक एकल ग्लोबल प्रोटोटाइप की तुलना में इंट्रा-टास्क परिवर्तनशीलता (intra-task variability) को बेहतर ढंग से कैप्चर करता है।
इनफरेंस-टाइम चयन (Inference-Time Selection): एक बिना लेबल वाले इनपुट $x$ के लिए, सिस्टम उसी फ्रीज़्ड एनकोडर का उपयोग करके उसे एम्बेड करता है। रूटिंग फंक्शन उस एडेप्टर $\phi_{i^*}$ को चुनता है जो उस कार्य से जुड़ा है जिसका सेंट्रॉइड सेट इनपुट एम्बेडिंग के लिए उच्चतम अधिकतम कोसाइन समानता (maximum cosine similarity) प्रदान करता है:
$i^* = \arg \max_{i} \left( \max_{c \in C_i} \cos(e(x), c) \right)$

प्रमुख डिज़ाइन गुण (Key Design Properties)

तटस्थता (Agnosticism): क्योंकि रूटिंग केवल इनपुट एम्बेडिंग्स पर निर्भर करती है, ARIADNE किसी भी PEFT आर्किटेक्चर (जैसे, LoRA, VeRA, DoRA) के अनुकूल है और इसके लिए एडेप्टर्स या बेस मॉडल में संशोधन की आवश्यकता नहीं है।
ज़ीरो-शॉट और प्रशिक्षण-मुक्त (Zero-Shot & Training-Free): एक बार सेंट्रॉइड्स की गणना हो जाने के बाद, किसी अतिरिक्त राउटर प्रशिक्षण की आवश्यकता नहीं होती है।
डिकपलिंग (Decoupling): यह तंत्र एडेप्टर के आंतरिक भाग से स्वतंत्र है, जिससे वेट मैट्रिसेस तक व्हाइट-बॉक्स एक्सेस की आवश्यकता नहीं रहती।

मुख्य योगदान (Key Contributions)

रूटिंग का पुनर्गठन: लेखक एडेप्टर रूटिंग को इनपुट क्लासिफिकेशन समस्या के रूप में प्रस्तुत करने का प्रस्ताव देते हैं, जो एडेप्टर वेट्स पर निर्भर रहने के बजाय एक फ्रीज़्ड टेक्स्ट एनकोडर के लेटेंट ज्योमेट्री का उपयोग करता है।
आर्किटेक्चर तटस्थता: विशेष रूप से इनपुट एम्बेडिंग स्पेस में कार्य करने के कारण, ARIADNE स्वाभाविक रूप से किसी भी PEFT आर्किटेक्चर के अनुकूल है, जो इसे LoRA से जुड़ी स्पेक्ट्रल विधियों से अलग बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): पेपर यह प्रदर्शित करता है कि इनपुट ज्योमेट्री अकेले एडेप्टर चयन के लिए एक मजबूत सिग्नल प्रदान करती है, जो स्पेक्ट्रल रूटिंग विधियों से बेहतर प्रदर्शन करती है और एडेप्टर लाइब्रेरी बढ़ने के साथ मजबूती से स्केल करती है।
विफलता मोड विश्लेषण (Failure Mode Analysis): अध्ययन से पता चलता है कि रूटिंग त्रुटियां अर्थ संबंधी रूप से संबंधित टास्क क्लस्टर्स के भीतर केंद्रित हैं। यह "ग्रेसफुल डिग्रेडेशन" (graceful degradation) की ओर ले जाता है, न कि विनाशकारी विफलता की ओर, क्योंकि गलत रूट किए गए इनपुट अक्सर समान कार्यों के एडेप्टर्स चुनते हैं।

परिणाम (Results)

इस फ्रेमवर्क का मूल्यांकन विविध NLP कार्यों पर Llama 3.2 1B Instruct और Qwen2.5 3B Instruct बैकबोन पर किया गया।

ऑरेकल के विरुद्ध प्रदर्शन (Performance vs. Oracle): 23 कार्यों के एक सेट पर, ARIADNE ने औसत टास्क परफॉर्मेंस (TP) 54.74% प्राप्त की, जो ऑरेकल परफॉर्मेंस (सैद्धांतिक ऊपरी सीमा जहाँ सही एडेप्टर हमेशा चुना जाता है) का 97.44% हिस्सा रिकवर करती है।
स्पेक्ट्रल विधियों के साथ तुलना: एक साझा 5-टास्क बेंचमार्क (HellaSwag, MNLI, MRPC, QQP, SST-2) पर, ARIADNE ने लगातार Arrow और SpectR दोनों को पछाड़ दिया। विशेष रूप से, स्पेक्ट्रल विधियाँ उच्च अर्थ संबंधी समानता वाले कार्यों (जैसे, MRPC और QQP) पर लगभग रैंडम सटीकता तक गिर गईं, जबकि ARIADNE ने उच्च सटीकता बनाए रखी।
स्केलेबिलिटी (Scalability): 44 कार्यों के एक विस्तारित अध्ययन में, सिस्टम ने औसत एडेप्टर सिलेक्शन एक्यूरेसी (SA) 89.7% प्राप्त की। लाइब्रेरी बढ़ने के साथ प्रदर्शन कम होने के बजाय स्थिर रहा, जिसमें त्रुटियां अर्थ संबंधी क्लस्टर्स के भीतर ही रहीं।
ग्रेसफुल डिग्रेडेशन (Graceful Degradation): गंभीर रूटिंग विफलता के मामलों में (जैसे, SQuAD V1 को SQuAD V2 में रूट किया जाना), सिस्टम ने 85% ऑरेकल परफॉर्मेंस रिकवर की क्योंकि कार्य अर्थ संबंधी रूप से करीब थे, जो इस दावे की पुष्टि करता है कि त्रुटियां विनाशकारी के बजाय ग्रेसफुल डिग्रेडेशन का परिणाम हैं।

महत्व (Significance)

यह पेपर ARIADNE को मॉड्यूलर LLM इकोसिस्टम में डायनेमिक एडेप्टर चयन के लिए एक व्यावहारिक समाधान के रूप में स्थापित करता है। इसका महत्व एक सार्वभौमिक, प्रशिक्षण-मुक्त रूटिंग तंत्र प्रदान करने की इसकी क्षमता में निहित है जो मॉडल के आंतरिक भाग तक विशेषाधिकार प्राप्त पहुँच की आवश्यकता के बिना, एडेप्टर लाइब्रेरी की बढ़ती जटिलता के साथ स्केल करता है। यह प्रदर्शित करके कि इनपुट-स्पेस ज्योमेट्री एडेप्टर चयन के लिए एक पर्याप्त और सुदृढ़ सिग्नल है, यह कार्य वेट-डिकंपोजिशन-आधारित विधियों की आवश्यकता को चुनौती देता है और अधिक पोर्टेबल और इंटरऑपरेबल PEFT इकोसिस्टम की दिशा में एक मार्ग प्रदान करता है।

लेखक एक प्राथमिक सीमा को स्वीकार करते हैं: विधि को सेंट्रॉइड्स की गणना करने के लिए प्रशिक्षण डेटा तक पहुँच की आवश्यकता होती है, जिससे यह विकेंद्रीकृत इकोसिस्टम के लिए कम प्रत्यक्ष रूप से लागू होता है जहाँ प्रशिक्षण डेटा निजी होता है। वे सुझाव देते हैं कि भविष्य के कार्य पूरी तरह से डेटा-मुक्त दृष्टिकोण प्राप्त करने के लिए एडेप्टर्स से सीधे कार्य-वर्णनात्मक सिग्नल प्राप्त करने की खोज कर सकते हैं।