🤖 machine learning

Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models

यह शोध पत्र 'मिक्सचर-ऑफ-कंट्रोल' (MoC) को प्रस्तुत करता है, जो एक हल्का फाइन-ट्यूनिंग फ्रेमवर्क है जो ब्लॉक-वाइज कंट्रोल स्टेट्स को एक स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स प्रक्रिया में विशेषज्ञों के रूप में मानकर ट्रांसफॉर्मर्स के लिए स्टेट-आधारित अनुकूलन को बढ़ाता है, जिससे मेमोरी या कम्प्यूटेशनल दक्षता से समझौता किए बिना कुशल क्रॉस-ब्लॉक संचार और श्रेष्ठ रिप्रेजेंटेशन लर्निंग सक्षम होती है।

मूल लेखक: Duc Anh Nguyen, Tien Ngoc Luu, Tung Pham, Toan Tran

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Duc Anh Nguyen, Tien Ngoc Luu, Tung Pham, Toan Tran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके दिया गया स्पष्टीकरण है।

बड़ी तस्वीर: एक विशाल ऑर्केस्ट्रा को ट्यून करना

कल्पना कीजिए कि आपके पास एक विशाल, विश्व-स्तरीय ऑर्केस्ट्रा (एक Transformer मॉडल) है जो सुंदर संगीत बजाता है। आप इस ऑर्केस्ट्रा को एक विशिष्ट नया गाना (एक downstream task) बजाना सिखाना चाहते हैं।

पुराना तरीका (Full Fine-Tuning): आप हर एक संगीतकार से उनकी पूरी शीट संगीत (sheet music) को शुरू से फिर से लिखने के लिए कहते हैं। यह महंगा है, इसमें बहुत समय लगता है, और नए नोट्स को स्टोर करने के लिए बहुत सारे कागज (मेमोरी) की आवश्यकता होती है।
"LoRA" वाला तरीका (Parameter-Efficient): पूरी शीट को फिर से लिखने के बजाय, आप प्रत्येक संगीतकार को कुछ अतिरिक्त निर्देशों के साथ एक छोटा, स्टिकी नोट (sticky note) देते हैं। यह कागज बचाता है, लेकिन प्रत्येक संगीतकार केवल अपने स्वयं के स्टिकी नोट को देखता है। वे एक-दूसरे से बात नहीं करते हैं। यदि वायलिन वादक को यह जानने की आवश्यकता है कि ट्रम्पेट क्या कर रहा है, तो वह आसानी से पता नहीं लगा सकता।
"MoLEx" वाला तरीका (Cross-Block Communication): संचार की कमी को ठीक करने के लिए, आप संगीतकारों को एक-दूसरे के स्टिकी नोट्स झाँकने की अनुमति देते हैं। लेकिन ऐसा करने के लिए, आपको संगीत रोकना पड़ता है, हर दूसरे संगीतकार के पास जाना पड़ता है, उनके नोट्स पढ़ने होते हैं, और फिर वापस आना होता है। यह एक बड़ा ट्रैफिक जाम (computational overhead) पैदा करता है और सब कुछ धीमा कर देता है।

समस्या: "मौन" बनाम "ट्रैफिक जाम"

लेखकों ने एक दुविधा देखी:

मौन संगीतकार (Silent Musicians): अधिकांश कुशल तरीके (जैसे LoRA) संगीतकारों को अलग-थलग रखते हैं। वे तेज़ और सस्ते हैं, लेकिन वे बड़े चित्र (big picture) को नहीं देख पाते क्योंकि वे पूरे ऑर्केस्ट्रा में जानकारी साझा नहीं कर सकते।
ट्रैफिक जाम (Traffic Jams): वे तरीके जो साझा करने की अनुमति देते हैं (जैसे MoLEx), बहुत भारी हैं। उन्हें इतनी अधिक बातचीत और चलने-फिरने की आवश्यकता होती है कि वे बहुत बड़े ऑर्केस्ट्रा के लिए अव्यवहारिक हो जाते हैं।

वहाँ एक तीसरा दृष्टिकोण भी था जिसे State-Based Fine-Tuning (या Parallel Control) कहा जाता है। इसे संगीतकार को स्टिकी नोट देने के बजाय एक "कंट्रोल नॉब" (control knob) देने के रूप में सोचें। यह बहुत मेमोरी-कुशल है क्योंकि यह मध्यवर्ती नोट्स को स्टोर नहीं करता है। हालाँकि, यहाँ भी यह विधि आमतौर पर प्रत्येक संगीतकार के नॉब्स को अलग रखती थी, जिससे पूरे ऑर्केस्ट्रा के समन्वय का अवसर खो जाता था।

अनुसंधान प्रश्न: क्या हम एक ऐसी प्रणाली डिज़ाइन कर सकते हैं जहाँ संगीतकार जानकारी साझा कर सकें और वैश्विक स्तर पर समन्वय कर सकें, बिना संगीत को धीमा किए या सारा कागज खर्च किए?

समाधान: Mixture-of-Control (MoC)

लेखक Mixture-of-Control (MoC) का प्रस्ताव करते हैं। हमारे ऑर्केस्ट्रा की उपमा का उपयोग करते हुए यह कैसे काम करता है, यहाँ बताया गया है:

1. "एक्सपर्ट" सिस्टम

कल्पना कीजिए कि प्रत्येक संगीतकार के पास केवल अपना स्टिकी नोट होने के बजाय, एक केंद्रीय "एक्सपर्ट पैनल" है जिसमें 50 अलग-अलग कंडक्टर (ये Control Experts हैं) हैं। प्रत्येक कंडक्टर की एक अनूठी शैली या विशेषता है।

2. स्मार्ट गेटकीपर

गाने के हर चरण में, एक गेटकीपर (एक साझा राउटर) चल रहे संगीत को देखता है। केवल स्थानीय संगीतकार को अपना नोट बजाने देने के बजाय, गेटकीपर पूछता है: "इस विशिष्ट क्षण के लिए मदद करने के लिए सबसे अच्छा विशेषज्ञ कौन है?"

गेटकीपर पूरे 50 विशेषज्ञों के पैनल में से Top-K (आमतौर पर केवल 1 या 2) सर्वश्रेष्ठ विशेषज्ञों को चुनता है।

3. मिश्रण (The Mix)

इसके बाद संगीतकार इनका मिश्रण बजाता है:

उनका अपना स्थानीय निर्देश (जो वे सबसे अच्छी तरह जानते हैं)।
चुने गए विशेषज्ञ की सलाह (पूरे ऑर्केस्ट्रा से प्राप्त वैश्विक ज्ञान)।

यह तुरंत होता है। गेटकीपर को दूसरे संगीतकारों के पास जाकर उनके नोट्स पढ़ने की आवश्यकता नहीं होती; वह बस वर्तमान संगीतकार को एक छोटा संकेत (low-rank control) भेज देता है।

यह क्यों एक गेम चेंजर है

कोई ट्रैफिक जाम नहीं: पुराने "MoLEx" तरीके के विपरीत, MoC को जानकारी प्राप्त करने के लिए गाने के हिस्सों को दोबारा बजाने की आवश्यकता नहीं होती है। यह हल्के संकेतों का उपयोग करता है, इसलिए ऑर्केस्ट्रा पूरी गति से चलता रहता है।
वैश्विक समन्वय (Global Coordination): भले ही संगीतकार अलग-अलग खंडों (layers) में हों, गेटकीपर पहली पंक्ति के वायलिन वादक को अंतिम पंक्ति के ट्रम्पेट विशेषज्ञ से सलाह लेने की अनुमति देता है। यह एक बहुत समृद्ध, अधिक समन्वित ध्वनि बनाता है।
मेमोरी की बचत: क्योंकि यह पूरे शीट संगीत को फिर से लिखने के बजाय "कंट्रोल नॉब्स" (states) का उपयोग करता है, यह अविश्वसनीय रूप से मेमोरी-कुशल बना रहता है, ठीक वैसे ही जैसे सबसे अच्छे मौजूदा तरीके।

परिणाम: एक बेहतर प्रदर्शन

लेखकों ने विभिन्न "ऑर्केस्ट्रा" (LLaMA, Mistral और Qwen जैसे AI मॉडल) और विभिन्न प्रकार के संगीत (प्रश्नों के उत्तर देना, कहानियाँ लिखना और भाषा समझना जैसे कार्य) पर इसका परीक्षण किया।

बेहतर सटीकता: MoC ऑर्केस्ट्रा ने अलग-थलग संगीतकारों (LoRA) की तुलना में अधिक सटीक रूप से नए गाने बजाए और भारी, ट्रैफिक-जाम-प्रवण तरीकों (MoLEx) से भी बेहतर प्रदर्शन किया।
वही गति: यह लगभग उतना ही तेज़ और मेमोरी-कुशल था जितना कि हल्के तरीके, जिससे भारी तरीकों की धीमी गति से बचा जा सका।
स्थिरता: पेपर में गणित दिखाता है कि यह मिश्रण प्रक्रिया संगीत को स्थिर रखती है और यह सुनिश्चित करती है कि जैसे-जैसे गाना लंबा होता जाए, ऑर्केस्ट्रा "भ्रमित" या अराजक न हो जाए।

सारांश में

Mixture-of-Control (MoC) AI मॉडल को नए कार्य सिखाने का एक चतुर तरीका है। यह मॉडल के विभिन्न हिस्सों के लिए "निर्देशों" को विशेषज्ञों के एक पूल की तरह मानता है। एक स्मार्ट गेटकीपर किसी भी दिए गए क्षण में काम के लिए सबसे अच्छे विशेषज्ञ को चुनता है और उस सलाह को स्थानीय निर्देशों के साथ मिला देता है। यह AI को पूरे गहराई (depth) में समन्वय करने और "बड़ी तस्वीर" को समझने की अनुमति देता है, बिना अपनी गति कम किए या अपनी मेमोरी खत्म किए। यह दोनों दुनियाओं का सबसे अच्छा संगम है: एक हल्के अपडेट की गति और एक पूरी तरह से जुड़े हुए दल की बुद्धिमत्ता।

तकनीकी सारांश: मिक्सचर-ऑफ-कंट्रोल (MoC)

समस्या विवरण

बड़े प्रीट्रेन्ड ट्रांसफॉर्मर मॉडलों को फाइन-ट्यून करना कम्प्यूटेशनल रूप से महंगा है, जिससे लोरा (LoRA) जैसे पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तरीकों को अपनाना आवश्यक हो गया है। जबकि मौजूदा PEFT दृष्टिकोण प्रशिक्षण योग्य मापदंडों (parameters) को कम करते हैं, वे अक्सर दो महत्वपूर्ण सीमाओं से ग्रस्त होते हैं:

सीमित क्रॉस-लेयर कम्युनिकेशन: अधिकांश अत्याधुनिक तरीके (जैसे LoRA, DoRA, VeRA) व्यक्तिगत ब्लॉक्स के भीतर स्थानीय रूप से कार्य करते हैं, जो नेटवर्क की गहराई में सूचना के आदान-प्रदान को सीमित करते हैं और स्ट्रक्चर्ड रिप्रेजेंटेशन अनुकूलन को बाधित करते हैं।
क्रॉस-ब्लॉक तंत्र का उच्च ओवरहेड: क्रॉस-ब्लॉक कम्युनिकेशन को सक्षम करने के पिछले प्रयास, जैसे कि स्पार्स मिक्सचर-ऑफ-लेयर-एक्सपर्ट्स (MoLEx), अक्सर प्रीट्रेन्ड ब्लॉक्स के माध्यम से अतिरिक्त फॉरवर्ड पास की आवश्यकता रखते हैं। यह पर्याप्त कम्प्यूटेशनल और मेमोरी ओवरहेड पेश करता है, जिससे गहरे आर्किटेक्चर के लिए स्केलेबिलिटी कम हो जाती है।
मेमोरी दक्षता अंतराल: जबकि कुछ स्टेट-आधारित तरीके (जैसे पैरेलल कंट्रोल) मध्यवर्ती स्टेट स्टोरेज से बचकर मेमोरी को कम करते हैं, वे प्रत्येक लेयर के प्रति स्थानीय बने रहते हैं और उनमें ग्लोबल कोऑर्डिनेशन का अभाव होता है।

मुख्य शोध प्रश्न जिसका समाधान किया गया है वह है: स्टेट-आधारित फाइन-ट्यूनिंग को स्टेट-आधारित ट्यूनिंग के मूल लाभ—मेमोरी दक्षता—से समझौता किए बिना, गहरे क्रॉस-लेयर इंटरैक्शन को कैप्चर करने के लिए कैसे डिज़ाइन किया जा सकता है?

कार्यप्रणाली: मिक्सचर-ऑफ-कंट्रोल (MoC)

लेखक मिक्सचर-ऑफ-कंट्रोल (MoC) का प्रस्ताव करते हैं, जो एक हल्का, स्टेट-आधारित फाइन-ट्यूनिंग फ्रेमवर्क है जो स्थानीय और वैश्विक नियंत्रण संकेतों (control signals) को अनुकूल रूप से एकीकृत करता है। MoC प्रत्येक ट्रांसफॉर्मर ब्लॉक के लो-रैंक कंट्रोल मॉड्यूल्स को स्पार्स मिक्सचर-ऑफ़-एक्सपर्ट्स (SMoE) प्रतिमान के भीतर "एक्सपर्ट्स" के रूप में मानता है।

मुख्य तंत्र

MoC स्टेट-आधारित अपडेट नियम को अन्य लेयर्स से प्राप्त वैश्विक नियंत्रण संकेत को शामिल करने के लिए सामान्यीकृत करता है:
$x_{t+1} = x_t + f_t(W_t x_t) + \alpha g_t(x_t) + (1 - \alpha) \sum_{k=1}^{L} \pi_k(x_t) g_k(x_t)$

जहाँ:

$x_t$ ब्लॉक $t$ का आउटपुट रिप्रेजेंटेशन है।
$f_t(W_t x_t)$ फ्रोजन प्रीट्रेन्ड ब्लॉक डायनेमिक्स है।
$g_t(x_t)$ स्थानीय (local) लो-रैंक कंट्रोल सिग्नल है (जो मानक LoRA के समान है)।
$\sum \pi_k(x_t) g_k(x_t)$ वैश्विक (global) कंट्रोल सिग्नल है, जो नेटवर्क डेप्थ में से टॉप- $K$ सेट के कंट्रोल एक्सपर्ट्स तक रूटिंग द्वारा निर्मित होता है।
$\alpha \in [0, 1]$ स्थानीय टोकन-विशिष्ट जानकारी और वैश्विक जानकारी के बीच संतुलन बनाता है।
$\pi_k(x_t)$ एक साझा गेटिंग मैट्रिक्स $W_{gate}$ के माध्यम से टॉप- $K$ स्कोर पर सॉफ्टमैक्स का उपयोग करके कंप्यूट किए गए रूटिंग वेट्स हैं।

प्रमुख डिज़ाइन विकल्प

लाइटवेट रूटिंग: MoLEx के विपरीत, जो रूटिंग के लिए पूर्ण प्रीट्रेन्ड ब्लॉक्स का पुन: उपयोग करता है, MoC हल्के लो-रैंक कंट्रोल स्टेट्स ( $g_k$ ) के माध्यम से रूट करता है। यह अतिरिक्त फॉरवर्ड पास के माध्यम से फ्रोजन बैकबोन के माध्यम से जाने से बचता है, जिससे कम कम्प्यूटेशनल ओवरहेड बना रहता है।
साझा गेटिंग (Shared Gating): फ्रेमवर्क एक्सपर्ट्स को चुनने के लिए लेयर्स के बीच एक साझा गेटिंग मैट्रिक्स का उपयोग करता है। वेरिएंट्स में अटेंशन ब्लॉक्स, FFN ब्लॉक्स, या दोनों (साझा या अलग गेट्स के साथ) में रूटिंग शामिल है।
बैच-लेवल रूटिंग: प्रशिक्षण दक्षता में सुधार के लिए, MoC बैच के लिए यूनिफाइड रूटिंग निर्णय लेने के लिए टोकन-लेवल रूटिंग स्कोर (मीन या मोड के माध्यम से) को एकत्रित करता है, न कि प्रत्येक टोकन को स्वतंत्र रूप से रूट करता है।
लोड बैलेंसिंग: रूटिंग कोलैप्स को रोकने के लिए एक सहायक लॉस (auxiliary loss) शामिल किया गया है, जो कंट्रोल एक्सपर्ट्स के संतुलित उपयोग को सुनिश्चित करता है।

सैद्धांतिक विश्लेषण

पेपर MoC की स्थिरता और एक्सप्रेसिविटी के संबंध में सैद्धांतिक गारंटी प्रदान करता है:

एक्सप्रेसिविटी (Expressivity): थ्योरम 4.1 प्रदर्शित करता है कि सामान्यीकृत स्टेट-आधारित अपडेट MoLEx की रिप्रेजेंटेशनल पावर को सुरक्षित रख सकते हैं। लीनियर डायनेमिक्स के लिए, समानता सटीक है; स्मूथ नॉनलीनियर डायनेमिक्स के लिए छोटे परटर्बेशन्स के साथ, रिप्रेजेंटेशन एरर बाउंडेड है और परटर्बेशन्स के शून्य के करीब पहुँचने पर समाप्त हो जाता है।
स्थिरता (Stability): प्रोपोज़िशन 4.2 दिखाता है कि प्रभावी टॉप- $K$ रूटिंग, स्टैंडर्ड पैरेलल कंट्रोल की तुलना में हिडन स्टेट्स के फॉरवर्ड ग्रोथ फैक्टर पर अधिक टाइट बाउंड प्रदान करती है, बशर्ते कि राउटर औसतन छोटे ऑपरेटर नॉर्म्स वाले एक्सपर्ट्स का चयन करे।
ग्रेडिएंट फ्लो (Gradient Flow): कोरोलरी 4.3 स्थापित करता है कि टाइट फॉरवर्ड बाउंड, जैकोबियन नॉर्म्स पर टाइट अपर बाउंड की ओर ले जाता है, जो गहरे नेटवर्क के माध्यम से अधिक स्थिर ग्रेडिएंट प्रोपेगेशन का संकेत देता है।
रिप्रेजेंटेशन एरर: प्रोपोज़िशन 4.4 सिद्ध करता है कि MoC का रिप्रेजेंटेशन एरर लोकल और रूटेड कंट्रोल एरर्स के कॉनवेक्स कॉम्बिनेशन द्वारा बाउंडेड है, और प्रभावी रूटिंग के तहत, MoC केवल लोकल कंट्रोल की तुलना में कम एरर बाउंड प्राप्त करता है।

प्रयोगात्मक परिणाम

प्रयोग आठ प्रीट्रेन्ड ट्रांसफॉर्मर बैकबोन (LLaMA2-7B, LLaMA3-8B, Mistral-7B, Qwen2.5-14B, RoBERTa, DeBERTa) पर नेचुरल लैंग्वेज अंडरस्टैंडिंग (GLUE) और नेचुरल लैंग्वेज जनरेशन/कॉमन सेंस रीजनिंग (8 डेटासेट्स) बेंचमार्क पर किए गए।

प्रदर्शन (Performance): MoC लगातार मजबूत बेसलाइन्स (LoRA, DoRA, MoLEx, Parallel Control) को पछाड़ता है।
- NLG कार्यों पर, MoC ने LoRA पर औसत सटीकता में 2.4%–6.0% और सबसे मजबूत बेसलाइन पर 1.0%–3.0% का सुधार किया।
- NLU कार्यों (GLUE) पर, MoC ने LoRA पर औसत 1.5%–2.0% का लाभ प्राप्त किया और सबसे मजबूत प्रतिस्पर्धी बेसलाइन को 1.2% से पीछे छोड़ दिया।
दक्षता (Efficiency):
- प्रशिक्षण (Training): MoC पैरेलल कंट्रोल जैसे स्टेट-आधारित तरीकों के समान मेमोरी और कम्प्यूटेशनल दक्षता बनाए रखता है, जो ट्रेनिंग टाइम और GPU मेमोरी उपयोग में MoLEx से काफी बेहतर प्रदर्शन करता है (उदाहरण के लिए, Qwen2.5-14B पर MoLEx को >2x समय/मेमोरी की आवश्यकता थी)।
- इन्फरेंस (Inference): MoC, MoLEx की तुलना में बेहतर इन्फरेंस थ्रूपुट प्रदर्शित करता है, जो पूरी तरह से मर्ज किए गए वेट-आधारित फाइन-ट्यूनिंग के अंतर को कम करता है।
एब्लेशन (Ablations):
- Top-K: प्रदर्शन Top-K=1 (एक रूटेड एक्सपर्ट) या Top-K=2 के साथ चरम पर होता है, जो एक मजबूत सटीकता-दक्षता ट्रेड-ऑफ प्रदान करता है।
- मिक्सिंग कोएफिशिएंट ( $\alpha$ ): इष्टतम प्रदर्शन $\alpha = 0.95$ पर देखा गया है, जो स्थानीय नियंत्रण के साथ एक छोटे लेकिन महत्वपूर्ण वैश्विक सिग्नल के इंजेक्शन पर मजबूत निर्भरता को दर्शाता है।
- आर्किटेक्चर: साझा गेट के साथ अटेंशन और FFN दोनों ब्लॉक्स में रूटिंग करने से सर्वोत्तम परिणाम मिले।

महत्व और दावे

पेपर दावा करता है कि MoC सफलतापूर्वक PEFT में क्रॉस-लेयर कम्युनिकेशन और दक्षता के बीच के ट्रेड-ऑफ को संबोधित करता है। ब्लॉक-वाइज कंट्रोल स्टेट्स को एक्सपर्ट्स के रूप में उपयोग करके और स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स तंत्र का उपयोग करके, MoC भारी कम्प्यूटेशनल लागत के बिना डेप्थ-एडाप्टिव इंफॉर्मेशन एक्सचेंज को सक्षम करता है।

लेखक MoC को गहरे ट्रांसफॉर्मर आर्किटेक्चर को अनुकूलित करने के लिए एक स्केलेबल विकल्प के रूप में प्रस्तुत करते हैं, यह रेखांकित करते हुए कि कंट्रोल-ड्रिवन क्रॉस-ब्लॉक कम्युनिकेशन भविष्य के अनुसंधान के लिए एक आशाजनक दिशा है। यह कार्य सुझाव देता है कि कुशल फाइन-ट्यूनिंग के लिए वैश्विक समन्वय (global coordination) का त्याग करने की आवश्यकता नहीं है; बल्कि, इसे हल्के, स्टेट-अवेयर रूटिंग तंत्र के माध्यम से प्राप्त किया जा सकता है जो स्टेट-आधारित ट्यूनिंग के मेमोरी दक्षता लाभों को संरक्षित करते हुए रिप्रेजेंटेशनल क्षमता को बढ़ाता है।