🤖 machine learning

Affinity Is Not Enough: Recovering the Free Energy Principle in Mixture-of-Experts

यह शोध पत्र प्रस्तावित करता है कि मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल्स में मानक एफिनिटी-आधारित रूटिंग डोमेन ट्रांज़िशन के समय विफल हो जाती है, और यह प्रदर्शित करता है कि फ्री एनर्जी प्रिंसिपल से प्रेरित तंत्रों—विशेष रूप से टेम्पोरल मेमोरी, प्रिसिजन-वेटेड गेटिंग, और एन्टिसिपेटरी रूटिंग—को एकीकृत करने से विशेषज्ञ चयन की सटीकता और भविष्य कहनेवाला प्रदर्शन नाटकीय रूप से सुधर सकता है, क्योंकि यह मॉडल को वितरण संबंधी बदलावों (डिस्ट्रीब्यूशनल शिफ्ट्स) के होने से पहले ही उन्हें पहचानने और उनके लिए तैयार होने में सक्षम बनाता है।

मूल लेखक: Man Yung Wong (Russell)

प्रकाशित 2026-05-04

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Man Yung Wong (Russell)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप चार विशेषज्ञ गाइडों ( "विशेषज्ञों") की एक टीम के साथ एक विशाल, बदलते हुए परिदृश्य में यात्रा कर रहे हैं। आपका काम हर कदम के लिए सही गाइड चुनना है।

वर्तमान AI सिस्टम में (जिसे Mixture-of-Experts या MoE कहा जाता है), गाइड चुनने वाला व्यक्ति एक ऐसे पर्यटक की तरह है जिसके पास न तो कोई नक्शा है, न दिशा-सूचक यंत्र (compass) और न ही कोई याददाश्त। वे केवल वर्तमान में अपने पैरों के नीचे की जमीन को देखते हैं ताकि यह तय किया जा सके कि किसे काम पर रखना है।

यह लेख तर्क देता है कि यह एक घातक दोष है। यदि आप एक जंगल में चल रहे हैं और अचानक ज़मीन रेगिस्तान में बदलने वाली है, तो एक ऐसा गाइड जो केवल वर्तमान पेड़ को देखता है, वह "जंगल के गाइड" को ही चुनता रहेगा। उन्हें तब तक पता नहीं चलेगा कि बदलाव आने वाला है जब तक कि बहुत देर न हो जाए।

रसेल वोंग (Russell Wong) सुझाव देते हैं कि हमें इस "हायरिंग मैनेजर" को अपग्रेड करने की आवश्यकता है, जो मस्तिष्क के काम करने के तरीके (विशेष रूप से, Free Energy Principle) से प्रेरित तीन सरल तरकीबों का उपयोग करता है। यह लेख इन अपग्रेड्स को रोजमर्रा के उपमाओं (analogies) का उपयोग करके कैसे समझाता है, यहाँ दिया गया है:

1. समस्या: "भुलक्कड़ पर्यटक" (The Amnesiac Tourist)

वर्तमान AI रूटिंग स्टेटलेस (stateless) है। यह पिछले 100 कदमों में जो कुछ भी हुआ उसे भूल जाता है।

परिणाम: जब AI "बिल्लियों" के बारे में बात करने से "कारों" के बारे में बात करने पर स्विच करता है, तो यह अक्सर विशेषज्ञों को तुरंत बदलने में विफल रहता है। पेपर के प्रयोगों में, स्विच के ठीक उसी क्षण, AI ने सही विशेषज्ञ को 0.6% संभावना दी। यह लगभग पूरी तरह से गलत था।
उपमा: यह एक ऐसे शेफ की तरह है जो केवल अपने मुँह में मौजूद चम्मच भर सूप का स्वाद लेता है, इस बात को नजरअंदाज करते हुए कि उसने अभी-अभी पूरे बाल्टी भर नमक डाला है। वह यह अनुमान नहीं लगा सकता कि सूप बहुत नमकीन होने वाला है जब तक कि वह पहले ही बर्बाद न हो जाए।

2. समाधान: हायरिंग मैनेजर के लिए तीन नए उपकरण

पेपर इन सुधारों को करने के लिए तीन हल्के बदलावों का प्रस्ताव देता है।

A. टेम्पोरल मेमोरी (The "Backpack" - बैग)

क्या है: केवल वर्तमान कदम को देखने के बजाय, सिस्टम एक "बैकपैक" (जिसे membrane potential कहा जाता है) लेकर चलता है जो पिछले कुछ कदमों की एक भारित स्मृति (weighted memory) रखता है।
उपमा: कल्पना कीजिए कि हायरिंग मैनेजर अब एक बैकपैक लेकर चलता है। यदि वे 30 मिनट से जंगल में चल रहे हैं, तो बैकपैक "जंगल की धूल" से भारी हो जाता है। भले ही उनके पैर के नीचे की जमीन जंगल जैसी दिख रही हो, भारी बैकपैक उन्हें बताता है, "हम यहाँ लंबे समय से हैं; हम जल्द ही यहाँ से जाने वाले हैं।"
परिणाम: AI सही गति से जानकारी को "भूलना" सीख जाता है। यदि परिदृश्य तेजी से बदलता है, तो बैकपैक जल्दी खाली हो जाता है। यदि परिदृश्य स्थिर है, तो यह इसे लंबे समय तक थामे रखता है। अकेले इसने स्विच पकड़ने की AI की क्षमता को 0.6% से बढ़ाकर 30% कर दिया।

B. प्रिसिजन-वेटेड गेटिंग (The "Trust Score" - विश्वास स्कोर)

क्या है: सिस्टम ट्रैक करता है कि हाल ही में प्रत्येक विशेषज्ञ कितना विश्वसनीय रहा है। यदि कोई विशेषज्ञ बार-बार गलतियाँ करता है, तो सिस्टम उनके "ट्रस्ट स्कोर" (प्रिसिजन) को कम कर देता है और उन्हें सुनने से रुक जाता है, भले ही वे वर्तमान शब्द के लिए एक अच्छा फिट लग रहे हों।
उपमा: कल्पना कीजिए कि आपके पास चार गाइड हैं। गाइड A जंगलों में महान है लेकिन रेगिस्तानों में बहुत खराब है। गाइड B इसके विपरीत है। वर्तमान सिस्टम गाइड A को इसलिए चुनता है क्योंकि वह एक जंगल में खड़ा है। नया सिस्टम कहता है, "रुको, गाइड A ने 5 मिनट पहले एक बड़ी गलती की थी जब हम रेगिस्तान के पास थे। मैं उनका ट्रस्ट स्कोर कम कर रहा हूँ। मैं उन्हें तभी चुनूँगा जब वे 100% सुनिश्चित हों।"
परिणाम: यह AI को तब अनुकूलित करने में मदद करता है जब विशेषज्ञ अविश्वसनीय हो जाते हैं। यह एक विश्वसनीय विशेषज्ञ बनाम एक अविश्वसनीय विशेषज्ञ पर सिस्टम के भरोसे में 31 गुना अंतर पैदा करता है।

C. एन्टिसिपेटरी रूटिंग (The "Crystal Ball" - क्रिस्टल बॉल/भविष्यवाणी)

क्या है: सिस्टम यह अनुमान लगाने की कोशिश करता है कि अगला कदम कैसा दिखेगा और उस अगले कदम के लिए विशेषज्ञ को चुनता है, न कि वर्तमान कदम के लिए।
उपमा: एक सामान्य पर्यटक उस पथ के लिए गाइड चुनता है जिस पर वह अभी है। एक एन्टिसिपेटरी पर्यटक आगे के रास्ते को देखता है और अगले मोड़ के लिए गाइड चुनता है।
सावधानी: पेपर ने पाया कि एक "क्रिस्टल बॉल" तब काम नहीं करती जब पर्यटक के पास कोई याददाश्त न हो। यदि आप अतीत को याद किए बिना भविष्य की भविष्यवाणी करने की कोशिश करते हैं, तो आप यह नहीं बता सकते कि बदलाव कब आ रहा है।
जादुई संयोजन: जब आप Backpack (Memory) को Crystal Ball (Prediction) के साथ मिलाते हैं, तो सिस्टम सुपरह्यूमन बन जाता है। बैकपैक "जंगल की धूल" से भर जाता है, और क्रिस्टल बॉल उस संतृप्ति (saturation) को पढ़कर कहती है, "हम जंगल की धूल से भरे हुए हैं; रेगिस्तान आना तय है!"
परिणाम: यह संयोजन सुपर-एडिटिव (super-additive) है।
- केवल बैकपैक: +30% सुधार।
- केवल क्रिस्टल बॉल: +0% सुधार (यह अंधा था)।
- बैकपैक + क्रिस्टल बॉल: +74% सुधार।
- मिलकर, उन्होंने एक आदर्श "ओरेकल" (एक पूर्ण गाइड) और AI के बीच के अंतर को 75% तक कम कर दिया।

3. यह क्यों मायने रखता है (The "Navigation" Metaphor)

पेपर निष्कर्ष निकालता है कि वर्तमान AI केवल वर्तमान के प्रति प्रतिक्रिया (reacting) दे रहा है। यह एक ऐसी मशीन है जो कहती है, "यह शब्द एक बिल्ली जैसा दिखता है, इसलिए मैं बिल्ली विशेषज्ञ का उपयोग करूँगा।"

नया सिस्टम नेविगेट (navigate) करता है। यह कहता है:

मैं कहाँ रहा हूँ? (Backpack/Memory: "मैं लंबे समय से जंगल में हूँ।")
मैं किस पर भरोसा कर सकता हूँ? (Trust Score: "रेगिस्तान का गाइड विश्वसनीय है; जंगल का गाइड थक गया है।")
मैं कहाँ जा रहा हूँ? (Crystal Ball: "अगला परिदृश्य रेगिस्तान में बदल रहा है।")

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि इन तीन सरल, कम लागत वाले तंत्रों (मेमोरी, ट्रस्ट और प्रेडिक्शन) को जोड़कर, हम AI को उन क्षणों में "खो जाने" से रोक सकते हैं जब यह सबसे महत्वपूर्ण होता है: जब विषय बदलता है।

उनके परीक्षणों में, इस अपग्रेड ने काम पूरा करने के लिए आवश्यक विशेषज्ञों की संख्या को एक असंभव संख्या (सैकड़ों) से घटाकर एक बहुत छोटी, प्रबंधनीय संख्या (3 या 4) में बदल दिया। यह एक भ्रमित पर्यटक को एक कुशल नाविक में बदल देता है।

नोट: पेपर यह दावा नहीं करता है कि यह सभी AI समस्याओं को ठीक करता है या चिकित्सा निदान (medical diagnosis) पर लागू होता है। यह सख्ती से भाषा निर्माण (language generation) के दौरान "रूटिंग" (यह निर्णय लेना कि AI के किस हिस्से का उपयोग किया जाए) को स्मार्ट बनाने पर केंद्रित है।

यहाँ मैन युंग (रसेल) वोंग के शोध पत्र "Affinity Is Not Enough: Recovering the Free Energy Principle in Mixture-of-Experts" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल (जैसे, DeepSeek-V3, Mixtral) वर्तमान में स्टेटलेस एफिनिटी-आधारित रूटिंग (stateless affinity-based routing) पर निर्भर हैं। रूटिंग गेट वर्तमान टोकन एम्बेडिंग ( $x_t$ ) के आधार पर विशेषज्ञों (experts) का चयन करता है, जो टेम्पोरल कॉन्टेक्स्ट (temporal context), विशेषज्ञ विश्वसनीयता के इतिहास और भविष्य की आवश्यकताओंों को अनदेखा करता है।

यह शोध एक महत्वपूर्ण विफलता मोड की पहचान करता है: डोमेन ट्रांज़िशन (Domain Transitions)। जब एक अनुक्रम (sequence) एक वितरण (Domain A) से दूसरे वितरण (Domain B) में बदलता है, तो ट्रांज़िशन स्टेप ( $t$ ) पर टोकन अभी भी Domain A का होता है, लेकिन अगले स्टेप ( $t+1$ ) के लिए इष्टतम विशेषज्ञ Domain B का होता है।

समस्या: मानक राउटर, केवल $x_t$ को देखते हुए, ट्रांज़िशन स्टेप पर सही विशेषज्ञ के लिए नगण्य संभावना (near-zero probability) आवंटित करते हैं।
अनुभवजन्य साक्ष्य (Empirical Evidence): नियंत्रित प्रयोगों में, मानक राउटर ट्रांज़िशन स्टेप्स पर सही विशेषज्ञ को केवल 0.006 ± 0.001 संभाव्यता द्रव्यमान (probability mass) आवंटित करता है।
परिणाम: इस तरह की कम आत्मविश्वास के साथ 99% रूटिंग कवरेज प्राप्त करने के लिए, एक मॉडल को विशेषज्ञों की एक अव्यवहार्य संख्या ( $K \approx 765$ ) की आवश्यकता होगी, जो MoE के दक्षता लाभों को समाप्त कर देता है।

2. कार्यप्रणाली: फ्री एनर्जी प्रिंसिपल (FEP) फ्रेमवर्क

लेखक का प्रस्ताव है कि MoE रूटिंग को फ्रिस्टन के फ्री एनर्जी प्रिंसिपल (Friston's Free Energy Principle) के माध्यम से पुनर्गठित किया जाना चाहिए, जो यह निर्देश देता है कि अनिश्चितता के तहत एक इष्टतम प्रणाली को:

अवस्था को पुनरावर्ती रूप से अपडेट करना चाहिए (शून्य से नहीं)।
संकेतों को प्रिसिजन (precision - त्रुटि के व्युत्क्रम विचरण) द्वारा भारित करना चाहिए।
अपेक्षित भविष्य के फ्री एनर्जी को कम करना चाहिए (केवल वर्तमान अवलोकनों पर नहीं, बल्कि भविष्यवाणियों पर कार्य करना चाहिए)।

इसे लागू करने के लिए, शोध पत्र स्पाइकिंग न्यूरल नेटवर्क (SNN) की गतिशीलता (विशेष रूप से लीकी इंटीग्रेट-एंड-फायर, या LIF) पर आधारित तीन हल्के संशोधनों को प्रस्तुत करता है:

A. टेम्पोरल रूटिंग मेमोरी ( $\beta$ )

तंत्र (Mechanism): स्टेटलेस इनपुट $x_t$ को एक हिडन स्टेट $h_t$ से बदल देता है जिसे LIF डायनेमिक्स के माध्यम से अपडेट किया जाता है:
$h_t = \beta \odot h_{t-1} + x_t$
जहाँ $\beta$ एक सीखने योग्य डिके वेक्टर (learnable decay vector) है (जिसे 0.9 पर इनिशियलाइज़ किया गया है)।
कार्य: यह टोकन के माध्यम से कॉन्टेक्स्ट को संचित करता है। यह राउटर को यह "याद रखने" की अनुमति देता है कि सिस्टम लंबे समय से Domain A में रहा है, जिससे एक "सैचुरेशन" सिग्नल बनता है जो स्विच होने का संकेत देता है, भले ही स्विच टोकन दिखाई न दिया हो।
टाइमस्केल: प्रति-टोकन (fast)।

B. प्रिसिजन-वेटेड गेटिंग ( $\Pi$ )

तंत्र: प्रत्येक विशेषज्ञ के मीन स्क्वेर्ड एरर (MSE) के लिए एक ऑनलाइन, नॉन-पैरामीट्रिक ट्रैकर बनाए रखता है। रूटिंग गेट इन त्रुटियों के व्युत्क्रम विचरण (inverse variance/precision) द्वारा मॉड्युलेट होता है:
$g_t = \text{softmax}(W \cdot x_t \odot \Pi_t)$
जहाँ $\Pi_i = 1 / (\hat{\sigma}^2_i + \epsilon)$ ।
कार्य: यह उन विशेषज्ञों को गतिशील रूप से कम भार देता है जो वर्तमान में अविश्वसनीय (उच्च त्रुटि) हैं और विश्वसनीय विशेषज्ञों को अधिक भार देता है। लोड बैलेंसिंग (जो आवृत्ति को ट्रैक करता है) के विपरीत, यह सटीकता (accuracy) को ट्रैक करता है।
टाइमस्केल: प्रति-बैच (medium)।

C. एंटिसिपेटरी रूटिंग (Anticipatory Routing)

तंत्र: अगले टोकन एम्बेडिंग $\hat{x}_{t+1}$ का अनुमान लगाने के लिए एक प्रेडिक्टर नेटवर्क $f(x_t, h_t)$ का उपयोग करता है। रूटिंग निर्णय इस भविष्यवाणी पर आधारित होता है:
$g_t = \text{softmax}(W \cdot h_t + W_{pred} \cdot \hat{x}_{t+1})$
कार्य: यह वर्तमान अवस्था के बजाय अनुमानित भविष्य की अवस्था के आधार पर रूट करता है। यह राउटर को नए डोमेन के टोकन इनपुट में आने से पहले ही नए डोमेन के विशेषज्ञ में स्विच करने की अनुमति देता है।
महत्वपूर्ण अंतर्दृष्टि: एक स्टेटलेस प्रेडिक्टर ( $f(x_t)$ ) विफल रहता है क्योंकि प्री-ट्रांज़िशन टोकन वितरण संबंधी रूप से समान होते हैं। प्रेडिक्टर को ट्रांज़िशन इंडिकेट करने वाले सैचुरेशन सिग्नल का पता लगाने के लिए $\beta$ -संचित अवस्था $h_t$ पर आधारित होना चाहिए।

3. मुख्य योगदान

सैद्धांतिक एकीकरण: MoE रूटिंग को फ्री एनर्जी प्रिंसिपल से जोड़ता है, यह प्रदर्शित करते हुए कि मानक MoE में रिकर्सिव स्टेट एस्टीमेशन, प्रिसिजन वेटिंग और फ्यूचर-स्टेट मिनिमाइजेशन का अभाव है।
तीन हल्के तंत्र: $\beta$ (मेमोरी), $\Pi$ (प्रिसिजन), और एंटिसिपेशन (भविदन) को आवश्यक घटकों के रूप में प्रस्तावित करता है, जिन्हें न्यूनतम पैरामीटर ओवरहेड (~200 लाइनों का कोड) के साथ लागू किया जा सकता है।
सुपर-एडिटिविटी (Super-Additivity) की खोज: शोध पत्र की सबसे महत्वपूर्ण खोज $\beta \times \text{Ant}$ इंटरैक्शन है।
- $\beta$ अकेले: +0.295 लाभ।
- एंटिसिपेशन अकेले: +0.000 लाभ (मेमोरी के बिना विफल)।
- संयुक्त: +0.741 लाभ।
- इंटरैक्शन प्रभाव: संयुक्त लाभ व्यक्तिगत भागों के योग से +0.446 अधिक है, जो यह सिद्ध करता है कि मेमोरी, एंटिसिपेशन के लिए एक पूर्व शर्त है।
DeepSeek-V3 के लिए संरचनात्मक स्पष्टीकरण: यह समझाता है कि DeepSeek-V3 अपने मल्टी-टोकन प्रेडिक्शन (MTP) मॉड्यूल को इन्फरेंस के दौरान क्यों त्याग देता है: एक स्टेटलेस MTP हेड डोमेन ट्रांज़िशन का पता नहीं लगा सकता। शोध पत्र का तर्क है कि यदि टेम्पोरल मेमोरी ( $\beta$ ) पर आधारित हो, तो MTP को बनाए रखा जाना चाहिए।

4. प्रयोगात्मक परिणाम

प्रयोग नियंत्रित डोमेन-स्विच कार्यों और एक कैरेक्टर-लेवल MoE लैंग्वेज मॉडल (5 सीड्स) पर किए गए।

मेट्रिक	Standard MoE	$\beta$ -MoE	$\beta$ + Ant MoE	Oracle
Transition Accuracy	0.006	0.301	0.748	0.994
BPC at Transition	6.56	4.01	4.19	N/A
Experts for 99% Coverage ( $K$ )	~765 (अव्यवहार्य)	~6.0	2.4	N/A

ट्रांज़िशन सटीकता: संयुक्त तंत्र ट्रांज़िशन स्टेप पर सही विशेषज्ञ चुनने की संभावना को 0.6% से बढ़ाकर 74.8% कर देता है, जो ऑरेकल (Oracle) के अंतर को 75% तक कम कर देता है।
दक्षता: 99% कवरेज प्राप्त करने के लिए आवश्यक विशेषज्ञों की संख्या ( $K$ ) ट्रांज़िशन स्टेप्स पर एक अव्यवहार्य ~765 से घटकर एक छोटा स्थिरांक (2.4) हो जाती है।
लैंग्वेज मॉडल वैलिडेशन: एक कैरेक्टर-लेवल LM में, $\beta$ -रूटिंग ने ट्रांज़िशन स्टेप पर बिट्स पर कैरेक्टर (BPC) को 6.56 से घटाकर 4.01 कर दिया। एंटिसिपेशन जोड़ने से रूटिंग निर्णय स्थिर (वेरिएंस कम) हुआ, लेकिन इस छोटे पैमाने पर BPC को और कम नहीं किया, जो यह सुझाव देता है कि प्राथमिक लाभ रूटिंग स्थिरता और प्रीफेचिंग के माध्यम से लेटेंसी में कमी है।

5. महत्व और निहितार्थ

नेविगेशन बनाम वर्गीकरण: शोध पत्र रूटिंग को एक स्थिर वर्गीकरण समस्या ("कौन सा विशेषज्ञ इस टोकन के लिए उपयुक्त है?") से बदलकर एक गतिशील नेविगेशन समस्या ("सिस्टम कहाँ जा रहा है, और कौन सा पथ विश्वसनीय है?") के रूप में पुनर्परिभाषित करता है।
लेटेंसी में कमी: एक कदम पहले डोमेन स्विच का अनुमान लगाकर, सिस्टम वर्तमान स्टेप निष्पादित होते समय मेमोरी (HBM) से कंप्यूट यूनिट्स (SRAM) में विशेषज्ञ वेट्स को प्रीफेच कर सकता है, जिससे महत्वपूर्ण ट्रांज़िशन बिंदुओं पर मेमोरी-लेटेंसी स्टॉल समाप्त हो जाते हैं।
MTP का पुनर्मूल्यांकन: यह कार्य सुझाव देता है कि DeepSeek-V3 जैसे मॉडलों में मल्टी-टोकन प्रेडिक्शन मॉड्यूल का पूर्ण उपयोग नहीं हो पा रहा है। यदि टेम्पोरल स्टेट पर आधारित हो, तो वे केवल ट्रेनिंग एड के बजाय शक्तिशाली एंटिसिपेटरी रूटिंग मैकेनिज्म के रूप में कार्य कर सकते हैं।
जैविक संभाव्यता (Biological Plausibility): ये तंत्र LIF न्यूरॉन्स, प्रेडिक्टिव कोडिंग में प्रिसिजन वेटिंग और एक्टिव इन्फरेंस जैसी जैविक प्रक्रियाओं को दर्शाते हैं, जो यह सुझाव देते हैं कि वर्तमान MoE आर्किटेक्चर इंटेलिजेंट रिसोर्स एलोकेशन के मौलिक सिद्धांतों को मिस कर रहे हैं।

निष्कर्षतः, यह शोध पत्र सिद्ध करता है कि मजबूत MoE रूटिंग के लिए एफिनिटी पर्याप्त नहीं है। टेम्पोरल मेमोरी, प्रिसिजन वेटिंग और एंटिसिपेशन को एकीकृत करके, MoE मॉडल डोमेन ट्रांज़िशन पर लगभग ऑरेकल-स्तर का रूटिंग प्रदर्शन प्राप्त कर सकते हैं, जिससे उच्च सटीकता बनाए रखने के लिए आवश्यक कम्प्यूटेशनल लागत काफी कम हो जाती है।