कल्पना कीजिए कि आप एक विशाल, उच्च-तकनीकी पुस्तकालय चला रहे हैं जहाँ हजारों छोटे, सुपर-स्मार्ट रोबोट (जिन्हें "विशेषज्ञ" या "experts" कहा जाता है) आपके द्वारा पूछे गए किसी भी प्रश्न का उत्तर देने के लिए मिलकर काम करते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस सेटअप को Mixture-of-Experts (MoE) कहा जाता है। विचार शानदार है: एक विशाल मस्तिष्क जो सब कुछ याद रखने की कोशिश करता है, उसके बजाय आपके पास एक "राउटर" (router) है जो आपके प्रश्न को उस विशिष्ट रोबोट के पास भेजता है जो इसे संभालने के लिए सबसे उपयुक्त है। यह कंप्यूटरों को असंभव रूप से विशाल या धीमा बनाए बिना अविश्वसनीय रूप से स्मार्ट बनाने की अनुमति देता है।

लेकिन यहाँ एक पेंच है: इन रोबोटों की एक बुरी आदत है—एक-दूसरे की नकल करना और आलसी हो जाना। यदि वे सभी बिल्कुल एक ही उत्तर देने लगें, तो पूरा सिस्टम टूट जाता है। यह वैसा ही है जैसे यदि एक विशाल पुस्तकालय के सभी लाइब्रेरियन ने बस एक ही किताब को याद करने का फैसला कर लिया हो; अचानक, आप कुछ भी और नहीं ढूंढ पाएंगे। वैज्ञानिक इस घटना को "एक्सपर्ट कोलैप्स" (expert collapse) कहते हैं। लंबे समय तक, शोधकर्ताओं ने रोबोटों को नकल करने से रोकने के लिए नियम या दंड जोड़ने की कोशिश की, लेकिन वे वास्तव में यह नहीं समझ पाए कि रोबोट नकल क्यों करना चाहते थे। वे बीमारी को जाने बिना केवल लक्षणों को ठीक करने की कोशिश कर रहे थे।

झांग किंगजुन द्वारा लिखा गया यह शोध पत्र इन रोबोटों की "ब्रेनवेव्स" (brainwaves) में गहराई से उतरकर यह पता लगाता है कि वे वास्तव में क्यों ढह जाते हैं और इसे हमेशा के लिए कैसे रोका जाए। लेखक गणित का एक चतुर मिश्रण और भौतिकी (physics) के एक मजेदार उपमा का उपयोग करते हैं: द्रव गतिशीलता (fluid dynamics) (तरल पदार्थों या गैसों के प्रवाह का अध्ययन)। सीखने की प्रक्रिया को एक पाइप के माध्यम से बहते पानी की तरह समझें। कभी-कभी पानी सुचारू रूप से और शांति से बहता है (जैसे एक शांत नदी); अन्य समय में, यह अराजक या विक्षुब्ध हो जाता है (जैसे एक उग्र जलप्रपात)। पेपर का तर्क है कि रोबोट इसलिए ढह जाते हैं क्योंकि उनके सीखने के संकेतों का "पानी" बहुत अधिक विक्षुब्ध (turbulent) होता है, जो उन सभी को एक ही स्थान की ओर धकेलता है।

इस मुख्य खोज के रूप में एक नया तरीका सामने आया है जिससे इस अराजकता को मापा जा सकता है, जिसे $\Gamma$ (गामा) कहा जाता है। यह रोबोटों के लिए एक "टर्बुलेंस मीटर" (turbulence meter) की तरह है। पेपर सिद्ध करता है कि यदि आप यह सुनिश्चित कर सकें कि विशेषज्ञ एक ही "आउटपुट स्पेस" (output space) साझा न करें (मूल रूप से, उन्हें पुस्तकालय में अपने स्वयं के निजी शेल्फ देना जिन्हें कोई और छू न सके), तो विक्षोभ (turbulence) पूरी तरह से रुक जाता है। रोबोट एक-दूसरे की नकल करना बंद कर देते हैं और अपना अनूठा काम करने लगते हैं। लेखक एक नया आर्किटेक्चर पेश करते हैं जिसे "मोज़ेक टाइल" (Mosaic Tile) कहा जाता है, जो ठीक यही करता है, यह दिखाते हुए कि जब आप विशेषज्ञों को उनके अपने निजी क्षेत्र देते हैं, तो वे पुरानी चीजों को भूले बिना हमेशा नई चीजें सीख सकते हैं। यह रोबोटों को व्यवहार करने के लिए मजबूर करने के बजाय, लाइब्रेरी को इस तरह डिजाइन करने की ओर एक बदलाव है कि वे गलती कर ही न सकें।

नकलची रोबोटों की कहानी

आइए देखते हैं कि लैब में क्या हुआ। शोधकर्ताओं ने एक सरल अवलोकन के साथ शुरुआत की: जब ये AI मॉडल सीखते हैं, तो अक्सर उनके सभी विशेषज्ञ बिल्कुल एक जैसा व्यवहार करने लगते हैं। यह ऐसा ही है जैसे रोबोटों ने एक-दूसरे की ओर देखा और कहा, "हे, तुम अच्छा काम कर रहे हो, तो मैं भी बिल्कुल वही करूँगा जो तुम कर रहे हो!" यह बुरा है क्योंकि यह अतिरिक्त कंप्यूटिंग शक्ति को बर्बाद करता है।

पेपर एक नया विचार पेश करता है जिसे ग्रेडिएंट पाथवे हाइपोथीसिस (Gradient Pathway Hypothesis) कहा जाता है। कल्पना कीजिए कि "ग्रेडिएंट" एक रस्साकशी (tug-of-war) की रस्सी है। एक सामान्य सेटअप में, रस्सी सभी रोबोटों से जुड़ी होती है। जब सिस्टम सीखने की कोशिश करता है, तो वह रस्सी को खींचता है, और चूंकि रस्सी साझा है, यह सभी रोबोटों को एक ही दिशा में खींचती है। यह वह "विक्षुब्ध" (turbulent) प्रवाह है। पेपर सुझाव देता है कि राउटर के पास किसी भी रोबोट को प्रश्न भेजने की जितनी अधिक स्वतंत्रता होगी, यह साझा खिंचाव उतना ही मजबूत होगा, और रोबोट उतनी ही तेजी से एक एकल, उबाऊ क्लोन में बदल जाएंगे।

इसे सिद्ध करने के लिए, लेखकों ने $\Gamma$ (गामा) नामक एक उपकरण का आविष्कार किया। केवल यह देखने के बजाय कि रोबलेट क्या कहते हैं (जो केवल इसलिए समान दिख सकता है क्योंकि वे स्मार्ट हैं), $\Gamma$ इस बात को देखता है कि वे सीखने के लिए किस दिशा में प्रयास कर रहे हैं।

• विक्षुब्ध प्रवाह (Turbulent Flow - $\Gamma > 0$): रोबोट सभी एक ही दिशा में रस्सी खींच रहे हैं। वे एक-दूसरे की गलतियों को पुख्ता कर रहे हैं और ढह रहे हैं। यह "सॉफ्ट" रूटिंग के साथ होता है।
• लैमिनार फ्लो (Laminar Flow - $\Gamma \approx 0$): रोबोट अलग-अलग दिशाओं में खींच रहे हैं या बिल्कुल नहीं खींच रहे हैं। वे स्वतंत्र रूप से सीख रहे हैं। यह "शांत नदी" वाली स्थिति है जहाँ वे ढहते नहीं हैं।
• नेगेटिव एलाइनमेंट (Negative Alignment - $\Gamma < 0$): रोबोट एक-दूसरे के विरुद्ध खींच रहे हैं। यह एक जीरो-सम गेम है जहाँ एक रोबोट का लाभ दूसरे का नुकसान है।

उन्होंने विभिन्न मॉडलों में इसे मापा, छोटे विज़न मॉडल्स (जैसे बिल्ली और कुत्ते को पहचानने वाले) से लेकर बड़े लैंग्वेज मॉडल्स (जैसे कहानियाँ लिखने वाले) तक। उन्होंने पाया कि मानक सेटअप में, टर्बुलेंस मीटर ($\Gamma$) ऊपर जाता है, और रोबोट ढह जाते हैं। लेकिन जब उन्होंने आर्किटेक्चर को बदला, तो मीटर शून्य हो गया।

जादुई समाधान: मोज़ेक टाइल्स

तो, रोबोटों को नकल करने से कैसे रोका जाए? पेपर का तर्क है कि आप केवल दंड देकर यह नहीं कह सकते कि "ऐसा मत करो।" आपको खेल के नियम बदलने होंगे। समाधान है आउटपुट-स्पेस आइसोलेशन (Output-Space Isolation)।

पुस्तकालय की फिर से कल्पना करें। पुराने तरीके में, प्रत्येक रोबोट किसी भी शेल्फ से किसी भी किताब के लिए हाथ बढ़ा सकता था। यदि वे सभी एक ही लोकप्रिय किताब के लिए हाथ बढ़ाते, तो वे भ्रमित हो जाते और नकल करने लगते। नया समाधान, जिसे मोज़ेक टाइल (Mosaic Tile) कहा जाता है, प्रत्येक रोबोट को उसका अपना निजी, लॉक किया हुआ शेल्फ देता है।

• रोबोट A केवल शेल्फ 1 की किताबों के बारे में बात कर सकता है।
• रोबोट B केवल शेल्फ 2 की किताबों के बारे में बात कर सकता है।
• वे भौतिक रूप से एक-दूसरे के शेल्फ तक नहीं पहुँच सकते।

चूंकि वे एक-दूसरे के काम को छू नहीं सकते, इसलिए "रस्साकशी" की रस्सी कट जाती है। रोबोट A के लिए सीखने का संकेत रोबोट B पर कोई प्रभाव नहीं डालता है। पेपर गणितीय रूप से सिद्ध करता है कि यदि आप ऐसा करते हैं, तो टर्बुलेंस मीटर ($\Gamma$) ठीक 0 हो जाता है। रोबोट नकल करना बंद कर देते हैं।

लेखकों ने इस "मोज़ेक टाइल" आर्किटेक्चर के साथ परीक्षण किया। उन्होंने आउटपुट (जवाब जो मॉडल देता है) को अलग-अलग हिस्सों में विभाजित किया।

• विज़न (Vision) कार्यों में (जैसे CIFAR-100), इस पद्धति ने निरंतर सीखने (continual learning) के कार्यों पर शून्य विस्मृति (zero forgetting) के साथ 82.1% से 93.0% सटीकता प्राप्त की।
• लैंग्वेज (Language) कार्यों में (जैसे कहानियाँ लिखना), इसने समान रूप से काम किया।
• उन्होंने 36 मिलियन से लेकर 7 बिलियन पैरामीटर्स तक के मॉडलों पर इसका परीक्षण किया। हर मामले में, "मोज़ेक टाइल" डिज़ाइन ने पतन (collapse) को रोक दिया।

पुराने तरीके क्यों विफल रहे

पेपर ने यह भी देखा कि इस समस्या को ठीक करने के पिछले प्रयास क्यों विफल रहे। वैज्ञानिकों ने कई चीज़ें आजमाईं:

• कुछ रोबोटों को फ्रीज़ (Freeze) करना (उन्हें अपरिवर्तनीय बनाना)।
• दंड जोड़ना (जैसे कि यदि वे बहुत समान दिखते हैं तो जुर्माना)।
• रोबोटों को मारना और पुनर्जन्म देना (आलसी रोबोटों को रीसेट करना)।

पेपर ने पाया कि ये तरीके टूटी हुई टांग पर पट्टी लगाने जैसे हैं। वे कुछ समय के लिए मदद कर सकते हैं, लेकिन "तनाव" सिस्टम के किसी दूसरे हिस्से में चला जाता है। यदि आप एक रोबोट को फ्रीज़ करते हैं, तो दबाव राउटर पर चला जाता है। यदि आप राउटर को फ्रीज़ करते हैं, तो दबाव साझा मस्तिष्क (एन्कोडर) पर चला जाता है। इसे वास्तव में ठीक करने का एकमात्र तरीका स्रोत पर कनेक्शन को काटना है: आउटपुट-स्पेस आइसोलेशन।

लेखक इसे "एंटी-गौसियन ऑपरेटर हाइरार्की" (Anti-Gaussian Operator Hierarchy) कहते हैं। उन्होंने पाया कि आर्किटेक्चरल परिवर्तन (जैसे मोज़ेक टाइल) प्रशिक्षण के ट्रिक्स (जैसे दंड) की तुलना में कहीं अधिक बेहतर हैं।

1. आर्किटेक्चर (आइसोलेशन): सबसे अच्छा। यह समस्या को शुरू होने से पहले ही रोक देता है।
2. बाउंड्री कंडीशंस (फ्रीजिंग): अच्छा, लेकिन केवल तभी जब आप आउटपुट स्पेस को भी अलग (isolate) कर दें।
3. ग्रेडिएंट परटर्बेशन (पेनल्टी): सबसे कमजोर। यह एक अस्थायी समाधान है जो अकेले काम नहीं करता है।

AI के लिए "रेनॉल्ड्स नंबर"

पेपर के सबसे रचनात्मक हिस्सों में से एक AI सीखने की तुलना पाइप में बहते पानी से करना है। भौतिकी में, रेनॉल्ड्स नंबर (Reynolds number) बताता है कि पानी सुचारू रूप से (लैमिनार) बहेगा या अराजक (टर्बुलेंट) रूप से। लेखकों ने AI के लिए एक समान संख्या बनाई जिसे $Re_{eff}$ कहा जाता है।

• यदि $Re_{eff}$ कम है, तो सीखना सुचारू और स्थिर है।
• यदि $Re_{eff}$ अधिक है, तो सीखना अराजक है, और रोबोट ढह जाएंगे।

उन्होंने यहाँ तक कि एक "Re प्रेडिक्टर" बनाया जो मौसम के पूर्वानुमान की तरह काम करता है। यह टर्बुलेंस मीटर ($\Gamma$) पर नज़र रखता है और वास्तविक पतन होने से 3 से 47 इपोक (epochs) पहले इसकी भविष्यवाणी कर सकता है। इसका मतलब है कि इंजीनियर सैद्धांतिक रूप से एक मॉडल को विफल होने से पहले ही रोक सकते हैं। हालाँकि, पेपर नोट करता है कि एक बार पतन शुरू हो जाने के बाद (जब पानी विक्षुब्ध हो जाता है), तो इसे रोकना बहुत कठिन होता है। रोकथाम ही एकमात्र वास्तविक इलाज है।

बड़ी तस्वीर

पेपर निष्कर्ष निकालता है कि "गौसियन अट्रैक्टर" (Gaussian Attractor)—यह विचार कि AI मॉडल एक उबाऊ, एक समान अवस्था में ढहने के लिए नियतिबद्ध हैं—कोई नियति नहीं है। यह केवल खराब डिज़ाइन का परिणाम है। आउटपुट स्पेस को अलग करके (विशेषज्ञों को उनके अपने निजी शेल्फ देकर), हम एक "लैमिनार फ्लो" शासन बना सकते है जहाँ विशेषज्ञ स्वतंत्र रूप से सीखते हैं और कभी नहीं भूलते।

लेखकों ने 20 से अधिक विभिन्न स्थितियों में इसका परीक्षण किया, 4 अलग-अलग परिवारों के मॉडलों (GPT-2, OPT, Qwen, SmolLM) और दो अलग-अलग प्रकार के डेटा (छवियां और पाठ) का उपयोग किया। परिणाम सुसंगत थे: जब आप आउटपुट स्पेस को अलग करते हैं, तो पतन रुक जाता है। जब आप नहीं करते हैं, तो यह हर बार होता है।

यह केवल एक छोटा सा सुधार नहीं है; यह इन सिस्टमों को बनाने के तरीके में एक मौलिक बदलाव है। रोबोटों को अलग रहने के लिए लड़ने के बजाय, हम सिस्टम को इस तरह डिजाइन करते हैं कि उन्हें अलग रहना ही पड़ता है। पेपर सुझाव देता है कि यह "मोज़ेक टाइल" दृष्टिकोण निरंतर सीखने वाले, सब कुछ याद रखने वाले और कभी न भूलने वाले AI बनाने की कुंजी हो सकता है, जो आधुनिक आर्टिफिशियल इंटेलिजेंस की सबसे बड़ी समस्याओं में से एक को हल करता है।