Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution
MADE-IT एक एडेप्टिव कॉन्टिनुअल मॉडल मर्जिंग विधि है जो मैनिफोल्ड-अवेयर ज्योमेट्री का उपयोग करके विशेषज्ञों को स्वायत्त रूप से विकसित करने और बिना किसी अतिरिक्त प्रशिक्षण के उन्हें सक्रिय करने के लिए डेटा-फ्री इम्प्लिसिट रूटिंग मैकेनिज्म का उपयोग करके सैचुरेशन-रिडंडेंसी दुविधा को हल करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक "मास्टर शेफ" रोबोट बना रहे हैं।
शुरुआत में, आप उसे इतालवी (Italian) खाना बनाना सिखाते हैं। फिर, आप चाहते हैं कि वह जापानी, फिर मैक्सिकन, और फिर भारतीय खाना बनाना सीखे। इसके दो तरीके हैं, लेकिन दोनों में बड़ी समस्याएँ हैं:
- "एक दिमाग" की समस्या (Saturation/संतृप्ति): आप एक ही दिमाग में ये सभी नई रेसिपी भरने की कोशिश करते हैं। अंततः, दिमाग बहुत भर जाता है। सुशी (Sushi) बनाना सीखने के लिए, रोबोट पास्ता बनाना भूलने लगता है। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है।
- "बहुत सारे दिमागों" की समस्या (Redundancy/अतिरेक): आप निर्णय लेते हैं कि रोबोट को हर एक रेसिपी के लिए एक अलग, नया दिमाग दिया जाए। यह काम तो करता है, लेकिन जल्द ही आपका रोबोट हजारों छोटे-छोटे दिमागों का एक विशाल, बोझिल ढेर बन जाता है। इनमें से अधिकांश बेकार होते हैं—उदाहरण के लिए, "टोमेटो सॉस ब्रेन" और "पिज्जा सॉस ब्रेन" मूल रूप से एक ही चीज़ हैं, लेकिन रोबोट उन्हें दो अलग-अलग अंगों के रूप में मान रहा है। साथ ही, रोबोट को एक जटिल "मैनेजर" की आवश्यकता होती है जो यह तय कर सके कि हर एक निवाले के लिए कौन सा दिमाग इस्तेमाल करना है—यह धीमा है और इसके लिए लगातार ट्रेनिंग की आवश्यकता होती है।
MADE-IT एक नया तरीका है जिससे इस समस्या को हल किया जा सकता है। यह रोबोट को केवल अधिक "दिमाग" देने के बजाय एक "स्मार्ट, बढ़ता हुआ कौशल-सेट" (Smart, Growing Skill-Set) देने जैसा है।
यह तीन सरल अवधारणाओं का उपयोग करके कैसे काम करता है, यहाँ दिया गया है:
1. एक कौशल का "DNA" (Manifold-Aware Evolution)
हर एक सूक्ष्म न्यूरॉन को देखने के बजाय (जो किसी व्यक्ति को उसके हर परमाणु को देखकर समझने की कोशिश करने जैसा है), MADE-IT ज्ञान के "आकार" (Shape) को देखता है।
एक कौशल को एक संगीत की धुन (Melody) की तरह समझें। आपको "ट्विंकल ट्विंकल लिटिल स्टार" को पहचानने के लिए हवा के हर अणु के सटीक कंपन को जानने की आवश्यकता नहीं है; आपको बस नोट्स के पैटर्न को पहचानने की आवश्यकता है। MADE-IT गणित (जिसे SVD और Grassmann manifolds कहा जाता है) का उपयोग करके एक नए कार्य की "धुन" को खोजता है।
जब कोई नया कार्य आता है, तो MADE-IT पूछता है: "क्या यह धुन उस चीज़ के समान है जिसे हम पहले से जानते हैं?"
- यदि हाँ (Consolidation/एकीकरण): यह नई धुन को एक मौजूदा धुन में मिला देता है। यह समझ जाता है कि "पिज्जा सॉस" वास्तव में "टोमेटो सॉस" का ही एक रूपांतर है, इसलिए यह दिमागों की संख्या को कम रखता है।
- यदि नहीं (Creation/निर्माण): यह एक नया "स्किल मॉड्यूल" बनाता है। यह रोबोट को "भर जाने" से रोकता है और उसे एक बोझिल ढेर बनने से भी बचाता है।
2. "सहज प्रतिक्रिया" (Implicit Routing)
अधिकांश प्रणालियों में, आपको एक "मैनेजर" (गेटिंग नेटवर्क) की आवश्यकता होती है जो एक सामग्री को देखे और कहे, "ठीक है, अब जापानी दिमाग का उपयोग करें!" लेकिन यह मैनेजर कठिन होता है और इसे निरंतर पर्यवेक्षण की आवश्यकता होती है।
MADE-IT उस मैनेजर को "अंतर्ज्ञान" (Intuition) से बदल देता है। यह फीचर प्रोजेक्शन अलाइनमेंट (Feature Projection Alignment) का उपयोग करता है।
कल्पना कीजिए कि आप मछली का एक कच्चा टुकड़ा देखते हैं। आपको मैनेजर द्वारा यह बताने की आवश्यकता नहीं है कि अपना "सुशी कौशल" उपयोग करें; मछली का दिखना ही आपके मन में उस कौशल के साथ "संरेखित" (align) हो जाता है। MADE-IT गणितीय रूप से ऐसा ही करता है: यह आने वाले डेटा को देखता है और देखता है कि वह स्वाभाविक रूप से किस "कौशल के आकार" में फिट बैठता है। यह तेज़ है, स्वचालित है, और इसे निर्णय लेने के लिए किसी मैनेजर को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
3. "टीमवर्क" का नियम (Path Consistency)
यह सुनिश्चित करने के लिए कि रोबोट अजीब व्यवहार न करे, MADE-IT यह सुनिश्चित करता है कि कौशल एक तार्किक क्रम में एक साथ काम करें।
यदि रोबोट किसी रेसिपी के पहले चरण के लिए "सुशी" कौशल का उपयोग करने का निर्णय लेता है, तो वह दूसरे चरण के लिए अचानक "बीफ स्टू" कौशल पर स्विच नहीं करेगा। यह एक "डिपेंडेंसी ग्राफ" (Dependency Graph) का पालन करता है—एक मानसिक मानचित्र जो कहता है, "यदि आपने जापानी स्वादों के साथ शुरुआत की है, तो व्यंजन पूरा होने तक जापानी पथ पर ही रहें।" यह रोबet के "विचारों" को शुरू से अंत तक सुसंगत रखता है।
परिणाम?
शोधकर्ताओं के परीक्षणों में, MADE-IT एक ऐसे शेफ की तरह था जो हर सबक के साथ स्मार्ट होता जाता है। इसने:
- अधिक कार्यों को सीखा बिना पुराने कार्यों को भूले।
- छोटा और कुशल बना रहा क्योंकि इसने अनावश्यक "दिमाग" नहीं बनाए।
- तेजी से काम किया क्योंकि इसे निर्णय लेने के लिए एक धीमे, भारी "मैनेजर" की आवश्यकता नहीं थी।
संक्षेप में: MADE-IT AI को अपनी विशेषज्ञता विकसित करने की अनुमति देता है जैसे कि एक इंसान करता है—पैटर्न को पहचानकर, जो वे जानते हैं उस पर निर्माण करके, और नई जानकारी के लिए एक अंतर्ज्ञान विकसित करके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।