When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis
यह शोध पत्र प्रदर्शित करता है कि स्वतंत्र रूप से प्रशिक्षित सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) एजेंटों को संयोजित करना संयुक्त बहु-कार्य प्रशिक्षण के समान सांख्यिकीय रूप से अविभेदित प्रदर्शन प्राप्त करता है, जिसका श्रेय कार्य वेक्टर्स की लगभग-लंबकोणीयता (नियर-ऑर्थोगोनैलिटी) को दिया जाता है जो जटिल विलय रणनीतियों को सरल औसत के समकक्ष बना देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखाने की कोशिश कर रहे हैं। आपके पास दो विकल्प हैं। पहला विकल्प है एक बहुत ही बुद्धिमान शिक्षक को काम पर रखना और उन्हें एक ही बार में हर काम दिखाना, इस उम्मीद में कि वे सब कुछ पूरी तरह से संभालना सीख लेंगे। इसे "जॉइंट ट्रेनिंग" (संयुक्त प्रशिक्षण) कहा जाता है। दूसरा विकल्प है दो अलग-अलग विशेषज्ञों को काम पर रखना: एक जो केवल बर्तन धोना सीखता है और दूसरा जो केवल कपड़े तह करना सीखता है। एक बार जब वे विशेषज्ञ बन जाते हैं, तो आप उन दोनों के दिमागों को एक ही रोबोट में "मर्ज" करने की कोशिश करते हैं जो ये दोनों काम कर सके। इसे "मॉडल मर्जिंग" (मॉडल विलय) कहा जाता है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, मर्जिंग एक जादू के खेल की तरह है। यह अलग-अलग विशेषज्ञों के कौशल को बिना उन्हें फिर से एक साथ प्रशिक्षित किए मिलाने का वादा करती है, जो तब बहुत उपयोगी होता है जब आप डेटा साझा नहीं कर सकते या विशेषज्ञों को अलग-अलग लोगों द्वारा प्रशिक्षित किया गया हो। लेकिन इस जादू के खेल पर एक बड़ा सवाल लटका हुआ है: क्या मर्जिंग वास्तव में उतना ही अच्छा काम करती है जितना कि एक ही शुरुआत में सब कुछ करने के लिए एक रोबोट को प्रशिक्षित करना? अधिकांश लोग मानते हैं कि मर्जिंग एक चतुर जुगाड़ है, लेकिन किसी ने भी इसे उसी वातावरण में "जॉइंट ट्रेनिंग" के विरुद्ध निष्पक्ष रूप से परखा नहीं है, जिसे "गोल्ड स्टैंडर्ड" माना जाता है। यह शोध पत्र इस अंतर को भरने के लिए आया है ताकि यह देख सके कि क्या यह जादू वास्तव में काम करता है या यह केवल एक भाग्यशाली अनुमान है।
शोधकर्ताओं ने 'ऐपवर्ल्ड' (AppWorld) नामक एक डिजिटल प्लेग्राउंड का उपयोग करके एक नियंत्रित प्रयोग स्थापित किया, जहाँ एक AI एजेंट को विभिन्न कार्य पूरे करने होते हैं, जैसे उड़ान बुक करना या भोजन ऑर्डर करना। उन्होंने एक बेस AI मॉडल लिया और उस पर दो "विशेषज्ञों" को प्रशिक्षित किया: एक केवल आसान कार्यों (कठिनाई-1) पर केंद्रित था और दूसरा थोड़े कठिन कार्यों (कठिनाई-2) पर। उन्होंने एक "जॉइंट" मॉडल को भी उन्हीं दोनों कार्यों के सेट पर एक साथ प्रशिक्षित किया। फिर, उन्होंने उन दो विशेषज्ञों को लिया और उन्हें दो अलग-अलग मर्जिंग रेसिपी (जिन्हें TIES और RAM+ कहा जाता है) का उपयोग करके एक साथ मिला दिया। अंत में, उन्होंने यह देखने के लिए मर्ज किए गए मॉडलों को जॉइंट मॉडल के खिलाफ मैदान में उतारा कि वास्तव में काम कौन पूरा कर पाता है।
परिणाम आश्चर्यजनक रूप से सपाट थे, लेकिन एक बहुत ही विशिष्ट तरीके से। जब उन्होंने मुख्य स्कोर को देखा—यानी कितने कार्य पूरी तरह से पूरे हुए—तो सभी मॉडल बराबरी पर रहे। मर्ज किए गए विशेषज्ञों ने जॉइंट मॉडल के समान ही प्रदर्शन किया। वास्तव में, उनके बीच का अंतर इतना कम था कि वे "नॉइज़ वॉल" (शोर की दीवार) के भीतर आ गया, जिसका अर्थ है कि वे सांख्यिकीय रूप से एक-दूसरे से अलग नहीं थे। इससे कोई फर्क नहीं पड़ता था कि उन्होंने कोई फैंसी मर्जिंग रेसिपी इस्तेमाल की या बस उनके दिमागों का औसत निकाला; परिणाम वही था। शोध पत्र का सुझाव है कि ऐसा इसलिए हुआ क्योंकि दोनों विशेषज्ञों ने इतने अलग तरीकों से सीखा था कि उनके "विचार पैटर्न" (जिसे गणितीय रूप से 'टास्क वेक्टर्स' कहा जाता है) लगभग एक-दूसरे के लंबवत (right angles पर) थे। कल्पना कीजिए कि दो लोग बिल्कुल अलग दिशाओं में चल रहे हैं; जब आप उनके रास्तों को मिलाने की कोशिश करते हैं, तो आपको कोई उलझी हुई टक्कर नहीं मिलती, बल्कि आपको बस एक सौम्य औसत मिलता है जो दोनों आधारों को कवर करता है।
लेखकों ने गहराई से देखने के लिए यह भी देखा कि क्या वे कुछ चूक गए। उन्होंने पाया कि जबकि मर्ज किए गए मॉड मॉडलों ने समान संख्या में पूर्ण स्कोर प्राप्त किए, वे कभी-कभी "आंशिक क्रेडिट" (partial credit) के पैमाने पर थोड़ा खराब प्रदर्शन करते थे—मतलब, वे किसी कार्य का 90% सही कर सकते थे जबकि जॉइंट मॉडल शायद 95% सही कर पाता। हालाँकि, शोध पत्र का तर्क है कि यह संकेत नहीं है कि मर्जिंग विफल रही। इसके बजाय, यह सफलता को मापने के तरीके का एक छोटा सा पहलू है। मर्ज किए गए मॉडलों ने कोई नई, सुपर-ह्यूमन क्षमता नहीं खोजी जो विशेषज्ञ के पास नहीं थी; उन्होंने केवल मौजूदा कौशल का औसत निकाला।
महत्वपूर्ण रूप से, यह शोध पत्र इस विचार को खारिज करता है कि एक स्मार्ट मर्जिंग विधि इस समस्या को ठीक कर सकती है। उन्होंने यह परीक्षण करने के लिए भी देखा कि क्या प्रशिक्षण के एक विशिष्ट क्षण पर रुककर और मर्ज करके मदद मिल सकती है, लेकिन उन्होंने पाया कि इस विशिष्ट सेटअप में, मॉडलों के बीच का "हस्तक्षेप" (interference) पहले से ही इतना कम था कि उसे ठीक करने के लिए कुछ बचा ही नहीं था। शोध पत्र निष्कर्ष निकालता है कि इस प्रकार के AI सेटअप के लिए, मर्जिंग जॉइंट ट्रेनिंग के एक पूर्णतः वैध विकल्प के रूप में कार्य करती है, लेकिन यह कोई जादुई उछाल नहीं देती है। यह एक ठोस, विश्वसनीय बैकअप प्लान है जो कठिन तरीके की तरह ही अच्छा काम करता है, लेकिन यह भौतिकी के नियमों को नहीं तोड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।