The Loss Does Not See the Basis, but Adam Does
यह शोध पत्र यह प्रदर्शित करता है कि फैक्टर्ड मॉडल्स (factored models) में लो-रैंक समाधानों को पुनः प्राप्त करने में एडम (Adam) की विफलता इसके गेज इक्विवेरिएंस (gauge equivariance) के अभाव से उत्पन्न होती है, जो कि ग्रेडिएंट डिसेंट (gradient descent) और अन्य शेयर्ड-स्केलर ऑप्टिमाइज़र्स (shared-scalar optimizers) का एक गुण है जो लो-रैंक इंटरपोलेट्स (low-rank interpolants) की ओर निहित पूर्वाग्रह को बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उलझे हुए पहेली को सुलझाने की कोशिश कर रहे हैं जहाँ टुकड़े एक ग्रिड में व्यवस्थित संख्याओं के रूप में हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "मैट्रिक्स फैक्टराइजेशन" (matrix factorization) कहा जाता है। आपके पास एक बहुत बड़ी, जटिल तस्वीर (डेटा) है, और आप इसे ताश के दो छोटे, सरल ढेर में तोड़ना चाहते हैं, जिन्हें जब आपस में गुणा किया जाए, तो मूल तस्वीर फिर से बन जाए। लक्ष्य उन सबसे सरल संभव ढेरों को खोजना है जो अभी भी तस्वीर में पूरी तरह फिट बैठते हों। यह महत्वपूर्ण है क्योंकि सरल समाधान अक्सर वास्तविक दुनिया में बेहतर काम करते हैं, जिससे शोर (noise) को याद करने के बजाय पैटर्न सीखने के जाल से बचा जा रहा है।
इस पहेली को हल करने के लिए, कंप्यूटर "ग्रेडिएंट डिसेंट" (gradient descent) नामक एक विधि का उपयोग करते हैं, जो एक ऐसे हाइकर (पर्वतारोही) की तरह है जो हमेशा ढलान की ओर कदम बढ़ाकर घाटी के निचले हिस्से तक पहुँचने की कोशिश करता है। लंबे समय तक, वैज्ञानिकों ने देखा कि यदि आप बहुत छोटे कार्डों से शुरुआत करते हैं, तो यह हाइकर स्वाभाविक रूप से सबसे सरल समाधान खोज लेता है। हालाँकि, एक नया, तेज़ हाइकर जिसे "एडम" (Adam) कहा जाता है (AI में एक लोकप्रिय टूल), अक्सर भटक जाता है और एक जटिल, उलझा हुआ समाधान खोज लेता है, भले ही एक सरल समाधान मौजूद हो। बड़ा सवाल यह था: तेज़ हाइकर सरल रास्ते को खोजने में क्यों विफल रहता है, और क्या हम इसे धीमा किए बिना ठीक कर सकते हैं?
यह शोध पत्र, जिसका शीर्षक है "द लॉस डज़ नॉट सी द बेसिस, बट एडम डज़" (The Loss Does Not See the Basis, But Adam Does), इस बात की जांच करता है कि ऐसा क्यों होता है। लेखक ने पाया कि समस्या केवल गति के बारे में नहीं है; बल्कि यह इस बारे में है कि हाइकर दुनिया को कैसे देखता है। इस पहेली में एक छिपा हुआ समरूपता (symmetry) है: आप अपने कार्डों के ढेरों को कई अलग-अलग तरीकों से घुमा सकते हैं, और अंतिम तस्वीर बिल्कुल वैसी ही रहेगी। इसे ग्लोब घुमाने की तरह समझें; महाद्वीप इधर-उधर होते हैं, लेकिन मानचित्र वही रहता है। पारंपरिक हाइकर (ग्रेडिएंट डिसेंट) विशिष्ट घुमाव को अनदेखा करता है और केवल घाटी के आकार को देखता है, जिससे वह स्वाभाविक रूप से सरल समाधान खोज लेता है। लेकिन तेज़ हाइकर (एडम) कार्डों के विशिष्ट घुमाव से विचलित हो जाता है। वह एक दिशा को "विशेष" और दूसरी को "अलग" मानता है, भले ही वे गणितीय रूप से समान हों। यह भटकाव उसे एक सरल, लो-रैंक समाधान के बजाय एक जटिल, हाई-रैंक समाधान चुनने पर मजबूर कर देता है।
लेखक ने सिद्ध किया कि कोई भी ऑप्टिमाइज़र (पहेली को हल करने वाला टूल) जो इस घूर्णी समरूपता (rotational symmetry) का सम्मान करता है, वह स्वाभाविक रूप से सरल समाधान खोज लेगा, जबकि जो इस समरूपता को तोड़ते हैं, वे जटिल समाधानों में फंस जाएंगे। उन्होंने नौ अलग-अलग ऑप्टिमाइज़र्स का परीक्षण किया और एक स्पष्ट विभाजन पाया: "समरूपता का सम्मान करने वाले" (जैसे ग्रेडिएंट डिसेंट, मून (Muon), और एडम का एक संशोधित संस्करण) ने 0.000006 जितनी कम त्रुटियों वाले समाधान खोजे, जबकि "समरूपता तोड़ने वाले" (जैसे मानक एडम और RMSProp) की त्रुटियां 0.42 से अधिक थीं—एक बहुत बड़ा अंतर।
यह साबित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, उन्होंने एक "डायल" बनाया जो एडम को उसके अराजक, घुमाव-विरोधी मोड से बदलकर घुमाव-अनुकूल मोड में सुचारू रूप से बदल देता है। जैसे-जैसे उन्होंने डायल घुमाया, समाधान सरल और अधिक सटीक होता गया, जिससे पता चला कि एडम जिस तरह से डेटा को देखता है, वही समस्या का सटीक कारण है। उन्होंने पृथ्वी की हाइपरस्पेक्ट्रल छवियों जैसे वास्तविक दुनिया के डेटा पर भी इसका परीक्षण किया और पाया कि घुमाव-अनुकूल विधियों ने मानक एडम की तुलना में त्रुटियों को लगभग 44% कम कर दिया।
दिलचस्प बात यह भी है कि इस शोध पत्र ने पाया कि "घुमाव-अनुकूल" होना हमेशा एक जादुई समाधान नहीं होता है। यदि पहेली स्वयं बहुत बिखरी हुई है और इसमें बहुत सारा रैंडम शोर (एक "स्पेक्ट्रल टेल") है, तो सुपर-फास्ट, घुमाव-अनुकूल हाइकर 'मून' कभी-कभी शोर को फिट करने के लिए बहुत अधिक उत्सुक हो जाता है, जबकि धीमा, स्थिर हाइकर (ग्रेडिएंट डिसेंट) बेहतर प्रदर्शन करता है। इसलिए, सबसे अच्छा टूल पहेली की विशिष्ट प्रकृति पर निर्भर करता है।
अंत में, लेखक ने देखा कि यह आधुनिक AI मॉडल जिन्हें ट्रांसफॉर्मर (चैटबॉट्स के दिमाग) कहा जाता है, को कैसे प्रभावित करता है। उन्होंने पाया कि यदि आप दो समान AI मॉडलों को समान गणित के साथ शुरू करते हैं लेकिन उनके आंतरिक कार्डों को अलग-अलग घुमाते हैं, तो मानक एडम ऑप्टिमाइज़र केवल एक कदम के बाद उन्हें पूरी तरह से अलग व्यवहार करने के लिए प्रेरित करता है। वे पूरी तरह से अलग आंतरिक संरचनाओं के साथ समाप्त होते हैं, भले ही वे एक ही फंक्शन के रूप में शुरू हुए हों। इसका मतलब है कि ऑप्टिमाइज़र का चुनाव केवल एक ट्यूनिंग विवरण नहीं है; यह मौलिक रूप से तय करता है कि AI का कौन सा संस्करण सीखता है। शोध पत्र निष्कर्ष निकालता है कि सर्वोत्तम, सरल परिणाम प्राप्त करने के लिए, हमें ऐसे ऑप्टिमाइज़र्स की आवश्यकता है जो गणित की छिपी हुई समरूपताओं का सम्मान करते हैं, न कि उन पर ध्यान भटकने वाले जो संख्याओं के विशेष अरेंजमेंट से विचलित हो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।