After the Euclidean Highway: Hyperbolic Expert AI as the Next Innovation
यह शोध पत्र HySAT को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण ढांचा है जो हाइपरबोलिक कर्वेचर (hyperbolic curvature) को ट्रेन करने योग्य एडेप्टर के भीतर के बजाय विशेष रूप से लॉस लेयर (loss layer) पर लागू करके हाइपरबोलिक एक्सपर्ट एआई को स्थिर करता है, जिससे विशेषज्ञ डोमेन में पैरेंट-चाइल्ड ट्री संरचनाओं को संरक्षित किया जाता है और कई छोटे लैंग्वेज मॉडल्स में ट्रेनिंग कोलैप्स को रोका जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। पिछले एक दशक से, वैज्ञानिकों ने इन रोबोटों को ज्ञान के एक "सपाट" मानचित्र (flat map) का उपयोग करके बनाया है, जो ग्राफ पेपर की एक विशाल, अनंत शीट की तरह है। यह सामान्य बातचीत और सरल तथ्यों के लिए बहुत अच्छा काम करता है, लेकिन जब आप रोबोट को जटिल, पेड़ जैसी संरचना वाले विषयों के बारे में सिखाने की कोशिश करते हैं—जैसे कि कैसे एक पारिवारिक वंशावली चचेरे भाई-बहनों को जोड़ती है, या कैसे एक चिकित्सा निदान लक्षणों से बीमारियों तक शाखाओं में बँटता है—तो यह एक दीवार से टकरा जाता है। एक सपाट शीट पर, जैसे-जैसे आप शाखाओं में गहराई तक जाते हैं, कनेक्शन दबने और उलझने लगते हैं, जैसे एक विशाल ओक के पेड़ को एक एकल स्टिकी नोट पर बनाने की कोशिश करना।
इसे ठीक करने के लिए, कुछ वैज्ञानिकों ने एक चतुर तरकीब आजमाई: उन्होंने तय किया कि ग्राफ पेपर को एक सैडल (saddle) के आकार में मोड़ दिया जाए (एक "हाइपरबोलिक" स्थान)। इस घुमावदार दुनिया में, पेड़ जैसी संरचनाएं बिना दबे पूरी तरह फिट बैठती हैं। हालाँकि, एक समस्या थी: जब उन्होंने रोबोट के पूरे मस्तिष्क को इस नए घुमावदार मानचित्र में ढालने की कोशिश की, तो रोबोट की सीखने की प्रक्रिया अक्सर फट जाती थी और डिजिटल अराजकता में बदल जाती थी। यह एक घुमावदार सड़क पर कार चलाने जैसा था जबकि इंजन खुद भी मुड़ रहा हो; बल इतने शक्तिशाली हो गए कि मशीन टूट गई। बड़ा सवाल यह था: हम रोबोट को उसके घुमावदार मानचित्र के लाभ कैसे दे सकते हैं बिना उसके इंजन को तोड़े?
यह शोध पत्र, जिसका शीर्षक "After the Euclidean Highway: Hyperbolic Expert AI" है, इस प्रश्न का उत्तर एक आश्चर्यजनक मोड़ के साथ देता है। लेखकों, क्वान सू शिन और सहयोगियों ने खोजा कि आपको पूरी कार या पूरी सड़क को मोड़ने की आवश्यकता नहीं है। आपको केवल 'फिनिश लाइन' (लक्ष्य रेखा) को मोड़ने की आवश्यकता है। उन्होंने एक नई विधि विकसित की जिसे HySAT (हाइपरबोलिक स्ट्रक्चर-अवेयर ट्रेनिंग) कहा जाता है।
यह इस प्रकार काम करता है: कल्पना कीजिए कि रोबोट एक सपाट ट्रैक (मानक, सपाट कंप्यूटर मस्तिष्क) पर दौड़ रहा है। आमतौर पर, रोबोट पूरी दौड़ सपाट ट्रैक पर दौड़ता है। लेकिन HySAT के साथ, रोबोट पूरी दौड़ पहले की तरह ही सपाट ट्रैक पर दौड़ता है। जादू केवल बिल्कुल अंत में होता है, जब वह अपना स्कोर चेक करता है। ठीक उस क्षण, स्कोर की गणना एक घुमावदार, सैडल के आकार के मानचित्र पर की जाती है जो विषय की पेड़ जैसी संरचना को पूरी तरह समझता है। यह फिनिश लाइन पर हुआ छोटा सा बदलाव रोबोट को जटिल जानकारी को व्यवस्थित करना सिखाता है, बिना उसके मस्तिष्क को मोड़ने के लिए मजबूर किए।
टीम ने छह अलग-अलग "एक्सपर्ट" रोबोटों पर इस विचार का परीक्षण किया, जिनमें से प्रत्येक वित्त, शिक्षा या रचनात्मक लेखन जैसे विभिन्न क्षेत्रों में विशेषज्ञ है। उन्होंने इन रोबोटों को भारी मात्रा में डेटा पर प्रशिक्षित किया—कुल मिलाकर लगभग 18 मिलियन नमूने। परिणाम चौंकाने वाले थे। जब उन्होंने पुराने तरीके से रोबोट के मस्तिष्क को मोड़ने की कोशिश की (घुमावदार मानचित्र को रोबोट के सीखने के हिस्सों के अंदर रखने की कोशिश की), तो यह 17 बार क्रैश हुआ, जिससे लगभग 220 घंटे का शक्तिशाली कंप्यूटर समय बर्बाद हुआ। लेकिन उनके नए "केवल फिनिश-लाइन" वाले तरीके के साथ, उन्होंने लगभग 317,000 स्टेप्स के दौरान शून्य क्रैश और शून्य डिजिटल त्रुटियों (जिन्हें NaNs के रूप में जाना जाता है) के साथ सभी छह रोबोटों को सफलतापूर्वक प्रशिक्षित किया।
इस शोध पत्र ने यह भी उजागर किया कि ये रोबोट कैसे सीखते हैं, इसके पीछे एक छिपा हुआ नियम है। उन्होंने पाया कि "बैच" (एक बार में देखे जाने वाले उदाहरणों की संख्या) का आकार केवल गति के बारे में नहीं है; यह संरचना के बारे में है। यदि बैच बहुत छोटा है (जैसे एक बार में केवल 2 उदाहरण देखना), तो रोबोट संबंधित विचारों के बीच के कनेक्शन को नहीं देख पाता है, और विशेष घुमावदार-मानचित्र प्रशिक्षण शांत हो जाता है। लेकिन जैसे ही बैच का आकार एक निश्चित सीमा (जैसे 8 या 16 उदाहरण) को पार करता है, रोबोट अचानक संरचना के प्रति "जाग" जाता है, और प्रशिक्षण पूरी तरह से प्रभावी हो जाता है।
संक्षेप में, लेखकों ने सिद्ध किया कि आप AI को जटिल, पेड़ जैसी जानकारी को समझने के लिए सिखा सकते हैं—उसके मस्तिष्क को सपाट रखकर और केवल होमवर्क ग्रेड करने के लिए घुमावदार मानचित्र का उपयोग करके। यह दृष्टिकोण उन्हें अत्यधिक विशिष्ट, विशेषज्ञ AI मॉडल बनाने की अनुमति देता है जो स्थिर, विश्वसनीय और वास्तविक दुनिया के कार्यों, जैसे कि CEOs को सलाह देने या छात्रों को कॉलेज में प्रवेश दिलाने में मदद करने के लिए तैयार हैं। उन्होंने अपने काम और डेटा के कुछ हिस्से दूसरों की जांच के लिए जारी भी किए हैं, जो स्पष्ट रूप से दिखाते हैं कि उन्होंने उन क्रैशों से कैसे बचा जो दूसरों को रोकने वाले थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।