आधुनिक आर्टिफिशियल इंटेलिजेंस एक नाजुक संतुलन पर निर्भर करता है। कंप्यूटर को किसी फोटो में बिल्ली पहचानना सिखाने या एक सुसंगत कहानी लिखने के लिए, शोधकर्ताओं को एक विशाल गणितीय प्रणाली को त्रुटियों के परिदृश्य (landscape) के माध्यम से निर्देशित करना होता है, और लगातार इसके आंतरिक सेटिंग्स को सबसे निचले बिंदु तक पहुँचने के लिए समायोजित करना होता है। इस प्रक्रिया को 'ट्रेनिंग' कहा जाता है, और इस क्षेत्र में नेविगेट करने के लिए उपयोग किया जाने वाला उपकरण एक 'ऑप्टिमाइज़र' (optimizer) है। वर्षों से, उद्योग का मानक 'एडम' (Adam) नामक एक एल्गोरिदम रहा है। यह सबसे शक्तिशाली भाषा मॉडलों के लिए डिफ़ॉल्ट इंजन है, जो कोड लिख सकते हैं, भाषाओं का अनुवाद कर सकते हैं और बातचीत कर सकते हैं। फिर भी, इसकी व्यापकता के बावजूद, एडम का गणितीय आधार अस्थिर रहा है। लगभग एक दशक से, एक प्रसिद्ध सैद्धांतिक परिणाम ने सुझाव दिया था कि एडम विनाशकारी रूप से विफल हो सकता है, और सरल समस्याओं पर भी नियंत्रण से बाहर होकर भटक सकता है। इसने एक विरोधाभास पैदा किया: वह उपकरण जो सबसे उन्नत एआई को शक्ति देता है, सैद्धांतिक रूप से टूटा हुआ था, फिर भी यह व्यवहार में पूरी तरह से काम करता था। शोधकर्ता यह समझने में उलझे थे कि सिद्धांत वास्तविकता से मेल खाने में क्यों विफल रहा और जिस उपकरण पर वे भरोसा कर रहे थे वह वास्तव में सुरक्षित है या नहीं।

चाइनीज़ यूनिवर्सिटी ऑफ हांगकांग, शेनज़ेन के युशुन झांग का एक नया डॉक्टरेट थीसिस इस विरोधाभास को एक नए दृष्टिकोण से देखकर हल करता है। यह कार्य केवल सिद्धांत को ठीक नहीं करता है; यह उन समस्याओं की मूल प्रकृति का पुनर्मूल्यांकन करता है जिन्हें ये मॉडल हल करते हैं। शोधकर्ता ने पाया कि एडम के विफल होने का डर एक विशिष्ट, कृत्रिम सेटअप पर आधारित था जो यह प्रतिबिंबित नहीं करता कि वास्तविक दुनिया में प्रशिक्षण वास्तव में कैसे होता है। प्रशिक्षण के दौरान उपयोग किए जाने वाले डेटा के टुकड़ों (chunks) के आकार पर ध्यान केंद्रित करके परिप्रेक्ष्य बदलकर, यह अध्ययन सिद्ध करता है कि एडम वास्तव में सुरक्षित है, बशर्ते कि इसके सेटिंग्स को विशिष्ट कार्य के लिए सही ढंग से ट्यून किया गया हो। इससे भी महत्वपूर्ण बात यह है कि यह थीसिस आधुनिक न्यूरल नेटवर्क के डेटा के भीतर एक छिपी हुई ज्यामितीय संरचना (geometric structure) को उजागर करती है। यह संरचना बताती है कि एडम जटिल कार्यों जैसे कि बड़े भाषा मॉडलों के प्रशिक्षण पर अपने प्रतिद्वंद्वियों से बेहतर प्रदर्शन क्यों करता है, जबकि सरल कार्यों पर विफल रहता है। वास्तव में, इन मॉडलों का आंतरिक परिदृश्य एक अराजक अव्यवस्था नहीं है, बल्कि विशिष्ट, संगठित ब्लॉकों का एक संग्रह है। इस पैटर्न को पहचानने से शोधकर्ता को 'एडम-मिनी' (Adam-mini) नामक एक नया, अधिक कुशल ऑप्टिमाइज़र डिजाइन करने में मदद मिली, जो प्रदर्शन से समझौता किए बिना इन विशाल मॉडलों को प्रशिक्षित करने के लिए आवश्यक मेमोरी को आधा कर देता है।

कहानी एडम के विश्वसनीय होने पर लंबे समय से चल रही बहस के साथ शुरू होती है। वर्षों से, एक व्यापक रूप से उद्धृत शोध पत्र ने दावा किया था कि एडम विचलित (diverge) हो सकता है, जिसका अर्थ है कि प्रशिक्षण प्रक्रिया स्थिर होने के बजाय अनंत की ओर भाग सकती है। यह दावा एक विशिष्ट गणितीय उदाहरण पर आधारित था जहाँ एल्गोरिदम का परीक्षण एक ऐसी समस्या पर किया गया था जो एल्गोरिदम की सेटिंग्स के आधार पर अपने नियम बदल देती थी। हालाँकि, वास्तविक दुनिया में, शोधकर्ता उपकरण के अनुरूप समस्या को नहीं बदलते हैं; वे समस्या को स्थिर रखते हैं और उपकरण को उसके अनुरूप ट्यून करते हैं। झांग का कार्य दिखाता है कि जब समस्या स्थिर होती है, जैसा कि वास्तविक प्रशिक्षण में होता है, तो एडम विचलित नहीं होता है। इसके बजाय, यह एक स्पष्ट 'फेज ट्रांजिशन' (phase transition) प्रदर्शित करता है: यदि सेटिंग्स खराब चुनी जाती हैं, तो यह विफल हो सकता है, लेकिन यदि वे सही चुनी जाती हैं, तो यह सुरक्षित रूप से अभिसरण (converge) करता है। इस सुरक्षा की कुंजी एक विशिष्ट सेटिंग में निहित है जो यह नियंत्रित करती है कि एल्गोरिदम पिछले सूचना को कितना महत्व देता है। अध्ययन सिद्ध करता है कि बड़े डेटासेट के लिए, स्थिरता सुनिश्चित करने के लिए यह सेटिंग अधिक होनी चाहिए। यह निष्कर्ष उस बात के अनुरूप है जो इंजीनियरों ने व्यवहार में देखा है: जब छोटे बैचों के डेटा के साथ बड़े भाषा मॉडलों को प्रशिक्षित किया जाता है, तो इस सेटिंग को बढ़ाने से प्रशिक्षण क्रैश होने से बच जाता है। यह थीसिस पहला कठोर गणितीय प्रमाण प्रदान करती है कि मानक संस्करण एडम, बिना किसी संशोधन के, उचित रूप से ट्यून किए जाने पर उपयोग के लिए सुरक्षित है।

यह स्थापित करने के बाद कि एडम सुरक्षित है, शोध एक अधिक पहेलीनुमा प्रश्न की ओर मुड़ता है: ट्रांसफॉर्मर जैसे जटिल मॉडलों पर यह अपने मुख्य प्रतिस्पर्धी SGD की तुलना में बहुत बेहतर क्यों काम करता है, जबकि सरल मॉडलों पर खराब प्रदर्शन करता है? इसका उत्तर देने के लिए, शोधकर्ता ने त्रुटि परिदृश्य (error landscape) के आकार को देखा, विशेष रूप से 'हेसियन' (Hessian) नामक एक गणितीय वस्तु को, जो यह बताता है कि हर दिशा में त्रुटि कैसे बदलती है। सरल समस्याओं में, यह परिदृश्य घना और उलझा हुआ होता है, जैसे एक घना जंगल जहाँ हर रास्ता दूसरे से जुड़ा होता है। ऐसे वातावरण में, प्रत्येक सेटिंग को व्यक्तिगत रूप से समायोजित करने की एडम की रणनीति अक्षम है। हालाँकि, जब शोधकर्ता ने गहरे न्यूरल नेटवर्क और ट्रांसफॉर्मर के हेसियन का परीक्षण किया, तो एक आश्चर्यजनक पैटर्न उभरा। जैसे-जैसे प्रशिक्षण आगे बढ़ा, जटिल, उलझा हुआ परिदृश्य अलग-अलग, पृथक ब्लॉकों की एक संरचना में सरल हो गया। कल्पना कीजिए कि एक विशाल स्प्रेडशीट है जहाँ, हर सेल का दूसरे सेल को प्रभावित करने के बजाय, प्रभाव विशिष्ट पंक्तियों और स्तंभों तक सीमित है। इन नेटवर्कों में, पैरामीटर जो एक विशिष्ट आउटपुट न्यूरॉन या एक विशिष्ट अटेंशन हेड को नियंत्रित करते हैं, वे अपना स्वयं का अलग समूह बनाते हैं।

यह ब्लॉक-नुमा संरचना एडम की सफलता का रहस्य है। क्योंकि परिदृश्य स्वतंत्र ब्लॉकों में विभाजित है, इसलिए प्रत्येक पैरामीटर के लिए एक अद्वितीय लर्निंग रेट असाइन करने की एडम की विधि अत्यधिक प्रभावी हो जाती है। यह दूसरे के सेटिंग्स को गलती से खराब किए बिना एक ब्लॉक के सेटिंग्स को समायोजित कर सकता है। इसके विपरीत, SGD जैसे सरल ऑप्टिमाइज़र पूरे सिस्टम पर एक ही लर्निंग रेट लागू करते हैं, जो इन विभिन्न ब्लॉकों की अलग-अलग गति और स्केल को संभालने में संघर्ष करते हैं। अध्ययन ने आगे खुलासा किया कि यह ब्लॉक संरचना कोई संयोग नहीं है; यह इस बात से स्वाभाविक रूप से उत्पन्न होती है कि ये नेटवर्क कैसे बनाए गए हैं, विशेष रूप से गणना प्रक्रिया के दौरान बड़े मैट्रिसेस के क्रमिक गुणन (consecutive multiplication) से। जैसे-जैसे नेटवर्क प्रशिक्षित होता है, सिस्टम के दूरस्थ हिस्सों के बीच के संबंध फीके पड़ जाते हैं, जिससे ये साफ, अलग-अलग ब्लॉक पीछे रह जाते हैं। यह अंतर्दृष्टि बताती है कि एडम आधुनिक एआई के लिए पसंदीदा इंजन क्यों है: जिन समस्याओं को यह हल करता है, उनमें एक छिपी हुई ज्यामिति होती है जो ऑप्टिमाइज़र के डिज़ाइन से पूरी तरह मेल खाती है।

इस छिपी हुई ब्लॉक संरचना की समझ के साथ लैस होकर, शोधकर्ता ने एडम-मिनी नामक एक नया ऑप्टिमाइज़र विकसित किया। मानक एडम एल्गोरिदम मेमोरी-गहन (memory-hungry) है क्योंकि यह मॉडल के प्रत्येक एकल पैरामीटर के लिए एक अद्वितीय लर्निंग रेट को ट्रैक रखता है। एक विशाल भाषा मॉडल के लिए, इसमें मॉडल से दोगुना डेटा संग्रहीत करने की आवश्यकता होती है, जो एक बाधा उत्पन्न करता है जो प्रशिक्षण को धीमा करता है और उपलब्ध हार्डवेयर पर चलाए जा जाने वाले मॉडलों के आकार को सीमित करता है। नया अंतर्दृष्टि यह थी कि चूंकि पैरामीटर ब्लॉकों में व्यवस्थित हैं, इसलिए हमें प्रत्येक के लिए एक अद्वितीय लर्निंग रेट की आवश्यकता नहीं है। इसके बजाय, हम प्रत्येक पूरे ब्लॉक के लिए एक लर्निंग रेट असाइन कर सकते हैं। यह सरल परिवर्तन मेमोरी फुटप्रिंट को 50 प्रतिशत कम कर देता है। नया ऑप्टिमाइज़र, एडम-मिनी, पैरामीटर्स को उनकी प्राकृतिक ब्लॉक संरचना द्वारा समूहित करता है—अधिकांश परतों के लिए पंक्तियों (rows) द्वारा और नेटवर्क के विशिष्ट हिस्सों के लिए अटेंशन हेड्स (attention heads) द्वारा समूहित करना—और प्रत्येक समूह पर एक ही लर्निंग रेट लागू करता है।

इस पुनर्गठन के परिणाम तत्काल और व्यावहारिक हैं। 39 मिलियन से लेकर एक बिलियन पैरामीटर्स तक के मॉडलों को प्रशिक्षित करने के परीक्षणों में, एडम-मिनी ने मानक एडम ऑप्टिमाइज़र के प्रदर्शन के बराबर प्रदर्शन किया, जबकि आधी मेमोरी का उपयोग किया। यह दक्षता शोधकर्ताओं को उसी हार्डवेयर पर बड़े मॉडल प्रशिक्षित करने या मौजूदा मॉडलों को तेजी से प्रशिक्षित करने की अनुमति देती है। इस दृष्टिकोण को डीपसीक (DeepSeek) और किमी के3 (Kimi K3) मॉडल के पीछे की टीम सहित प्रमुख एआई लैब्स द्वारा अपनाया जा चुका है, जो अपने अगली पीढ़ी के सिस्टम को प्रशिक्षित करने के लिए इस पद्धति के एक रूपांतर का उपयोग करते हैं। थीसिस ने यह भी दिखाया कि ब्लॉक-वाइज लर्निंग रेट के इस सिद्धांत को अन्य उन्नत ऑप्टिमाइज़रों पर भी लागू किया जा सकता है, जिससे उनके मूल तर्क को बदले बिना उनकी दक्षता में सुधार होता है। न्यूरल नेटवर्क प्रशिक्षण की छिपी हुई ज्यामिति को प्रकट करके, इस कार्य ने क्षेत्र को अनिश्चितता और प्रयास-त्रुटि (trial-and-error) के स्थान से एक सिद्धांत-आधारित डिज़ाइन के स्थान पर पहुँचा दिया है। यह प्रदर्शित करता है कि आर्टिफिशियल इंटेलिजेंस के लिए सबसे प्रभावी उपकरण केवल भाग्यशाली अनुमान नहीं हैं, बल्कि ऐसे एल्गोरिदम हैं जो उन समस्याओं की विशिष्ट गणितीय संरचना के लिए पूरी तरह से ट्यून किए गए हैं जिन्हें वे हल करते हैं।