Improving the matrix multiplication exponent with modern optimization and AlphaEvolve

कंप्यूटर विज्ञान के विशाल परिदृश्य में, दो बड़े संख्यात्मक ग्रिडों को गुणा करने की प्रक्रिया जितनी मौलिक है, उतनी कम ही कोई अन्य प्रक्रिया है, जिसे मैट्रिक्स गुणन (matrix multiplication) के रूप में जाना जाता है। यह गणितीय कार्य आर्टिफिशियल इंटेलिजेंस मॉडल को प्रशिक्षित करने से लेकर वीडियो गेम में यथार्थवादी चित्र बनाने तक, सब कुछ का आधार है। दशकों से, वैज्ञानिक जानते हैं कि इस ऑपरेशन को मानक, सीधे तरीके की तुलना में अधिक तेज़ी से किया जा सकता है, लेकिन इसकी सटीक सीमा कितनी तेज़ हो सकती है, यह इस क्षेत्र के सबसे कठिन रहस्यों में से एक बना हुआ है। इस सीमा को एक एकल संख्या द्वारा वर्णित किया जाता है, एक गणितीय घातांक (exponent) जो यह निर्धारित करता है कि ग्रिड के आकार में वृद्धि होने पर गणना के लिए आवश्यक समय कैसे बढ़ता है। यह संख्या जितनी छोटी होगी, कंप्यूटर उतना ही अधिक कुशल होगा। जबकि सैद्धांतिक न्यूनतम मान ज्ञात रूप से कम से कम दो है, सबसे अच्छा सिद्ध ऊपरी स्तर (upper bound) वर्षों से 2.37 के ठीक ऊपर बना हुआ है, एक ऐसी बाधा जिसे शोधकर्ता तेजी से परिष्कृत गणितीय उपकरणों के साथ धीरे-धीरे कम कर रहे हैं।

गूगल डीपमाइंड के शोधकर्ताओं की एक टीम ने, कई विश्वविद्यालयों के सहयोगियों के साथ मिलकर, अब इस सीमा को थोड़ा और आगे बढ़ा दिया है। आधुनिक अनुकूलन तकनीकों (optimization techniques) को एक नए प्रकार के आर्टिफिशियल इंटेलिजेंस के साथ जोड़कर, उन्होंने एक नया रिकॉर्ड स्थापित किया है, यह सिद्ध करते हुए कि इस घातांक को घटाकर 2.371177 से कम किया जा सकता है। यह एक छोटा सा संख्यात्मक बदलाव है, लेकिन इस विशिष्ट समस्या के संदर्भ में, यह एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। पिछला सर्वश्रेष्ठ परिणाम, जो 2.2025 में प्राप्त किया गया था, 2.371339 पर था। यह नया निष्कर्ष अंतिम सीमा के सटीक रहस्य को हल नहीं करता है, न ही यह तुरंत व्यावहारिक रूप से यह बदल देता है कि कंप्यूटर मैट्रिक्स को कैसे गुणा करते हैं, लेकिन यह समस्या पर सैद्धांतिक बाधाओं को कड़ा करता है, यह दिखाते हुए कि ऊपरी सीमा पहले की तुलना में कम है।

इस नए रिकॉर्ड का मार्ग 'लेजर मेथड' (laser method) नामक एक गणितीय ढांचे के साथ शुरू हुआ, जो चालीस साल पहले अप्रत्यक्ष रूप से तेज़ मैट्रिक्स गुणन एल्गोरिदम डिजाइन करने के लिए विकसित की गई एक तकनीक थी। इस पद्धति का सबसे हालिया परिष्करण, जिसे 'कॉम्बिनेशन लॉस एनालिसिस' (combination loss analysis) कहा जाता है, एक विशाल, जटिल अनुकूलन समस्या को हल करने पर निर्भर करता है। इस समस्या में एक बड़े गणितीय ढांचे को छोटे टुकड़ों में तोड़ने का सबसे अच्छा तरीका खोजना शामिल है। शोधकर्ताओं ने पाया कि इस समस्या की कठिनाई एक पैरामीटर पर निर्भर करती है जो विभाजन की गहराई (depth of the breakdown) का प्रतिनिधित्व करता है। पिछले प्रयासों ने तीन की गहराई पर रुकना ही चुना था, जिसने उनके द्वारा समायोजित किए जा सकने वाले चरों (variables) की संख्या को सीमित कर दिया था। नए दल ने महसूस किया कि इस गहराई को बढ़ाकर चार करने से, वे संभावनाओं के एक बहुत बड़े स्थान का अन्वेषण कर सकते हैं, लेकिन ऐसा करने के लिए लाखों चरों वाली समस्या को हल करना होगा, जो अतीत में उपयोग किए जाने वाले पारंपरिक एल्गोरिदम के लिए बहुत बड़ा कार्य था।

इस पैमाने से निपटने के लिए, शोधकर्ताओं ने मशीन लर्निंग से उधार ली गई तकनीकों का सहारा लिया। मानक गणितीय सॉल्वर का उपयोग करने के बजाय, उन्होंने समस्या को इस तरह से पुनर्गठित किया कि इसे 'ग्रेडिएंट डिसेंट' (gradient descent) द्वारा संभाला जा सके, जो न्यूरल नेटवर्क को प्रशिक्षित करने के लिए आमतौर पर उपयोग किया जाने वाला एक तरीका है। इस दृष्टिकोण ने उन्हें डेटा को समानांतर (parallel) रूप से संसाधित करने के लिए शक्तिशाली कंप्यूटर हार्डवेयर का उपयोग करने की अनुमति दी, जिससे गहरे विभाजन के साथ आने वाली जटिलता के विस्फोट को संभाला जा सका। उन्होंने गणितीय चरों को उन समायोज्य भारों (weights) की तरह माना जो एक लर्निंग मॉडल में होते हैं, और बेहतर समाधान खोजने के लिए उन्हें बार-बार परिष्कृत किया। केवल इस रणनीति के बदलाव ने ही सीमा में मापने योग्य सुधार किया, यह प्रदर्शित करते हुए कि आधुनिक कम्प्यूटेशनल उपकरण उस क्षमता को अनलॉक कर सकते हैं जिसे पुराने तरीकों ने छोड़ दिया था।

हालाँकि, टीम वहीं नहीं रुकी। उन्होंने 'अल्फाइवॉल्व' (AlphaEvolve) नामक एक प्रणाली का उपयोग किया, जो कोड लिखने और सुधारने के लिए डिज़ाइन किया गया एक आर्टिफिशियल इंटेलिजेंस है। केवल अनुकूलन एल्गोरिदम चलाने के बजाय, उन्होंने एआई को एल्गोरिदम को स्वयं संशोधित करने दिया। सिस्टम कोड का एक नया संस्करण उत्पन्न करेगा, उसे परिणाम देखने के लिए चलाएगा, और फिर उस सीमा को कम करने के लिए कोड को और विकसित करेगा। आत्म-सुधार की इस प्रक्रिया ने शोधकर्ताओं को अनुकूलन रणनीति में सूक्ष्म परिष्करण खोजने की अनुमति दी, जिसे एक मानव टीम शायद अनदेखा कर देती। इस स्वचालित विकास के परिणामस्वरूप एक और सुधार हुआ, जिसने सीमा को नए रिकॉर्ड 2.371177 तक नीचे धकेल दिया।

यह सुनिश्चित करने के लिए कि यह परिणाम कंप्यूटर की राउंडिंग एरर या फ्लोटिंग-पॉइंट अशुद्धियों का परिणाम नहीं है, टीम ने एक कठोर सत्यापन चरण पूरा किया। उन्होंने अपने एल्गोरिदम द्वारा खोजे गए समाधान को लिया और सभी संख्याओं को सटीक भिन्नों (exact fractions) में परिवर्तित किया, अंतिम गणनाएँ पूर्ण सटीकता के साथ कीं। उन्होंने समीकरणों में प्रत्येक लघुगणक (logarithm) को एक सुरक्षित, परिमेय सीमा (rational bound) से भी बदल दिया जो यह गारंटी देता है कि बाधाएं पूरी हो रही हैं। इस सावधानीपूर्वक प्रमाणन प्रक्रिया ने पुष्टि की कि नया सीमा गणितीय रूप से वैध है और उस संख्यात्मक शोर (numerical noise) से मुक्त है जो अक्सर ऐसी जटिल गणनाओं में बाधा डालता है।

शोधकर्ताओं का कहना है कि हालांकि उनके दृष्टिकोण ने एक बेहतर सीमा प्रदान की है, लेकिन सुधार प्राप्त करना कठिन होता जा रहा है। उनके द्वारा किए गए लाभ पिछले चालीस वर्षों में देखी गई क्रमिक प्रगति के परिमाण के बराबर हैं। उनका सुझाव है कि इन अनुकूलन तकनीकों को परिष्कृत करके और अधिक मामूली सुधार संभव हो सकते हैं, लेकिन वास्तविक सीमा को समझने के लिए एक बड़ी छलांग लगाने हेतु पूरी तरह से नए गणितीय विचारों की आवश्यकता होगी। फिलहाल, यह कार्य गहरे सैद्धांतिक गणित को आधुनिक मशीन लर्निंग की कम्प्यूटेशनल शक्ति के साथ जोड़ने की शक्ति के प्रमाण के रूप में खड़ा है, जो यह सिद्ध करता है कि एक लंबे इतिहास वाले क्षेत्र में भी, खोज की गुंजाइश अभी भी बनी हुई है।