Dual Numbers for Arbitrary Order Automatic Differentiation

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: "ऑन द फ्लाई" गणित करने का एक नया तरीका

कल्पना कीजिए कि आप एक शेफ हैं जो एक रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं। आप जानना चाहते हैं कि यदि आप इसमें थोड़ा सा नमक या थोड़ी सी चीनी और मिलाते हैं, तो स्वाद में ठीक कितना बदलाव आता है। कंप्यूटर विज्ञान और इंजीनियरिंग की दुनिया में, इसे डिफरेंशिएशन (differentiation) कहा जाता है—यह पता लगाना कि इनपुट में बदलाव करने पर परिणाम कैसे बदलता है।

लंबे समय से, कंप्यूटरों के पास इसे करने के दो मुख्य तरीके रहे हैं:

1. सिंबोलिक मैथ (Symbolic Math): यह एक बहुत ही बुद्धिमान छात्र की तरह है जो कागज पर पूरा गणितीय सूत्र लिख देता है। यह सटीक है, लेकिन यदि रेसिपी बहुत जटिल हो जाती है, तो वह कागज एक विशाल, अपठनीय ढेर बन जाता है।
2. फाइनाइट डिफरेंस (Finite Differences): यह सूप चखने, उसमें चुटकी भर नमक डालने, फिर से चखने और अंतर का अनुमान लगाने जैसा है। यह करना आसान है, लेकिन यह बहुत सटीक नहीं है, और यदि आप इसे बहुत अधिक बार करते हैं, तो आप सूप खराब कर देते हैं (संख्यात्मक त्रुटियां/numerical errors)।

ऑटोमैटिक डिफरेंशिएशन (AD) "गोल्डिलॉक्स" (Goldilocks) विधि है। यह बिना किसी विशाल सूत्र या अव्यवधर अनुमान के सटीक परिवर्तन की गणना करता है। यह कंप्यूटर प्रोग्राम को एक बार चलाकर काम करता है, लेकिन एक "परछाई" (shadow) को बनाए रखता है जो ट्रैक करती है कि हर एक कदम कैसे बदलता है।

समस्या: "रशियन डॉल" का जाल

यह शोध पत्र 'डुअल नंबर्स' (Dual Numbers) नामक ऑटोमैटिक डिफरेंशिएशन के एक विशिष्ट प्रकार पर केंद्रित है। डुअल नंबर को एक मानक संख्या के रूप में सोचें जिसके साथ एक छोटी सी "परछाई" जुड़ी हुई है।

• मानक संख्या: 5
• डुअल नंबर: 5 + (छोटी परछाई)

जब आप इनके साथ गणित करते हैं, तो परछाई स्वचालित रूप से अपडेट होती है ताकि आपको डेरिवेटिव (परिवर्तन की दर) बता सके।

समस्या:
अधिकांश मौजूदा कंप्यूटर प्रोग्राम जो उच्च-क्रम (higher-order) डेरिवेटिव (जैसे दूसरा, तीसरा या सौवां परिवर्तन) खोजने के लिए डुअल नंबरों का उपयोग करते हैं, वे नेस्टेड डुअल नंबर्स (nested dual numbers) नामक विधि का उपयोग करते हैं।

• उपमा: कल्पना कीजिए कि आप 10वां डेरिवेटिव खोजने की कोशिश कर रहे हैं। कंप्यूटर को एक डुअल नंबर को दूसरे के अंदर, जो तीसरे के अंदर है, एक सेट के 10 रशियन नेस्टिंग डॉल्स (एक के अंदर एक रखी जाने वाली गुड़िया) की तरह रखना पड़ता है।
• परिणाम: जैसे-जैसे आप गहराई में जाते हैं (उच्च क्रम में), कंप्यूटर को अधिक से अधिक डॉल्स ले जानी पड़ती हैं। मेमोरी का उपयोग विस्फोट की तरह बढ़ता है। यह एक ऐसा बैकपैक ले जाने जैसा है जो हर कदम के साथ भारी होता जाता है। अंततः, कंप्यूटर के पास जगह खत्म हो जाती है (मेमोरी) या यह इतना धीमा हो जाता है कि क्रैश हो जाता है।

समाधान: DNAOAD (एक सपाट बैकपैक)

इस पेपर के लेखकों ने, जो यूनिवर्सिडैड ऑटोनोमा डी युकाटन (Universidad Autónoma de Yucatán) में कार्यरत हैं, DNAOAD नामक एक नया टूल बनाया है।

"रशियन डॉल" (नेस्टेड) दृष्टिकोण के बजाय, उन्होंने एक सपाट, सीधा सिस्टम (flat, direct system) बनाया है।

• उपमा: कल्पना कीजिए कि नेस्टिंग डॉल्स के बजाय, आपके पास बक्सों की एक लंबी पंक्ति है।
  • बॉक्स 1 मुख्य संख्या को रखता है।
  • बॉक्स 2 पहला परिवर्तन रखता है।
  • बॉक्स 3 दूसरा परिवर्तन रखता है।
  • बॉक्स 100 सौवां परिवर्तन रखता है।
• यह बेहतर क्यों है: आपको अगले बॉक्स तक पहुँचने के लिए एक बॉक्स को खोलने की आवश्यकता नहीं है। आप सीधे बॉक्स 100 में पहुँच सकते हैं। इसका मतलब है कि कंप्यूटर "नेस्टिंग" से अभिभूत नहीं होता है। यह बहुत कम मेमोरी का उपयोग करता है और बिना क्रैश हुए बहुत उच्च क्रम के डेरिवेटिव (जैसे 50वां या 100वां परिवर्तन) को संभाल सकता है।

यह कैसे काम करता है (सीक्रेट सॉस)

इस फ्लैट सिस्टम को काम करने के देने के लिए, लेखकों ने फ़ा द ब्रूनो फॉर्मूला (Faà di Bruno formula) नामक एक गणितीय उपकरण का उपयोग किया।

• रूपक: यदि आप जानना चाहते हैं कि एक जटिल मशीन (छोटे कार्यों से बनी एक फ़ंक्शन) कैसे बदलती है, तो आप केवल बाहर से नहीं देख सकते। आपको यह समझना होगा कि अंदर का हर गियर कैसे घूमता है।
• यह फॉर्मूला एक मास्टर निर्देश पुस्तिका की तरह कार्य करता है जो कंप्यूटर को ठीक से बताता है कि अंतिम परिणाम प्राप्त करने के लिए सभी छोटे गियर्स के परिवर्तनों को कैसे जोड़ा जाए, बिना एक विशाल, नेस्टेड संरचना बनाए।

यह पेपर वास्तव में क्या करता है

1. यह एक नया सॉफ्टवेयर पैकेज (DNAOAD) पेश करता है: यह Fortran में लिखा गया है, जो उच्च-प्रदर्शन वैज्ञानिक कंप्यूटिंग के लिए प्रसिद्ध भाषा है।
2. यह रिकर्सन (recursion) से बचता है: यह स्पष्ट रूप से उन "नेस्टेड" डेटा संरचनाओं से बचता है जो अन्य भाषाओं (जैसे Julia या C++) में मेमोरी की समस्या पैदा करती हैं।
3. यह "आर्बिट्ररी ऑर्डर" (Arbitrary Order) को संभालता है: आप कंप्यूटर को बता सकते हैं, "मैं 50वां डेरिवेटिव चाहता हूँ," और यह कुशलतापूर्वक इसे करेगा, बशर्ते आपके कंप्यूटर के पास पर्याप्त RAM हो।
4. इसमें टूल्स की एक लाइब्रेरी शामिल है: पैकेज में सामान्य गणितीय संचालन (जैसे साइन, कोसाइन, एक्सपोनेंशियल) के लिए प्री-बिल्ट फंक्शन शामिल हैं जो स्वचालित रूप से इन "फ्लैट" डुअल नंबरों को संभालना जानते हैं।

पेपर में वास्तविक उदाहरण

पेपर एक सरल उदाहरण दिखाता है जहाँ वे साइन और लॉग (logarithms) वाले एक फ़ंक्शन के डेरिवेटिव की गणना करते हैं।

• उन्होंने कंप्यूटर को 5वें क्रम तक के डेरिवेटिव खोजने के लिए सेट किया।
• वे इसमें एक जटिल संख्या (complex number) डालते हैं।
• प्रोग्राम तुरंत मूल मान के साथ 1ला, 2रा, 3रा, 4था और 5वां परिवर्तन, एक ही बार में दे देता है।

वे एक कठिन चुनौती का भी उल्लेख करते है: एक फ़ंक्शन को अपने आप के भीतर 1,000 बार नेस्ट करना। सिंबोलिक मैथ यहाँ विफल हो जाएगा (फॉर्मूला बहुत बड़ा हो जाएगा), और मानक अनुमान बहुत अधिक गलत होगा। उनका तरीका इसे फ्लैट और कुशल डेटा संरचना रखकर संभालता है।

सारांश

यह पेपर DNAOAD प्रस्तुत करता है, जो कंप्यूटर को जटिल परिवर्तन दरों की गणना करना सिखाने का एक नया तरीका है। नेस्टेड बक्सों का टॉवर बनाने के बजाय (जो अपने वजन से ढह जाता है), उन्होंने एक लंबी, सपाट शेल्फ बनाई है। यह वैज्ञानिकों और इंजीनियरों को अत्यंत उच्च-क्रम के डेरिवेटिव को कुशलतापूर्वक गणना करने की अनुमति देता है, जिससे यह उच्च-प्रदर्शन वैज्ञानिक कंप्यूटिंग के लिए एक शक्तिशाली उपकरण बन जाता है।