🤖 machine learning

Floating-Point Networks with Automatic Differentiation Can Represent Almost All Floating-Point Functions and Their Gradients

यह शोध पत्र प्रदर्शित करता है कि व्यावहारिक फ्लोटिंग-पॉइंट अंकगणित और ऑटोमैटिक डिफरेंशिएशन के तहत संचालित न्यूरल नेटवर्क सैद्धांतिक रूप से मनचाहे लक्ष्य फलन मानों (target function values) और उनके संगत ग्रेडिएंट्स को निरूपित कर सकते हैं, जो वास्तविक दुनिया की कम्प्यूटेशनल बाधाओं तक यूनिवर्सल एप्रोक्सिमेशन परिणामों का विस्तार करता है।

मूल लेखक: Sejun Park, Yeachan Park, Geonho Hwang

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sejun Park, Yeachan Park, Geonho Hwang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। शुद्ध गणित की दुनिया में, हम यह मान लेते हैं कि रोबोट के पास वास्तविक संख्याओं (real numbers) की एक अनंत आपूर्ति है जो पूरी तरह सटीक हैं, और वह बिना किसी छोटी सी गलती के गणना कर सकता है। इन आदर्श स्थितियों के तहत, हम पहले से ही जानते थे कि एक न्यूरल नेटवर्क (रोबोट का मस्तिष्क) न केवल पहेली का उत्तर सीख सकता है, बल्कि यह भी सीख सकता है कि यदि पहेली में थोड़ा सा बदलाव किया जाए, तो उत्तर कैसे बदलता है। इस "बदलाव के तरीके" को ग्रेडिएंट (gradient) कहा जाता है।

हालाँकि, वास्तविक कंप्यूटर इस तरह काम नहीं करते हैं। वे फ्लोटिंग-पॉइंट नंबर्स (floating-point numbers) का उपयोग करते हैं, जो एक नदी के बीच में रखे सीमित पत्थरों की तरह हैं। क्योंकि पत्थर बहुत कम हैं, कंप्यूटर को संख्याओं को राउंड-ऑफ (निकटतम मान पर लाना) करना पड़ता है, जिससे छोटी त्रुटियां (round-off errors) होती हैं। इसके अलावा, कंप्यूटर जिस तरह से इन परिवर्तनों की गणना करता है (जिसे ऑटोमैटिक डिफरेंशिएशन (Automatic Differentiation) नामक विधि कहा जाता है), वह इन छोटी त्रुटियों पर निर्भर करने वाला एक विशिष्ट, चरण-दर-चरण नुस्खा है।

यह शोध पत्र एक बड़ा सवाल पूछता है: क्या एक वास्तविक दुनिया का कंप्यूटर मस्तिष्क, अपनी सभी राउंडिंग त्रुटियों और सीमित पत्थरों के साथ, एक साथ किसी भी वांछित उत्तर और किसी भी वांछित "परिवर्तन" (ग्रेडिएंट) को उत्पन्न करना सीख सकता है?

मुख्य खोज: राउंडिंग का "जादुई ट्रिक"

लेखक कहते हैं कि हाँ, और वे इसे एक चतुर ट्रिक के साथ सिद्ध करते हैं।

एक न्यूरल नेटवर्क को एक फैक्ट्री असेंबली लाइन के रूप में सोचें।

पुराना दृष्टिकोण: आदर्श गणित की दुनिया में, यदि आप चाहते हैं कि फैक्ट्री एक विशिष्ट संख्या और एक विशिष्ट "परिवर्तन की दर" आउटपुट करे, तो आप बस मशीनों को ट्यून करते हैं।
वास्तविक दुनिया की समस्या: वास्तविक कंप्यूटर की दुनिया में, "मशीनों" (गणितीय क्रियाओं) में एक खराबी है: वे पूरी तरह से सुसंगत नहीं हैं। यदि आप तीन संख्याओं को अलग क्रम में गुणा करते हैं, तो राउंडिंग के कारण आपको थोड़ा अलग परिणाम मिल सकता है। इसे नॉन-असोसिएटिविटी (non-associativity) कहा जाता है।

लेखकों ने पाया कि यह "खराबी" वास्तव में एक सुपरपावर है।

वे दिखाते हैं कि आप एक फ्लोटिंग-पॉइंट नेटवर्क बना सकते हैं जो एक दो-मुंही सिक्के की तरह कार्य करता है:

चेहरा A (आउटपुट): यह ठीक वही उत्तर देता है जो आप चाहते हैं (जैसे, "तापमान 25 डिग्री है")।
चेहरा B (ग्रेडिएंट): यह कोई भी परिवर्तन संकेत उत्पन्न करता है जो आप चाहते हैं (जैसे, "यदि आप इनपुट को थोड़ा सा बदलते हैं, तो आउटपुट ठीक इतना बदल जाता है"), भले ही वह परिवर्तन संकेत स्वयं उस उत्तर के गणित से संबंधित न हो।

"दो-ट्रैक" सादृश्य (Analogy)

कल्पना कीजिए कि आप एक मशीन बना रहे हैं जो एक इनपुट लेती है और एक परिणाम देती है।

ट्रैक 1 (उत्तर): आप चाहते हैं कि मशीन "नमस्ते" कहे।
ट्रैक 2 (प्रतिक्रिया): आप चाहते हैं कि यदि उसे थोड़ा सा छेड़ा जाए, तो वह "आग!" चिल्लाए, भले ही "नमस्ते" और "आग!" के बीच कोई तार्किक संबंध न हो।

एक आदर्श गणित की दुनिया में, प्रतिक्रिया ("आग!") गणितीय रूप से उत्तर ("नमस्ते") से जुड़ी होनी चाहिए। यदि आप उत्तर बदलते हैं, तो प्रतिक्रिया भी आनुपातिक रूप से बदल जाएगी। आप उन्हें स्वतंत्र रूप से नहीं चुन सकते।

लेकिन फ्लोटिंग-पॉइंट की दुनिया में, लेखक दिखाते हैं कि आप राउंडिंग त्रुटियों को एक गुप्त कोड के रूप में उपयोग कर सकते हैं। गणना के चरणों को सावधानीपूर्वक व्यवस्थित करके (जैसे गुणा करने का क्रम बदलकर), मशीन यह कर सकती है:

उत्तर की सटीक गणना करना।
साथ ही, एक ऐसी "प्रतिक्रिया" की गणना करना जो उत्तर से पूरी तरह स्वतंत्र है, प्रभावी रूप से ग्रेडिएंट को हैक (hack) करना।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

यह शोध पत्र बीमारियों के इलाज या सेल्फ-ड्राइविंग कारों के निर्माण के बारे में बात नहीं करता है। इसके बजाय, यह इन नेटवर्कों की सैद्धांतिक सीमाओं पर ध्यान केंद्रित करता है कि वे क्या कर सकते हैं:

पूर्ण नियंत्रण: आप एक नेटवर्क को डेटा के किसी भी सेट और ग्रेडिएंट के किसी भी सेट के अनुरूप बना सकते हैं, जब तक कि आपके पास अपने नेटवर्क में पर्याप्त परतें (layers/depth) हों। यह एक यूनिवर्सल रिमोट की तरह है जो टीवी को कोई भी चित्र दिखाने और किसी भी बटन के दबाव पर किसी भी तरह से प्रतिक्रिया करने के लिए मजबूर कर सकता है।
सुरक्षा और गोपनीयता: क्योंकि आप ग्रेडिएंट को स्वतंत्र रूप से हेरफेर कर सकते हैं, आप सैद्धांतिक रूप से एक नेटवर्क को सही उत्तर देने के लिए प्रशिक्षित कर सकते हैं लेकिन उन "सुरागों" (ग्रेडिएंट्स) को छिपा सकते हैं जिनका उपयोग हमलावर डेटा को रिवर्स-इंजीनियर करने के लिए करते हैं। आप नेटवर्क को "हाँ" कहने के लिए बना सकते हैं जबकि उसकी "फुसफुसाहट" (ग्रेडिएंट्स) कहती है "यहाँ देखने के लिए कुछ नहीं है।"
गणित के नियमों को तोड़ना: यह पत्र "शुद्ध गणित" और "कंप्यूटर गणित" के बीच एक मौलिक अंतर को उजागर करता है। शुद्ध गणित में, ग्रेडिएंट फंक्शन का गुलाम होता है। कंप्यूटर गणित में, राउंडिंग त्रुटियों के कारण, ग्रेडिएंट एक स्वतंत्र एजेंट हो सकता है।

"सामग्री" (Ingredients)

लेखकों ने सिद्ध किया कि यह आज उपयोग किए जाने वाले सबसे सामान्य "एक्टिवेशन फंक्शन्स" (मस्तिष्क के भीतर के स्विच) के लिए काम करता है, जैसे कि:

ReLU (सबसे आम स्विच)
Sigmoid और Tanh (S-आकार के वक्र)
Swish, GELU, ELU (नए, स्मूथ स्विच)

उन्होंने दिखाया कि जब तक कंप्यूटर मानक प्रारूपों (जैसे 16-बिट, 32-बिट, या 64-बिट फ्लोट्स) का उपयोग करता है, यह "जादुई ट्रिक" काम करती है।

सारांश

सरल शब्दों में: फ्लोटिंग-पॉइंट न्यूरल नेटवर्क हमारी सोच से कहीं अधिक लचीले हैं। क्योंकि कंप्यूटर छोटी राउंडिंग गलतियाँ करते हैं, उन्हें वास्तव में किसी भी उत्तर और किसी भी "परिवर्तन संकेत" को एक साथ उत्पन्न करने के लिए प्रोग्राम किया जा सकता है, भले ही वे दोनों तार्किक रूप से एक साथ न होने चाहिए। यह शोध पत्र सिद्ध करता है कि ये नेटवर्क लगभग किसी भी फंक्शन और उसके ग्रेडिएंट को दर्शाने के लिए पर्याप्त शक्तिशाली हैं, जो कंप्यूटर की एक सीमा (राउंडिंग एरर) को पूर्ण नियंत्रण के लिए एक विशेषता (feature) में बदल देते हैं।

तकनीकी सारांश: ऑटोमैटिक डिफरेंशिएशन के साथ फ्लोटिंग-पॉइंट नेटवर्क लगभग सभी फ्लोटिंग-पॉइंट फलनों और उनके ग्रेडिएंट्स का प्रतिनिधित्व कर सकते हैं

1. समस्या विवरण

आधुनिक न्यूरल नेटवर्क अनुप्रयोगों को अक्सर न केवल फलन मानों (function values) के सन्निकटन की, बल्कि इनपुट के सापेक्ष ग्रेडिएंट्स की गणना की भी आवश्यकता होती है। ये ग्रेडिएंट्स वैज्ञानिक मशीन लर्निंग (आंशिक अंतर समीकरणों को हल करना), संवेदनशीलता विश्लेषण (sensitivity analysis), इनवर्स समस्याओं, सुदृढीकरण शिक्षण (reinforcement learning), एडवरसेरियल हमलों और इनपुट जनरेशन जैसे कार्यों के लिए महत्वपूर्ण हैं।

अनुमान सिद्धांत (approximation theory) में सैद्धांतिक परिणामों ने स्थापित किया है कि वास्तविक-मान वाले मापदंडों (parameters) और सटीक अंकगणित (exact arithmetic) वाले न्यूरल नेटवर्क कॉम्पैक्ट डोमेन पर दोनों तरह के अवकलनीय फलनों (differentiable functions) और उनके ग्रेडिएंट्स का सन्निकटन कर सकते हैं। हालाँकि, ये सैद्धांतिक गारंटी सीधे व्यावहारिक कार्यान्वयन पर लागू नहीं होती हैं। वास्तविक दुनिया के न्यूरल नेटवर्क फ्लोटिंग-पॉइंट अंकगणित (IEEE 754 मानक) का उपयोग करके संचालित होते हैं, जहाँ मापदंड और मध्यवर्ती मान संख्याओं के एक परिमित सेट तक सीमित होते हैं, और संचालन में राउंडिंग त्रुटियाँ शामिल होती हैं। फलस्वरूप, एक व्यावहारिक नेटवर्क एक एल्गोरिदम है जो वास्तविक संख्यात्मक फलन के बजाय फ्लोटिंग-पॉइंट ऑपरेशनों के एक अनुक्रम द्वारा परिभाषित होता है। इसके अलावा, इन प्रणालियों में ग्रेडिएंट्स ऑटोमैटिक डिफरेंशिएशन (AD) (जैसे, बैकप्रोपैगेशन) के माध्यम से कंप्यूट किए जाते हैं जो इस कम्प्यूटेशनल ग्राफ पर लागू होता है। फ्लोटिंग-पॉइंट अंकगणित के तहत, AD आउटपुट अनिवार्य रूप से एक निरंतर फलन के डेरिवेटिव नहीं होते हैं, बल्कि एक विशिष्ट कम्प्यूटेशनल प्रक्रिया के परिणाम होते हैं जो नॉन-एसोसिएटिविटी (non-associativity) और राउंडिंग के अधीन होती है।

इस कार्य में संबोधित केंद्रीय समस्या यह है: क्या फ्लोटिंग-पॉइंट न्यूरल नेटवर्क, ऑटोमैटिक डिफरेंशिएशन के साथ मिलकर, मनमाने फलन मानों और मनमाने ग्रेडिएंट्स का प्रतिनिधित्व कर सकते हैं?

2. कार्यप्रणाली और ढांचा

2.1 परिभाषाएँ और सेटअप

लेखक एक फ्लोटिंग-पॉइंट न्यूरल नेटवर्क $f$ को फ्लोटिंग-पॉइंट एफाइन ट्रांसफॉर्मेशन $\rho_l$ और एक पॉइंटवाइज एक्टिवेशन फंक्शन $\sigma$ के संयोजन के रूप में परिभाषित करते हैं:
$f(x) = \rho_L \circ \sigma \circ \rho_{L-1} \circ \dots \circ \sigma \circ \rho_1(x)$
जहाँ $\rho_l(x) = A_l \otimes x \oplus b_l$ है। यहाँ, $\otimes$ और $\oplus$ क्रमशः फ्लोटिंग-पॉइंट गुणन और जोड़ को दर्शाते हैं, जिनमें राउंडिंग ऑपरेशन शामिल हैं।

ग्रेडिएंट गणना को रिवर्स-मोड ऑटोमैटिक डिफरेंशिएशन एल्गोरिदम का उपयोग करके मॉडल किया गया है, जिसे $DAD $कहा जाता है। एक कंपोजिट फंक्शन$ \phi_x \circ f $के लिए, जहाँ$ \phi_x $एक स्केलर फंक्शन (जैसे, एक लॉस फंक्शन) है और$ \phi'_x$ उसका डेरिवेटिव है, ग्रेडिएंट को इस प्रकार कंप्यूट किया जाता है:
$DAD(\phi_x \circ f, x) = \phi'_x(f(x)) \otimes \rho'_L(z_L) \otimes \sigma'(y_{L-1}) \otimes \dots \otimes \rho'_1(x)$
महत्वपूर्ण रूप से, फ्लोटिंग-पॉइंट ऑपरेशनों की नॉन-एसोसिएटिविटी को ध्यान में रखते हुए गुणन को लेफ्ट-एसोसिएटिव तरीके से ( $((a \otimes b) \otimes c) \dots$ ) मूल्यांकित किया जाता है। यह नॉन-एसोसिएटिविटी एक प्रमुख तंत्र है जिसका उपयोग प्रमाणों में किया गया है।

2.2 नेटवर्क निर्माण रणनीति

प्रतिनिधित्व क्षमता (representability) को सिद्ध करने के लिए, लेखक फलन मान प्रतिनिधित्व को ग्रेडिएंट प्रतिनिधित्व से अलग करने के लिए विशिष्ट नेटवर्क का निर्माण करते हैं। मुख्य रणनीति दो सब-नेटवर्क्स, $f_1$ और $f_2$ , को एक कॉनकैटिनेशन ऑपरेशन ( $\#$ ) का उपयोग करके संयोजित करने की है:

$f_1$ (फलन मान नेटवर्क): इसे लक्षित फलन मानों $f^*(x)$ को आउटपुट करने के लिए डिज़ाइन किया गया है जबकि शून्य ग्रेडिएंट ( $D f_1, x = 0$ ) उत्पन्न करता है। यह विशिष्ट इनपुट्स के लिए इंडिकेटर फंक्शन्स का निर्माण करके और क्रमिक रूप से छोटे वेट्स के माध्यम से ग्रेडिएंट्स को दबाकर प्राप्त किया जाता है।
$f_2$ (ग्रेडिएंट नेटवर्क): इसे शून्य फलन मान ( $f_2(x) = 0$ ) आउटपुट करने के लिए डिज़ाइन किया गया है जबकि जब इनपुट ग्रेडिएंट गैर-शून्य हो, तो एक विशिष्ट लक्षित ग्रेडिएंट $g^*(x)$ उत्पन्न करता है। यह नेटवर्क ग्रेडिएंट के परिमाण और दिशा को फलन आउटपुट से स्वतंत्र रूप से हेरफेर करने के लिए फ्लोटिंग-पॉइंट मल्टीप्लिकेशन की नॉन-एसोसिएटिविटी का लाभ उठाता है।

अंतिम नेटवर्क को $f = f_2 \# f_1$ के रूप में निर्मित किया जाता है, जिससे नेटवर्क एक साथ $f(x) = f^*(x)$ और $DAD(\phi_x \circ f, x) = g^*(x)$ को संतुष्ट कर सकता है।

2.3 एक्टिवेशन फंक्शन्स पर स्थितियाँ

प्रमाणों के लिए एक्टिवेशन फंक्शन $\sigma$ और उसके डेरिवेटिव $\sigma'$ पर लगाई गई विशिष्ट तकनीकी स्थितियों (स्थितियाँ 1–3) पर निर्भर करते हैं। ये स्थितियाँ निम्नलिखित क्षमता सुनिश्चित करती हैं:

इनपुट्स को अलग करना (स्थिति 1)।
ओवरफ्लो के बिना ग्रेडिएंट्स को दबाना या बढ़ाना (स्थिति 2)।
पहली लेयर में विशिष्ट ग्रेडिएंट मान उत्पन्न करना (स्थिति 3)।

लेखक सत्यापित करते हैं कि ये स्थितियाँ मानक फ्लोटिंग-पॉइंट फॉर्मेट (float16, float32, float64, bfloat16, और 8-bit फॉर्मेट) के तहत ReLU, ELU, GELU, Swish, Sigmoid, और tanh सहित कई व्यावहारिक एक्टिवेशन फंक्शन्स के लिए लागू होती हैं।

3. मुख्य योगदान और परिणाम

3.1 मनमाने मानों और ग्रेडिएंट्स का प्रतिनिधित्व (थ्योरम 3.1 / थ्योरम 1)

प्राथमिक परिणाम स्थापित करता है कि लगभग सभी लक्षित फलनों $f^*$ और लक्षित ग्रेडिएंट्स $g^*$ के लिए (एक हल्के निरंतरता शर्त के साथ जहाँ $g^*(x)=0$ यदि इनपुट ग्रेडिएंट शून्य है), एक फ्लोटिंग-पॉइंट नेटवर्क $f$ मौजूद है ताकि:
$f(x) = f^*(x) \quad \text{और} \quad DAD(\phi_x \circ f, x) = g^*(x)$
यह मानक एक्टिवेशन फंक्शन्स (ReLU, ELU, GELU, Swish) के लिए केवल 7 परतों वाले नेटवर्क के लिए और Sigmoid और tanh के लिए थोड़े अधिक परतों के लिए मान्य है, बशर्ते डोमेन एक विशिष्ट रेंज (जैसे, $[-\Omega/8, \Omega/8]^d$ ) के भीतर हो।

3.2 इनपुट डेरिवेटिव्स पर निर्भर ग्रेडिएंट्स का प्रतिनिधित्व (थ्योरम 3.2 / थ्योरम 2)

लेखक यह दिखाने के लिए परिणाम का विस्तार करते हैं कि एक एकल नेटवर्क $f$ उन ग्रेडिएंट्स का प्रतिनिधित्व कर सकता है जो इनपुट $x$ और इनपुट ग्रेडिएंट $y = \phi'_x(f(x))$ दोनों के मनमाने फलन हैं। विशेष रूप रूप से, लगभग सभी $f^*$ और $g^*(x, y)$ के लिए जो समरूपता (symmetry) $g^*(x, -y) = -g^*(x, y)$ को संतुष्ट करते हैं, एक नेटवर्क $f$ मौजूद है ताकि:
$f(x) = f^*(x) \quad \text{और} \quad DAD(\phi_x \circ f, x) = g^*(x, \phi'_x(f(x)))$
यह परिणाम सटीक और फ्लोटिंग-पॉइंट अंकगणित के बीच एक मौलिक विसंगति को उजागर करता है। सटीक अंकगणित में, एक कंपोजिशन $\nabla(\phi \circ f)$ का ग्रेडिएंट अनिवार्य रूप से $\phi'(f(x))$ के समानुपाती होना चाहिए। फ्लोटिंग-पॉइंट अंकगणित में, नॉन-एसोसिएटिविटी और राउंडिंग के कारण, नेटवर्क ऐसे ग्रेडिएंट्स उत्पन्न कर सकता है जो $\phi'(f(x))$ के समानुपाती नहीं होते हैं, जो प्रभावी रूप से फलन आउटपुट को बनाए रखते हुए ग्रेडिएंट को "हेरफेर" (manipulate) कर सकता है।

3.3 अन्य एक्टिवेशन फंक्शन्स के लिए सामान्यीकरण

पेपर कंडीशन 1–3 को संतुष्ट करने वाले एक्टिवेशन फंक्शन्स के लिए सामान्यीकृत थ्योरम (थ्योरम 5 और 7) प्रदान करता है, जो परिणामों को विशिष्ट सेट $\Sigma$ से परे सामान्य एक्टिवेशन फंक्शन्स तक विस्तारित करता है।

4. महत्व और दावे

पेपर का दावा है कि फ्लोटिंग-पॉइंट न्यूरल नेटवर्क, ऑटोमैटिक डिफरेंशिएशन के साथ, फलन मानों और ग्रेडिएंट्स दोनों के लिए सार्वभौमिक प्रतिनिधित्व शक्ति (universal representational power) रखते हैं, एक ऐसा गुण जो शास्त्रीय सन्निकटन सिद्धांत (classical approximation theory) द्वारा गारंटीकृत नहीं है जो वास्तविक अंकगणित मानता है।

इस कार्य का महत्व निम्नलिखित में निहित है:

सिद्धांत और व्यवहार को जोड़ना: यह प्रमाणित करता है कि न्यूरल नेटवर्क की ग्रेडिएंट्स को फिट करने की सैद्धांतिक क्षमता वास्तविक एल्गोरिदम तक विस्तृत है जिनका उपयोग आधुनिक डीप लर्निंग फ्रेमवर्क (PyTorch, TensorFlow) में किया जाता है, जो फ्लोटिंग-पॉइंट अंकगणित पर निर्भर हैं।
ग्रेडिएंट हेरफेर (Gradient Manipulation): यह प्रकट करता है कि फ्लोटिंग-पॉइंट नेटवर्क लक्षित कार्यों (फलन मानों को फिट करना) को पूरा कर सकते हैं और साथ ही "हेरफेर किए गए" ग्रेडिएंट्स रख सकते हैं। इसका तात्पर्य यह है कि व्यावहारिक सेटिंग्स में AD के माध्यम से कंप्यूट किए गए ग्रेडिएंट्स अनिवार्य रूप से अंतर्निहित गणितीय फलन के डेरिवेटिव को प्रतिबिंबित नहीं करते हैं, बल्कि वे कम्प्यूटेशनल ग्राफ और राउंडिंग के आर्टिफैक्ट (artifacts) हो सकते हैं।
सुरक्षा और गोपनीयता निहितार्थ: फलन मानों को फिट करने के साथ-साथ मनमाने (जैसे, शून्य या भ्रामक) ग्रेडिएंट्स आउटपुट करने की क्षमता, ग्रेडिएंट-आधारित हमलों या तर्क (reasoning) से सुरक्षा के लिए संभावित तंत्रों का सुझाव देती है, क्योंकि ग्रेडिएंट जानकारी को फलन व्यवहार से अलग किया जा सकता है।
वैज्ञानिक मशीन लर्निंग: परिणाम भौतिक मॉडलों के लिए सरोगेट के रूप में न्यूरल नेटवर्क के उपयोग के सैद्धांतिक आधार का समर्थन करते हैं जहाँ समाधान और उसकी संवेदनशीलता (ग्रेडिएंट) दोनों की आवश्यकता होती है, यह पुष्टि करते हुए कि परिमित-परिशुद्धता (finite-precision) कार्यान्वयन सैद्धांतिक रूप से आवश्यक सटीकता प्राप्त कर सकते हैं।

लेखक एक मध्यम स्वर बनाए रखते हैं, यह नोट करते हुए कि उनके परिणाम "लगभग सभी" फलनों के लिए मान्य हैं (पैथोलॉजिकल मामलों के शून्य-माप सेट को छोड़कर) और डोमेन आकार तथा फ्लोटिंग-पॉइंट परिशुद्धता (जैसे, मुख्य थ्योरम्स के लिए $E \ge 6$ की आवश्यकता, हालांकि कम परिशुद्धता के लिए विस्तार मौजूद हैं) के संबंध में विशिष्ट शर्तों पर निर्भर करते हैं। वे यह दावा नहीं करते हैं कि बिना बाधाओं के सभी संभावित ग्रेडिएंट व्यवहार प्राप्त किए जा सकते हैं (उदाहरण के लिए, समरूपता बाधा $g^*(x, -y) = -g^*(x, y)$ AD की परिभाषा के प्रति स्वाभाविक है)।