Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations
यह शोध पत्र AdaGrad, RMSProp, और Adam अनुकूलन एल्गोरिदम के निरंतर-समय स्वरूपों को प्रथम-क्रम समाकल-अवकल समीकरणों (first-order integro-differential equations) के रूप में प्रस्तावित करता है और संख्यात्मक सिमुलेशन, स्थिरता विश्लेषण और अभिसरण अध्ययनों के माध्यम से उनकी सटीकता को सत्यापित करता है।