Adaptive Memory Momentum via a Model-Based Framework for Deep Learning Optimization
यह शोध पत्र 'अडैप्टिव मेमोरी' नामक एक नवीन, मॉडल-आधारित ढांचे को प्रस्तुत करता है जो दो तलों (planes) के माध्यम से उद्देश्य फलन (objective function) का अनुमान लगाकर प्रशिक्षण के दौरान मोमेंटम गुणांक को गतिशील रूप से समायोजित करता है, और विभिन्न कार्यों में बिना किसी अतिरिक्त हाइपरपैरामीटर ट्यूनिंग के SGD और AdamW जैसे मानक ऑप्टिमाइज़र की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।