Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered
यह शोध पत्र तर्क देता है कि डीप लर्निंग में ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन स्वाभाविक रूप से स्केलेबल नहीं है, बल्कि अल्पदृष्टि वाले डिज़ाइन अभ्यासों के कारण कम खोजा गया है, जो बड़े पैमाने पर, संसाधन-कुशल शिक्षण की इसकी क्षमता को अनलॉक करने के लिए सबस्पेस विधियों, सिस्टम-जागरूक लाभों और वि-अस्पष्ट (de-obfuscated) मूल्यांकनों की ओर एक प्रतिमान परिवर्तन का समर्थन करता है।